# Test-time Augmentation for Factual Probing

Go Kamoda $^{1}$ Benjamin Heinzerling ${ }^{2,1}$ Keisuke Sakaguchi $^{1,2} \quad$ Kentaro Inui $^{1,2}$
${ }^{1}$ Tohoku University ${ }^{2}$ RIKEN
go.kamoda@dc.tohoku.ac.jp benjamin.heinzerling@riken.jp
\{keisuke.sakaguchi, kentaro.inui\}@tohoku.ac.jp

## Abstract

Factual probing is a method for checking if a language model "knows" certain world knowledge facts. A problem in factual probing is that small changes to prompts can result in large output changes. Previous work aimed to alleviate this problem by optimizing prompts via text mining or finetuning. However, such approaches are relationspecific and do not generalize to unseen relations types. Here, we propose to use test-time augmentation (TTA) as a relation-agnostic method for reducing sensitivity to prompt variations by automatically augmenting and ensembling prompts at test time. Experiments show that, while TTA reduces overconfidence in incorrect generations, accuracy increases only in few cases. Error analysis reveals the difficulty of producing high-quality prompt variations as the main challenge for TTA.

## 1 Introduction

Pre-trained language models (LMs) such as BERT [1] and T5 [2] implicitly encode world knowledge from the training corpus in their parameters. Petroni et al. [3] demonstrated that world knowledge can be retrieved from a masked LM via cloze-style prompts, e.g., "The capital city of Alaska is [MASK]."

However, since small changes to the prompt can lead to drastic output changes [4] it is difficult to distinguish whether the model did not learn a fact during pre-training or if it did, but does not output the correct answer with the given prompt. Subsequent work aimed at finding better prompts for factual probing, typically by employing supervised learning to find an optimal input token sequence of tokens for a given relation $[5,6,7]$. Since these approaches require supervision for each relation, they do not generalize to unseen relation types, and hence are not practically appealing.

Figure 1 With (right) and without (left) TTA for factual probing. The orange components are added in our method. The Augmenter automatically augments the original prompt. The aggregator takes the generations from all prompts as input and outputs one generation with the highest score.

In this paper, we apply the idea of test time augmentation (TTA) to the factual probing task. TTA is a method used in the field of computer vision, which augments input images through simple operations (flipping the image, changing the contrast, etc.) at test time. The augmentations are helpful in covering overconfident and incorrect outputs. Krizhevsky et al. [8] used test-time augmentation for ImageNet classification, and subsequent work in the field of computer vision $[9,10,11]$ utilizes test-time augmentation to get better performance in accuracy or robustness. The motivations are common with factual probing tasks; we also want language models to be robust to wordings and be less overconfident. To apply TTA to the task, an augmenter and an aggregator are added to the stream of the model prediction (Figure 1). First, the input prompt is automatically augmented by the augmenter. The augmented prompts are then individually fed to a model. The aggregator will aggregate the model's output to determine the final result. We 1) evaluated the result's exact match accuracy and investigated the impact of the number of augmented prompts on the accuracy and 2) inspected the change in the
confidence of the generations.

Our results showed that the greater the number of augmented prompts, the better the performance when implementing TTA. TTA was also effective at reducing the number of overconfident and incorrect outputs. In terms of accuracy, TTA was only effective in a few cases. We analyzed the cause of this to be the poor quality of augmented prompts declines the accuracy of the model without TTA. ${ }^{1)}$

## 2 Setup

## 2.1 Dataset

We constructed a dataset of 12,500 relational facts from wikidata. Each fact is composed of a subject, a relation, and an object. We filtered out facts with multiple objects to collect unique facts. To reduce the bias of the distribution of objects, we adopted truncated sampling to select 500 instances per predicate. We provided a human-made prompt template for each relation (e.g., "What is the capital city of \{subject $\}$ ?”).

## 2.2 Augmenter

We used three types of prompt augmentations. The first type is synonym replacement, which replaces words in the input prompt with a synonym. For instance, the word "buried" was replaced with "inhumed" by this type of augmentation ${ }^{2)}$. Candidate synonyms are provided from GloVe [12] embedding or WordNet [13]. The second augmentation method we used is back-translation. We used French, Russian, German, Spanish, and Japanese as the target language. The third augmentation method is stopwords-filtering.

From a single original input, 1 prompt is augmented by stopwords-filtering, and 4 prompts are augmented by each of the other methods, providing a maximum total of 29 augmented prompts.

## 2.3 Model

We ran experiments on the following pre-trained language models: Google's T5 for Closed Book Question Answering (small, large, 3b, 11b)[14], Google's FLAN models (small, xl)[15], and T0_3B model from Big Science[16].

Models decode with beam-search where the beam size

1) https://github.com/cl-tohoku/TTA4FactualProbing

2) Prompt \#7 in table 5 in appendix

Figure 2 The relation between the number of prompts and the average relative effect of TTA. A relative effect of 1.0 means no change in accuracy between with and without TTA.

is fixed to 10 and return generated sequences with scores. Scores are in the order of log-likelihood (negative), and the exponentiated scores are in the order of probability.

## 2.4 Aggregator

We aggregate generations by taking the sum of generation probability.

$
\begin{gathered}
s\left(y^{\prime} \mid x, r\right)=\sum_{i=1}^{K} P_{\mathrm{LM}}\left(y^{\prime} \mid p_{i}\right) \\
y=\operatorname{argmax}(s(\cdot \mid x, r))_{y^{\prime}}
\end{gathered}
$

The model output with generation probabilities $\left(P_{\mathrm{LM}}\right)$ for all augmented prompts $\left(p_{i}\right)$ will be fed into the aggregator to choose one final prediction. The aggregator recalculates the generation score $(s)$ by taking the sum of the generation probabilities of identical generations (Eq.1). The final prediction of an object ( $y$ ) for the fact with subject $x$ and relation $r$ is the one with the highest score (Eq.2).

## 2.5 Evaluation Metric

We measure the effect of TTA by the relative difference of exact match accuracy. To prevent division by zero, a constant of 1 is added to both the numerator and the denominator (Eq.3). The metric judges correct only if the final generation outputted is identical to the gold label provided in the dataset. Evaluation on flan models is an exception, and we adopt case-insensitive match accuracy.

$
\text { relative effect }=\frac{(\# \text { corrects w } / \text { TTA })+1}{(\# \text { corrects w/o TTA })+1}
$

## 3 Results

By augmenting prompts, we got 9 types of prompts (1 original, 1 stopwords-filtering, 2 synonym replacement, 5

Table 1

} \\
& & Incorrect \\

\cline { 2 - 4 } TTA & Incorrect & 2.5 & 89 \\

Table 2 Confusion matrix of accuracy. (model: t5-11b)

back-translation). We evaluated all $511\left(=2^{9}-1\right)$ combinations of the 9 augmentation types for each model. Figure 2 shows relationships between the number of prompts and the average relative effect of TTA. As the number of prompts increases, the accuracy converges to a particular value, suggesting that the more augmentation we provide, the greater the accuracy gets. On the 15 -small model, TTA raised the model accuracy as expected. There was a small improvement on the T0_3b and t5-3b models. In other models, TTA could not increase the accuracy even when the original prompt is augmented into 30 prompts.

Table 1 and Table 2 shows the confusion matrix of the t5small model, which had the greatest increase in accuracy when applied TTA, and the t5-11b model which has the largest number of parameters out of all models we investigated. The tables compare the number of corrects/incorrect with and without TTA. Data for "with TTA" is the accuracy after aggregating all 30 prompts.

## 3.1 Positive Effects

Table 3 shows one example of TTA increasing the accuracy on the t5-11b model. The model generated an incorrect label from the original prompt but was able to cover it up by generating the gold label from some of the augmented prompts. This is an ideal behavior when applying TTA to the factual probing task.

Confidence One of the aims to apply TTA was to reduce the number of overconfident and incorrect generations. In this section, we investigate the effect of TTA on the confidence of the model.

In our method, the aggregator re-ranks generations by calculating the sum of generation probability for all identical generations for each fact instance. The confidence of

Figure 3 Precision-recall curve when changed confidence threshold (model: t5-11b). Low recall means a high confidence threshold.

the aggregator can be expressed by the ratio of the score to the final output and the sum of the calculated scores (Eq.4).

$
\text { confidence }=\frac{\text { score }_{\text {final output }}}{\sum_{\text {candidates }} \text { score }}
$

After we calculated the confidence, we put the rankings of the confidence into bins of size 50 without considering whether the generation was correct or incorrect. We express $\operatorname{bin}_{i}(1<i<250, i \in \mathbb{N})$ as the bin with the $i^{t h}$ highest confidence, \#corrects $i$ as the number of correct generation in $\operatorname{bin}_{i}$, and \#incorrects ${ }_{i}$ as the number of incorrect generation in $\operatorname{bin}_{i}$. When we treat $i$ as a confidence threshold, precision and recall can be defined by Eq. 5 and Eq.6.

$
\begin{array}{r}
\text { Precision }_{i}=\frac{\sum_{j=1}^{i} \#^{i} \text { corrects }_{j}}{\sum_{j=1}^{i} \text { \#corrects }_{j}+\sum_{j=1}^{i} \text { \#incorrects }_{j}} \\
\operatorname{Recall}_{i}=\frac{\sum_{j=1}^{i} \# \text { corrects }_{j}}{\sum_{j=1}^{250} \# \text { incorrects }_{j}}
\end{array}
$

Figure 3 shows the calculated precision-recall curve for $i$ in the range $1-250$. Without TTA, the model precision was relatively low when the confidence threshold was high (= when the recall was small). This means that the model is outputting incorrect generations with high confidence. After applying TTA, the precision of the left side of the figure improved, indicating that TTA effectively reduced overconfident incorrect generations. In addition, the precision rose monotonically as the confidence threshold increased. This suggests that confidence can work as a convenient parameter to control model precision.

## 3.2 Negative Effects

When the original prompt elicited the gold label but the aggregation result outputs the incorrect label, the ac-

Table 3 Example of TTA improving performance. The gold label for this fact instance is "South America", and the aggregator returned " South America".

Table 4 Example of TTA degrading performance. The gold label for this fact instance is " Heidelberg ", but the aggregator returned

"Erlanden, Germany". The results of other prompts are in the appendix.

curacy declines. Table 4 shows an example of instances that caused the accuracy to decline. Only 9 out of 30 prompts are on the table, and others are in the appendix. The 30 prompts generated 18 unique generations as the generation with the highest score. 7 prompts generated "Erlanden, Germany", and 4 prompts generated "Heidelberg", the gold label.

When we look at the prompts in table 4 , not all augmented prompts keep the semantics of the original prompt. For example, prompt \#1 in the table replaced the word "Where" with "Accordingly", which is not a natural synonym. Prompt \#7 uses the word "inhume", which is a synonym of "bury", but the use is grammatically incorrect. Prompt \#15 is asking about a person whose name is "Hans-George Gadmer" and not "Hans-Georg Gadamer". The augmented prompt by back-translation with Japanese as the target language is hardly a paraphrase of the original prompt. Although the purpose of implementing TTA is to cover up incorrect generations by some prompts, expecting the behavior using numerous augmented prompts with low quality is a harsh setting. The augmented prompts are expected to maintain the semantic components of the original prompts while varying the syntactic structure or vocabulary. It is a crucial issue to produce paraphrases with high quality.

## 4 Conclusion

We applied the idea of test-time augmentation to the factual probing task on pre-trained language models to increase the model's accuracy and robustness. We used synonym replacement, back-translation, and stopwordsfiltering to create augmented prompts automatically. Out of the 7 models we investigated, TTA had a significant effect only on the t5-small model. On other models, TTA had a negative effect in terms of accuracy. The unsound effect of TTA is anticipated to result from the poor quality of automatically augmented prompts. We want to examine deeper into the quality of augmented prompts. Searching for a better method to produce high-quality paraphrases would also be indispensable.

In terms of confidence of the model, our results showed that TTA effectively reduced the number of incorrect outputs. In addition, results indicated that TTA enables confidence to be the parameter that could conveniently control the model precision.

## Acknowledgements

This work was supported by JST CREST Grant Number JPMJCR20D2, Japan, and JSPS KAKENHI Grant Numbers $21 \mathrm{~K} 17814,21 \mathrm{~K} 21343$, and $22 \mathrm{H} 00524$. We would like to thank the members of the Tohoku NLP for their frequent participation in discussions during the course of this research.

## References

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[2] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[3] Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu, and Alexander Miller. Language models as knowledge bases? In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2463-2473, Hong Kong, China, November 2019. Association for Computational Linguistics.

[4] Boxi Cao, Hongyu Lin, Xianpei Han, Fangchao Liu, and Le Sun. Can prompt probe pretrained language models? understanding the invisible risks from a causal view. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5796-5808, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[5] Taylor Shin, Yasaman Razeghi, Robert L. Logan IV, Eric Wallace, and Sameer Singh. AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4222-4235, Online, November 2020. Association for Computational Linguistics.

[6] Zhengbao Jiang, Frank F. Xu, Jun Araki, and Graham Neubig. How Can We Know What Language Models Know? Transactions of the Association for Computational Linguistics, Vol. 8, pp. 423-438, 072020.

[7] Zexuan Zhong, Dan Friedman, and Danqi Chen. Factual probing is [mask]: Learning vs. learning to recall. In North American Association for Computational Linguistics (NAACL), 2021.

[8] Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton. Imagenet classification with deep convolutional neural networks. In Proceedings of the 25th International Conference on Neural Information Processing Systems - Volume 1, NIPS'12, pp. "1097-1105”, Red Hook, NY,
USA, 2012. Curran Associates Inc.

[9] Guotai Wang, Wenqi Li, Michael Aertsen, Jan Deprest, Sebastien Ourselin, and Tom Vercauteren. Test-time augmentation with uncertainty estimation for deep learningbased medical image segmentation, 2018.

[10] Fábio Perez, Cristina Vasconcelos, Sandra Avila, and Eduardo Valle. Data augmentation for skin lesion analysis. 082018.

[11] Kazuhisa Matsunaga, Akira Hamada, Akane Minagawa, and Hiroshi Koga. Image classification of melanoma, nevus and seborrheic keratosis by deep neural network ensemble. 032017.

[12] Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, Doha, Qatar, October 2014. Association for Computational Linguistics.

[13] Chakaveh Saedi, António Branco, João António Rodrigues, and João Silva. WordNet embeddings. In Proceedings of the Third Workshop on Representation Learning for NLP, pp. 122-131, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[14] Adam Roberts, Colin Raffel, and Noam Shazeer. How much knowledge can you pack into the parameters of a language model? In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5418-5426, Online, November 2020. Association for Computational Linguistics.

[15] Jason Wei, Maarten Bosma, Vincent Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, and Quoc V Le. Finetuned language models are zeroshot learners. In International Conference on Learning Representations, 2022.

[16] Victor Sanh, Albert Webson, Colin Raffel, Stephen Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Arun Raja, Manan Dey, M Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma, Andrea Santilli, Thibault Fevry, Jason Alan Fries, Ryan Teehan, Teven Le Scao, Stella Biderman, Leo Gao, Thomas Wolf, and Alexander M Rush. Multitask prompted training enables zero-shot task generalization. In International Conference on Learning Representations, 2022.

Table 5 Example of TTA declining the accuracy. The gold label for this fact instance is " Heidelberg ", but the aggregator returned

"Erlangen, Germany ". The results of other prompts are in the appendix.

## Appendix

## Augmentation Methods

Synonym Replacement We use a python library "TextAttack". For synonym replacement using wordnet, we use WordNetAugmenter provided in the library. For synonym replacement using GloVe embedding, we use the transformation method WordSwapEmbedding to create an augmenter.

Back-translation We first translate the original prompt to 8 candidates in the target language. Each candidate is then translated back into 8 candidates in the source language, getting 64 back-translated prompt candidates in total. We adopt the round-trip probability as the score of the backtranslated prompt candidates and select 4 candidates using the aggregation method mentioned in section 2.4. For translations, we used Marian MT models ${ }^{3}$ ). The Marian MT models occupy roughly the same memory size as the t5-small model.
Stopwords-filtering This method drops stopwords and diacritics from the original prompt. We use a python library "Texthero" for the processing.

## Aggregator

Counting the number of appearances in the generations is one method of aggregation. We did not use count-based aggregation because the possibility of having multiple generations with the same counts is high. The phenomenon is predicted to occur more when we make the model output more sequences for each prompt. In addition, this method cannot take confidence into account as all generations by beam-search are equally weighted.

## Result

Table 5 shows the result of augmented prompts that we did not display on table 4.

3) https://github.com/Helsinki-NLP/Opus-MT


# A Statistical Analysis of English in Contemporary J-pop: Time Series of Lyrics and Identity, 2012-2021

David Calica Mariko Takahashi ${ }^{1}$
${ }^{1}$ Faculty of International Studies, Setsunan University
ddcalica@gmail.com mariko.takahashi@ilc.setsunan.ac.jp
}

\begin{abstract}
This paper analyzes the amount and variety of English within contemporary Japanese popular music (J-pop) over time and across a variety of artist identity factors. First, this study identified the quantity and variety of English tokens in the annual top 50 best-selling J-pop singles from 2012-2022. Over 70\% of songs analyzed contained English lyrics, but songs on average had only 15\% of total tokens in English. The average yearly amount of English increased by 6 percentage points from 2012 to 2022. Artist gender, K-pop affiliation, and group/solo status were all statistically significant with respect to amount of English in the songs.
\end{abstract
## 1 Introduction and Background

Mixing English in the lyrics of songs in the local language is a phenomenon that has been widely observed in many countries (Moody, 2020). This use of English has been considered as an indication of bilingual creativity, and various functions have been identified. For example, Chan (2009) pointed out that mixing English in Cantonese popular songs achieved functions such as highlighting part of the lyrics and producing rhyming. Luk (2013) added that English in the lyrics was also used for language play through phonological and semantic crossover between English and Cantonese. Indeed, researchers have claimed that code ambiguation, or the construction of messages in two languages at the same time, is a prime example of creative use of English in popular songs of Asia including Korea (Lee, 2022) and Japan (Moody \& Matsumoto, 2003; Moody, 2006). Another function of using English in popular songs has been to construct and project the intended identities of the singers (Benson, 2013; Kachru, 2006; Jin \& Ryoo,
2014; Stanlaw, 2021).

Previous studies on this issue have primarily taken a qualitative approach to analysis. As such, Takahashi and Calica (2015) integrated a quantitative aspect and conducted an analysis of $100 \mathrm{CD}$ singles that sold the most in Japan in 2013. The study selected gender, which had been one of the topics discussed in relation to Japanese popular music (e.g., Cogan \& Cogan, 2006; Toth, 2008), as a potential factor contributing to the use of English. The analysis showed that more than $70 \%$ of the songs contained English in their lyrics and that male performers used English statistically at a higher proportion than female performers. In addition, younger male performers used more English in their lyrics compared to older male performers. The study then pointed out that English in Japanese popular songs (J-pop) fulfilled both referential and affective functions.

However, it remains to be seen if the use of English in J-pop has fluctuated over time. There is limited research tracing the change of the lyrics of popular songs from a quantitative perspective. One such example includes a study by Anglada-Tort, Krause, and North (2021), which utilized machine learning techniques to analyze the transition of gender distribution of popular songs and its relation to the content of the lyrics, but did so within a native-English UK context. As statistical research on English within musical contexts where English is not an official language is even more limited, this study aims to describe and analyze the use of English in top Japanese popular songs in the period of 2012 to 2021 by using a statistical approach.

## 2 Methodology

First, the 50 best-selling CD singles were identified for each year from 2012 to 2021 based on the Oricon
annual chart . Second, for each of the 500 songs, lyrics were prepared in the text file format. Third, MeCab was used for dividing lyrics into tokens (http://taku910.github.io/mecab/). Each file was then checked manually to correct errors resulting from sentence fragments, colloquial expressions, and unique use of words. Fourth, AntConc (Anthony, 2020) was used for generating a word list and counting the number of tokens and types for each song. Finally, the number of English and Japanese tokens and types were calculated based on the word list.

Each song was tagged with its Oricon list year, what Oricon rank the song was listed at, whether the song was performed by a male or female lead singer, whether the song was performed by a group or solo artist, and whether the song was produced by a Korean company (K-pop). For purposes of this paper, Korean-based songs as published in Japan and listed on the Oricon top 50 are tagged as "K-pop".

For statistical analysis, each song's token, type, year, and artist factor data was input into Excel and $\mathrm{R}$ and analyzed for summary statistics. Finally, a multi-factored linear regression model was created using percent of each song's tokens as the dependent variable and artist factors and year as the independent variables.

## 3 Results and Analysis

We analyzed a total of 500 songs, spanning 10 years. $61 \%$ of songs were performed by a male-lead, $94 \%$ of songs were sung by a group of $2+$ members, and $8 \%$ of songs were categorized as K-pop.

Most of the songs contained some English, but overall English was low within each song when compared with native Japanese (see also Figure 10 in Appendix).

73\% of the 500 songs contained English tokens. On average, $15 \%$ of tokens per song were English and 11\% of types per song were English. Songs ranged from 0 to $100 \%$ English, with $27 \%$ of songs containing 0\% English and $0.6 \%$ of songs containing $100 \%$ English.

Figure 3 shows a distribution of the songs based on the percentage of song tokens in English. Nearly two-thirds (61\%) of songs analyzed contain between $0 \%$ and $10 \%$ English, with the vast majority (94\%) containing less than 50\% English. Although English continues to play a significant role in conveying messages and musicality in contemporary J-pop, it overall remains a predominately minor language compared to native Japanese.

## 3.1 Trends over Time

Compared with Takahashi and Calica (2015) this paper tasked to answer how the use of English in J-pop has changed over time. To do so, we developed a time series calculating the average English usage year-over-year (see also Figure 11 in Appendix for \% of types over time).

Over the past 10 years, the amount and variety of English has increased over time. Both tokens per song and types per song increased, as denoted by the significantly positive slope trendline. In 2012, songs on average had $12 \%$ of tokens as English, while in 2021, songs on average had $18 \%$ of tokens as English.

There is a $+6-7$ percentage points ( $\mathrm{pp}$ ) increase of English tokens and types between 2019 and 2020, which represents the largest year-over-year increase in the data. 2020 was a notable year for the music industry due to COVID-19 effects on global cultures and markets. In the next section, we note other localized effects such as gender and group factors in 2020 that also played a role in this English increase.

## 3.2 Gender as Related to English

In Takahashi and Calica (2015), performer gender was found to be a significant factor in understanding the use of English in 2013 songs. This trend continues when looking across the 2012-21 timeframe.

Male performers used a higher percentage and higher variety of English in their songs, with the average male song having +10 pp more English and +8pp more types. It was theorized in Takahashi and Calica (2015) that a prototypical J-pop male image is constructed through a variety of factors, potentially including heavier English usage. Given a higher statistical usage, it does appear that the modern J-pop male image remains more strongly tied with English usage.

The relationship between male gender and English is relatively consistent over time, as in Figure 6. Both genders have increased their English usage over time.

There is variation for the gender-English distribution, particularly in 2018-2020. 2018 is the first year observed where the female average usage was equal to or higher than the male average usage. This is primarily due to the increase in female K-pop groups, such as TWICE, appearing in the Oricon top 50 for the first time. As will be noted in the next section, Korean-based groups provide a significant increase of English usage in
Japanese music. For example, if TWICE were excluded from the data, the average female Japanese English token percentage in 2018 would drop from $13.5 \%$ to $10.3 \%$, which would be lower than the male average of $12.8 \%$.

As noted in section 3.1, 2020 provided major changes to the J-pop landscape. In addition to global COVID-19 effects, many new male groups entered the top lists with increased English usage. For example, new male groups such as SixTONES, Snow Man, and JO1 debuted and reached the top 50 with 6 songs, with a combined average of $51 \%$ English tokens. These new songs replaced staple female groups such as the " 48 -groups" (AKB48, NMB48, etc.), which had a drop from the top 50 lists, going from an average of 11 songs in the top 50 between 2012-2019 to 8 in 2020.

## 3.3 Korean and Groups Factors

K-pop has had a significant effect on English usage in Japanese music, with many Korean-based groups hitting the top 50 charts. As noted in section 3.2, TWICE for example helped increase the amount of English in Japanese music in 2018. K-pop groups, while they hold a minority of top 50 song slots, do provide a significant increase in English usage and variety.

The average Oricon listed Korean-based song has +19pp more English tokens and +14pp more types than a Japanese-based song. Similarly, being part of a group versus being an individual performer is linked to English usage. The average group has +10pp more English usage and +6 pp more English types.

## 3.4 Factor Significance

To statistically test each factor's significance with respect to English usage, we utilized a multi-factored linear regression model and tested whether each factor has statistically significant predictive effects. For this model, we regressed each song's English token percentage with respect to the song's year, performer gender, group/solo category, K-pop category, and 1-50 rank.

 & K-pop + Rank \\

Year, gender (male), group, and K-pop flags all had a positive and statistically significant effect with respect to English usage by song. Rank was a factor which had no statistical effect, meaning that English is not correlated with how highly the song was ranked in the top 1-50 (See Appendix for details).

Based on the independent linear regression model, the significant linear estimates are greater than 0 and can be additive. For example, all else equal, a male K-pop group song will on average have +39pp more English than a female, non-K-pop solo artist song.

## 4. Discussion

English continues to carry significant purpose for lyrical construction within Japanese popular music, as it is statistically significant and remains the highest non-Japanese language to appear in top 50 Oricon for 2012-2021. Over time, English slowly has begun to increase in usage and variety, making it an even stronger portion of the Japanese music scene. Like many other fields, 2020 in particular had a pronounced effect on J-pop and English in J-pop, including the debut of high English-using groups.

English usage is also significantly linked to the musical performer identity, as it is associated with gender, group/solo distinction, and being Korean-based vs. non-Korean-based. However, this statistical identity based on lyrics is a constructed or presented image from the artist. Further research, such as audience testing, could help understand how such a language-based image is perceived from the audience's perspective.

## 5. Conclusion

Within this study, we statistically analyzed the use and variety of English in Japanese popular music lyrics. While English had broad usage across songs and was present in $73 \%$ of songs, it remained limited in terms of average amount (15\% of tokens per song) and average variety (11\% of types per song).

English has increased in usage from 2012 to 2021, with the average tokens per song increasing by 6 percentage points. English was also on average higher in songs from male artists, group performers (vs solo), and K-pop artists.

We look forward to further monitoring English in J-pop, especially as we encounter new structural changes. For example, new groups like Snow Man, which uses an average of over 50\% English per song, have helped increase usage overall. We could potentially see English grow from a strong minority language presence to an even more pronounced and integral unit of Japanese musical communication.

## References

Anglada-Tort, M., Krause, A. E., \& North, A. C. (2021). Popular music lyrics and musicians' gender over time: A computational approach. Psychology of Music, 49(3), 426-444. https://doi.org/10.1177/0305735619871602

Anthony, L. (2020). AntConc (Version 3.5.9) [Computer Software]. Tokyo, Japan: Waseda University. Available from https://www.laurenceanthony.net/software

Benson, P. (2013). English and identity in East Asian popular music. Popular music, 32(1), 23-33.

https://doi.org/10.1017/S0261143012000529

Chan, B. H. S. (2009). English in Hong Kong Cantopop: language choice, code-switching and genre. World Englishes, 28(1), 107-129.

https://doi.org/10.1111/j.1467-971X.2008.01572.x

Cogan, B., \& Cogan, G. (2006). Gender and authenticity in Japanese popular music: 1980-2000. Popular Music and Society, 29(1), 69-90.

https://doi.org/10.1080/03007760500167313

Jin, D. Y., \& Ryoo, W. (2014). Critical interpretation of hybrid K-pop: The global-local paradigm of English mixing in lyrics. Popular Music and Society, 37(2), 113-131.

https://doi.org/10.1080/03007766.2012.731721

Kachru, Y. (2006). Mixers lyricing in Hinglish: Blending and fusion in Indian pop culture. World Englishes, 25(2), 223-233.

https://doi.org/10.1111/j.0083-2919.2006.00461.x

Lee, S. (2022). Typology of English-Korean code ambiguation: Bilingual creativity in the Korean context. English Today. Advance online publication. https://doi.org/10.1017/S0266078422000116

Luk, J. (2013). Bilingual language play and local creativity in Hong Kong. International Journal of Multilingualism, 10(3), 236-250.

https://doi.org/10.1080/14790718.2013.808200
Moody, A. J. (2006). English in Japanese popular culture and J-Pop music. World Englishes, 25(2), 209-222.

https://doi.org/10.1111/j.0083-2919.2006.00460.x

Moody, A. (2020). English in Asian popular culture. In K. Bolgon, W. Botha, \& A. Kirkpatrick (Eds.), The handbook of Asian Englishes (pp. 763-786).

Wiley-Blackwell.

https://doi.org/10.1002/9781118791882

Moody, A., \& Matsumoto, Y. (2003). "Don't touch my moustache": Language blending and code ambiguation by two J-pop artists. Asian Englishes, 6(1), 4-33.

https://doi.org/10.1080/13488678.2003.10801106

Stanlaw, J. (2021). Using English as identity markers in Japanese popular music: J-pop and beyond. In E. L. Low \& A. Pakir (Eds.), English in East and South Asia (pp. 198-211). Routledge.

https://doi.org/10.4324/9780429433467

Takahashi, M., \& Calica, D. (2015). The significance of English in Japanese popular music: English as a means of message, play, and character. Proceedings of the 21st Annual Meeting of the Association for Natural Language Processing, 868-871.

https://www.anlp.jp/proceedings/annual_meeting/2015/in dex.html

Toth, C. (2008). J-Pop and performances of young female identity: Music, gender and urban space in Tokyo. Young, 16(2), 111-129.

https://doi.org/10.1177/110330880801600201

## Appendix


# ニューラル分類器の予測の解釈に基づく 集団に特徴的なテキスト表現の抽出: アメリカ人を例に

渡邊 幸暉 村脇有吾 黒橋禎夫
京都大学大学院情報学研究科
\{k-watanabe, murawaki, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

本研究では、ある集団に特徴的なテキスト表現を その他の集団との比較により抽出する手法を提案す る。提案手法は、 2 種類のテキストを識別する分類器を訓練したうえで、ニューラルネットの説明手法 に基づいて、分類器の予測に貢献する入力テキスト 中の表現を特定する。具体例としてアメリカの文化 や歴史を背景とした表現に取り組み、データセット の構築や評価実験を行う。

## 1 はじめに

人々の言語使用は、国や社会階層といった自身が 属する集団の文化を反映していると考えられる。そ の性質を解明することで、例えば異文化コミュニ ケーションの支援といった応用が期待できる。

この研究課題への有力な取り組みは、異なる集団 が産出したテキスト同士の比較を通じて差異を解明 するというもので、対照研究あるいは比較研究とよ ばれる [1]。こうした対照研究は、主に社会言語学 を中心としたいわゆる文系の研究者によって進めら れてきた。例えば、ウェブ、新聞記事、聖書といっ た様々な言語資料を比較することで、異なる集団が 用いるテキスト表現の違いを明らかにできる [2]。

従来研究のうち人手による事例分析は、客観性を 担保するのが難しい。また、対象テキストが数十件 から数百件程度にとどまるなど、規模にも限界があ る [3]。コーパスに基づく分析は客観性の問題を改善するが、人手によるアノテーションを必要とする 場合はやはり規模に限界がある。自動分析を行う場合も、単語のような断片的で言語的に表層的な手が かりしか扱えないという課題が残る。

本研究ではこれらの対照研究の課題を解決する ために、説明可能な AIを応用した手法を提案する。
(3) r/NoStupidQuestions $\cdot$ Posted by u/MossLover6465 22 days ago Guys, who is Uncle Sam?

I ain't American and kinda hear about him a lot. Is he a fictional character or he existed at some point?

MrLongJeans $\cdot 22$ days ago

Uncle Sam means the government, like I owe Uncle Sam a third of my paycheck in taxes. He is usually personified in the I Want You recruiting poster from WW2:

図 1 Reddit でのやりとりの一部

出典 : https://www.reddit.com/r/NoStupidQuestions/ comments/z7h6fs/guys_who_is_uncle_sam/

提案手法はデータ駆動型の取り組みにより客観性と 規模性を確保するとともに、近年のニューラルネッ トの強力な文脈処理能力を活用することで、従来の 自動分析では扱うのが難しかったような長いテキス 卜表現を探索的に抽出する。ニューラルネットは高 い性能の代償としてその振る舞いがブラックボック ス化することが問題視されているが [4]、その解決策として説明可能な AI の研究が盛んに進められて いる [5][6]。本研究のキーアイデアは、その成果を 応用し、ニューラルネットが異なる集団による 2 種類のテキストをどのような手がかりを用いて識別し たかを解釈することを通じて、テキスト間の差異の 原因を表現レベルにまで絞り込むことである。

提案手法の具体的な適用事例としてアメリカ人に 着目する。アメリカは第二次世界大戦以来超大国と され [7]、特に冷戦後は唯一の超大国であるとされて いる [8]。国際社会におけるアメリカの存在感は著 しく、文化、経済、科学技術などの分野で他の国々 がアメリカを追随する形で世界が発展している。

こうした背景のもと、アメリカ国内のコンセンサ スが世界のコンセンサスであるかのような言動が見 られることがある。具体的には、アメリカ以外の国 の人がいる場でも、アメリカ人にしか理解できない ような表現が使われてしまう。図 1 は、英語圏の才

ンライン掲示板 Redditで、アメリカ人ではないとい う投稿者がよく耳にするという“Uncle Sam”という 人物について尋ねている様子を示す。この例では、 “Uncle Sam” は特定の人物を指す言葉ではなく、ア メリカ合衆国政府を意味する熟語であることが説明 されている。

このようにアメリカの文化や歴史を背景とする表現を本研究ではアメリカニズムとよぶ (表 A.1)。ア メリカニズムを抽出して提示することにより、アメ リカ以外の国の人に対して意図せずアメリカニズム を使用してしまう事態を回避し、より円滑なコミュ ニケーションが可能になることが期待される。

本研究では、アメリカ人が書いた文と他の英語圈 の国の人が書いた文を比較することで、アメリカニ ズムを抽出する。クローリングによるデータセット 構築、Reddit が SNS であることを利用した対象の効果的な絞り込み、BERT に基づく強力なニューラル 分類器の訓練を行ったうえで、説明手法の適用によ り表現の抽出を行う。抽出例を人手で分析したとこ ろ、実際にアメリカニズムが抽出できていることが 確認できた。

## 2 関連研究

提案手法の基本的なアイデアは Harust ら [9] に由来する。Harust らは英語表現のなかには母語話者に 特徴的なものがあると仮定し、英語母語話者による テキストと第二言語話者によるテキストを比較す ることでそのような表現を抽出した。まず、Reddit の投稿から作成した話者国籍別の英文データセッ ト [10]を利用して、入力されたテキストが英語母語話者のものか第二言語話者のものかを識別する 分類器を作成した。この分類器に対して、説明手法 の1つである contextual decomposition [11]を適用し、分類器の出力スコアに対する入力テキスト中の各表現の貢献を近似的に求めた。このスコアを当該フ レーズの母語話者らしさとみなし、スコアの高いフ レーズを母語話者に特徵的な英語表現の候補とし ている。この分類器の訓練には complementary-label learning [12]を応用した手法が使われており、通常 の2つのラベルに加え、「どちらとも言えない」と いう特殊ラベルが導入されている。

Harust らは言語的な興味から英語母語話者と第二言語話者を比較したのに対し、本研究は文化的な観点からアメリカ人とその他の英語圈の人を対照す る。また、Harust らは分類器をLSTM を用いて構築
MortimerDongle $\cdot 26$ days ago

媐United States of America

Is testing homes for radon and installing vent fans for it uncommon?

\ $\oiint$ Reply Give Award Share Report Save Follow

図 2 Reddit で国籍を表明するタグが使用されている例投稿者がアメリカ国籍であることが表明されている 出典 : https://www.reddit.com/r/AskEurope/comments/ z81amu/comment/iycx57x/

表 1 構築したデータセットの国籍の内訳

したのに対して、本研究はより強力な BERTを用い るなど、様々な点で手法に改良を加えている。

## 3 データセットの構築と絞り込み

## 3.1 データセットの構築

Harust ら [9] は話者国籍別の英語テキストとして Reddit に由来するデータセット [10]を用いた。この データセットは、Reddit 内の一部のコミュニティで 投稿者が自らの国籍をタグ (flair、図 2)で表明して いることを国籍判別の手がかりとして利用してい る。原著者らの目的は、母語識別タスク (例えば英文の書き手がドイツ人であることを判別するなど) だが、アメリカやその他の英語圈の国が収録されて おり、本研究の目的にも利用できる。

このデータセットには投稿本文とその国籍ラベル のみが収録されている。しかし、例えば、Redditが SNS であり、投稿者同士が関係を持っていることを 利用すれば、より高品質にアメリカニズムが抽出で きるかもしれない。こうした動機に基づき、本研究 では独自に Reddit のクローリングを行った。

本研究では、アメリカと、比較対象として英語圏 のその他の 3 力国を対象とした。先行研究 [10] と比較すると、国籍判別の手がかりをを拡大している。投稿者が用いるタグは自由記述だが、先行研究は国名のみに着目していた。これに対し、本研究ではア メリカ国内の州名やその他の地名1)も利用した。こ うしたタグの使用者はより内向きでアメリカニズム を表出する可能性が高いと期待できる。 データセット構築結果を表 1 に示す。州名や地名
 というものもあった。

図 3 分析対象の絞り込みの手順

のタグも利用してことにより、アメリカ国籍の投稿者の投稿を多く収集できていることが分かる。

## 3.2 分析対象の絞り込み

一般に、ある集団の話者が産出したテキストに 必ずその集団に特徵的な表現が出現するとは限ら ない。この問題に対処するために、Harust ら [9] は、母語話者と第二言語話者という 2 つのラベルに加 えて、「どちらとも言えない」という特殊ラベルを 導入し、特徴的な表現が出現しないテキストを吸収 させていた。この目的のために complementary-label learning という機械学習手法を応用していた。

Harust ら [9] はこの 3 值分類器に説明手法を直接適用していたが、本研究ではまず 3 值分類器を使っ て分析対象となるデータを絞り込んだうえで、改め て 2 值分類器を訓練する (図 3)。処理段階を段階的 に行うことで、例えば次節で示すように、Reddit の 特性を利用したデータの質の改善が容易になる。

## 3.3 投稿者同士の関係の利用

Reddit の SNS としての特性は、データの質の改善 に貢献し得る。例えば、アメリカ人同士での交流が 中心の投稿者は、他の国の人との交流が多いアメリ カ人よりもアメリカニズムを表出する可能性が高 い。そこで、投稿者が自分と異なる国籍の投稿者に 対する返信の割合を手がかりとして利用する。具体的には、投稿者に対して国際性スコアを付与する。

投稿者の国際性スコア $=$

その投稿者が自身と異なる国籍の人に返信した数返信先のうち、タグによって国籍が分かっている数 この国際性スコアは、絞り込み用の分類器に追加の 特徵量として与える。

実験では、表 1 のアメリカと、アメリカ以外の国 をまとめたその他の国の識別を行った。分類器と しては BERT [13]を用い、各ラベル 900 万文ずつを

図 4 sampling and occlusion algorithm $の$ 実行例四角で囲われた部分がランダムに変更された文中の語を 表す。

ここでは簡単のため 3 文に対する出力の平均としている。

使って訓練を行った。結果を表 A. 2 に示す。国際性 スコアを付加することで、「どちらとも言えない」 に分類された割合が減った2)にも関わらず、正しく 分類できた割合が増えている。したがって、国際性 スコアは絞り込みの精度向上に貢献していると判断 できる。

図 1 や表 A. 1 で示したアメリカニズムの具体例に ついて、絞り达み前後での登場頻度の変化を表 A. 3 に示す。特に登場回数が数千程度の例については、絞り込みにより、アメリカラベルのテキストにより 偏って出現するようになったことが確認できる。

## 4 分類器の説明手法を使った各表現 のアメリカらしさの評価

## 4.1 分類器の説明手法の利用

本研究で用いる分類器の説明手法は、分類器の出力に対して、入力テキストのどの部分が強く貢献し たかを明らかにする。本研究では、絞り込み後の データを用いて、アメリカとその他の国を識別する 2 値分類器を訓練している。したがって、分類器が アメリカラベルを予測した際、その予測に強く貢献 した大力文中の表現が、アメリカらしい表現、すな わちアメリカニズムであるとみなせる。

テキストの分類器の説明手法は複数提案され ているが、本研究では sampling and occlusion (SOC) algorithm [14]を利用する。ある表現を分析対象とし たとき、原文中のその表現をパディングトークンで 置き換えて再分類を行うと、もとの出力スコアから の差分をその表現の貢献と見なせる。ただし、この スコアの差分はその表現の前後の文脈によって変化 する。SOC は、この文脈依存性を取り除くために、文脈中の語をランダムに変更した場合を考慮して、当該表現の評価値を求める (図 4)。実験では、1つ

の大力に対して 20 文のサンプリングを行った。

## 4.2 分析対象となる表現の取り出し

分類器の説明手法を利用するためには、分析対象 となる表現を指定する必要がある。Harust らは入力文中ののすべての 5-gram までを分析の対象として いたが、これでは明らかに意味をなさない表現が対象に含まれる、長さが 6 以上の表現は分析の対象に できないなどの問題点がある。

そこで、本研究では文に対する句構造解析を適用 し、その結果を用いて表現を取り出す。具体的に は、句構造解析によって得られた構文木の各頂点に ついて、その子孫となる単語列を一つの表現として 利用する。Harust らの手法と比べて、明らかに意味 をなさない表現が含まれない、長さが 6 以上のもの も取り出せるなどの利点がある3)。

## 4.3 既知のアメリカニズムを用いた分析

アメリカニズムの抽出は探索的なタスクであり、定量的な評価自体が挑戦的な課題である。そのた め、まずは簡易的な評価として、既知のアメリカニ ズムを含む文に対する提案手法の振る舞いを調査 した。

説明手法を適用する 2 值分類器としては BERTを 用い、アメリカとその他の国の各ラベル 900 万文を 用いて訓練した。注目する表現に対して、そのアメ リカラベルへの貢献度から他の国のラベルへの貢献度を引いたものを評価値として用いる。この評価値 が正であればアメリカらしい表現、負であれば他の 国らしい表現であると評価されたことになる。

結果を表 A. 4 に示す。上の 3 例は図 1 や表 A. 1 で 見たアメリカニズムの例、一番下は他の国のラベル に含まれるイギリスに特徴的な表現の例である。実際の評価値はアメリカニズムの例に対して正、イギ リスに特徴的な表現で負となっていることが確認で きる。

## 4.4 抽出結果の人手評価

次に、提案手法が抽出した表現を人手で評価し た。 3.2 節で説明したデータセットのうち 250 万文 に対して、4.2 節で述べた手順で分析対象表現を列挙し、各表現に対して説明手法を適用して評価値を 求めた。各表現の頻度を集計し、10 回以上出現す

3）例えば "I owe Uncle Sam a third of my paycheck in taxes." とい う文の場合、5-gram までで表現を取り出した際の候補は 45 個になるのに対し、句構造解析を用いると 19 個となる。
る表現を対象としたところ、約 127,800 個の表現を 得た。このうち頻度上位 $1 \%$ から 100 個の表現をラ ンダムに選んで人手で評価した。長い表現のうちど の部分を抽出すべきかは判断が難しいため、アメリ カらしい表現が含まれていれば正解と判定した。な お、本論文の著者は全員が日本に住む日本語話者で あるため、見逃したアメリカニズムがある可能性は 否定できない。

調査の結果、100 個中 51 個がアメリカらしい表現であった。このうち、アメリカ国内の固有名詞が 2 個 (Buick や Grunhub)、アメリカ英語の綴り (イギ リス英語の favour や honour に対する favor や honor など)を含む表現やアメリカ的な言い回し (home improvement store や、イギリス英語の grocery shop に 対する grocery store) が 35 個であった。小切手の意味の check にはアメリカ英語であり、イギリス英語では cheque と綴るが、check という単語自体はイ ギリス英語でも用いられる。提案手法は writing a check という、check の語義が特定できる形の表現を 抽出しており、ニューラルネットの高い文脈処理能力がうかがえる。 51 個のうち残り 14 個が、アメリ カの文化や歴史を色濃く反映した、狭義のアメリカ ニズムと判断できるものであった (表 A.5)。この結果は、探索的用途において提案手法がアメリカニズ ムの効率的発見に利用可能であることを示唆する。

正解と判定しなかった 49 個のうち 7 個は college を含む表現だった。college とよばれる機関自体は英語圏に広く存在するが、Reddit 上ではアメリカの機関の存在感が大きく、他の国での用法を頻度上圧倒 した可能性がある。

## 5 おわりに

本研究では、ある集団に特徴的なテキスト表現を テキストの分類器の説明手法を活用して抽出する手法を提案し、その具体な適用事例として、アメリカ 人に特徴的な表現であるアメリカニズムを抽出し た。分析対象をアメリカに特徴的な表現が含まれる ものに絞り込むことで、アメリカニズムの出現頻度 に大きな偏りが発生して分析がしやすくなること を示し、実際の説明手法の適用で良好な結果が得ら れることを確認した。また、提案手法を実行した結果、評価值が高かったものからアメリカニズムを発見することに成功した。今後は、別の対象研究への 提案手法の適用などについても検討したい。

## 参考文献

[1] 井上優. 対照研究について考えておくべきこと. 一橋日本語教育研究, Vol. 3, pp. 1-12, 2015.

[2] 河正一. 社会言語学的調査の状況一言語行動に関 する日韓対照研究を中心に一. 計量国語学, Vol. 31, No. 8, pp. 572-588, 2019.

[3] 佐々木倫子. 言語の対照研究と言語教育. 日本語科学, Vol. 3, pp. 127-134, 1998.

[4] Yavar Bathaee. The artificial intelligence black box and the failure of intent and causation. Harvard Journal of Law \& Technology, Vol. 31, No. 2, pp. 890-938, 2018.

[5] Riccardo Guidotti, Anna Monreale, Salvatore Ruggieri, Franco Turini, Fosca Giannotti, and Dino Pedreschi. A survey of methods for explaining black box models. ACM Comput. Surv., Vol. 51, No. 5, pp. 1-42, 2018.

[6] Venessa Buhrmester, David Münch, and Michael Arens. Analysis of explainers of black box deep neural networks for computer vision: A survey. Mahine Learning and knowledge extraction 2021, pp. 966-989, 2021.

[7] William T. R. Fox. The Super-Powers; The United States, Britain, and the Soviet Union- Their Responsibility for Peace. New York: Harcourt, Brace and Company., 1944.

[8] Ian Bremmer. These are the 5 reasons why the U.S. remains the world's only superpower, 2015. https://time.com/ 3899972/us-superpower-status-military/.

[9] Oleksandr Harust, Yugo Murawaki, and Sadao Kurohashi. Native-like expression identification by contrasting native and proficient second language speakers. In Proceedings of the 28th International Conference on Computational Linguistics, 2020.

[10] Ella Rabinovich, Yulia Tsvetkov, and Shuly Wintner. Native language cognate effects on second language lexical choice. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 329-342, 2018.

[11] W. James Murdoch, Peter J. Liu, and Bin Yu. Beyond word importance: Contextual decomposition to extract interactions from LSTMs. In International Conference on Learning Representations, 2018.

[12] Takashi Ishida, Gang Niu, Weihua Hu, and Masashi Sugiyama. Learning from complementary labels. In Advances in Neural Information Processing Systems, 2017.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 2019.

[14] Xisen Jin, Zhongyu Wei, Junyi Du, Xiangyang Xue, and Xiang Ren. Towards hierarchical importance attribution: Explaining compositional semantics for neural sequence models. In International Conference on Learning Representations, 2020 .

## A 参考情報

表 A. 1 アメリカニズムの例

 & 形勢が逆転する様 \\

表 A. 2 絞り込み分類器の学習結果

 &  \\

表 A. 3 データの絞り込みによる、データ中のアメリカニズムの登場回数の変化 (括弧内は残存率)

表 A. 4 Reddit 上の実際の投稿文に対する、説明手法の適用結果

表 A. 5 分類器の説明手法による評価値が高かった表現から発見されたアメリカニズム

 &  &  \\


# 新型コロナウイルスに関する新聞報道
## の時系列変化の日中米比較

\author{
童 樺 ${ }^{1}$. 森川美 幸 ${ }^{2}$ $\cdot$ 榎 本 美 香 ${ }^{2}$
}

## 概 要

本研究では、日中米三国の新型コロナウイルスに関 する新聞報道が時系列的な変化を明らかにする。分析 1 では、諸国いずれも報道数はコロナの蔓延状況 と密接な関係があることを示す。分析 2 では、諸国各時期のキーワードの出現頻度を算出し、各時期で 取り上げられるトピックを自国内、国際、経済三つ に分けて分析する。分析 3 では諸国各時期で報道内容 の情感の違いを明らかにする。これらの分析を通じ て、中日米三国の新型コロナウイルスに関する報道量や中心的な話題の変化を示し、それらが時間の経過に伴ってどのように変遷するかを明らかにする。

1 はじめに

2019 年末, 中国武漢市から報告された原因不明肺炎は, 新たなコロナウイルス（以下コロナ）が原因 であることが判明した。2021 年 1 月 30 日、 WH 0 は「国際的に懸念される公衆衛生上の緊急事態」を、3 月 11 日には「パンデミック」の宣言をした $[1]$ 。各国 がコロナの流行に影響を受ける中、社会の不確実性 は増加し、国民の情報欲求は高まる［2]。諸国の報道機関はコロナに関することを大きく取り上げるよ うになる。本研究では、各国の報道の関心の中心と その時系列的変化を明らかにする。

## 2 先 行研究

酒（２００１）は、コロナ報道中に、中国への差別的報道、たとえば人種的差別、情報格差、経済格差、教育格差に関する報道が含まれていたとする［３］

また、星野（（２０２２）は日本国内の新聞社間でコロナ に関する新聞社説を構成するトピックの時系列変化 や新聞社ごとのトピックの偏りを分析し、新聞は多様な側面に言及していることを明らかにした［４］。

は Twitter で日本国内の 1 例目の感染者が確認され た 9 週間でコロナに関する投稿を関連語や共起ネッ トワークを分析した。SNS 投稿内容から，コロナの 感染拡大は人々のウイルス感染への不安に加え、報道内容や社会情勢の不安定さによる不安や疲労感、 ストレスを生じさせていた実態を示唆している。 ただし、これらの研究はコロナに関する日本国内の 報道だけを分析しており、日本以外の諸国でどのよ うな報道がなされたのかは分からない。

## 3 方 法

本研究は各国を代表すると考えられる新聞紙を対象とする。次に、本論文では、日本、中国、米国を 対象とするっこれは、この三つの国は世界三大経済大国であり、経済的にも政治的にも世界に与える影響力が大きいと考えられる。新聞紙の選択には対象国から『 NEW YORK T IMES』、『読売新聞』、『人民日報』を選択した。データべースに基づいて、2020 年 1 月 1 日 から 2022 年 6 月 30 日まで、コロナ関連の 記事を収集する。日本語では「新型コロナウイル ス」をキーワードとしてデータベースの検索を行

う。中国は「新冠肺炎」、米国は’coronavirus，と いうキーワードで検索する。

次に、日本の新聞紙の特性を鑑みて、中立性を保つ ている『読売新聞』を用いる。中国は『人民日報』、米国は『 NEW Y O R K T I E S』が全国紙であるた めこれらを用いる。取得した記事のテキストを Excel でデータベース化する。次に、自然言語処理を用 い、それぞれの新聞紙のトピック解析を行う。

## 4 分 析 1

2020 年 1 月 1 日 から 2022 年 6 月 30 日ま で、各データ ベースでキーワード検索を行った記事数を抽出する

各国いずれも2020 年の報道量は感染の蔓延に伴い増加している。日本は分析した全期間を通じて、この 傾向にある。一方、中国と米国は、その後感染者数 の増加やロックダウンが生じても、報道が減少す る。このことは、中国や米国においいては、時間の経過とともにコロナに対する関心が薄れていったこと を伺わせる。

## 5 分 析 2

抽出した関連記事を形態素解析する。日本語専用の MECAB、中国語専用の JIEBA、英語専用のNLTKを用い てそれぞれ形態素解析を行う。

これらのツールを用い形態素解析し、各時期の単語出現頻度を求める。単語の出現頻度数が多くても、 あまり意味が無い単語（たとえば、接続助詞など） は、重み付けを行い除外する。重み付けは「 $\mathrm{t} \mathrm{fidf}$」という計算式を用いる。この計算式は主に文書検索やレコメンデーションに使われている（一色政彦 2021 ）［9］。単語ランクの並び順は頻度と重み付け 両方とも前 10 位で表示される。

図 4 読売新聞トピック

図 5 人民日報トピック

city

図 6 NYTトピック

日中米いずれも 2020 年初めの段階では、中国に関 するトピックが取り上げられている。2021 年になる とワクチンに関するトピックが盛り上がる。

日本の新聞報道の特徴は、初めの段階で中国の感染状況に対するトピックが多く、少し経つと、自国内 の国民生活や社会保障などに関するトピックが増え る。一方で、国際社会に関する言及は少ない。

中国の新聞報道の特徴は、WHO や他の国に関する国際連携のトピックが多い。時間が経過すると、感染状況より経済面に関する言及が増える。一方で、自
国内の国民生活に関するトピックは見られない。米国の新聞報道は初期段階で中国とその政府機関に 対する関心が多く、自国内の感染状況より他国に注目している。後期では、国民生活や国際旅行に関す ることに関心が高くなっていく。一方で、経済面に 関する言及は見られない。

## 6 結 論

本研究を通じて、日中米の新型コロナウイルスに 関する新聞報道は様々な違いがあることが分かっ た、各国のマスメディアは初期の段階では感染者数 やロックダウンなどに関する話題が多くなるという 共通点がある。しかし、時間の経過とともに、政治 ・経済・国際情勢など各国間の関心の有りようが変 わっていくことが明らかになった。


# 情報ボトルネック法を用いた視線・脳情報デコード手法の提案

原田宥都 大関洋平
東京大学大学院 総合文化研究科言語情報科学専攻
\{harada-yuto, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

人間がテキストを読む際の視線や脳活動の記録 は，これまで主に人間の認知機能の理解のために用 いられてきたが，近年ではこのような人間の認知 データが自然言語処理タスクにおいても有益である ことが分かってきた．しかし，認知データは特定の 言語処理タスクにとって多くの無関係な情報を含む ため，効率的に用いるのが難しく，また，なぜタス クの改善に寄与するのかについてもほとんど議論が なされていない. 本稿では, 視線や脳情報から特定 のタスクに有益な情報のみを取り出す認知情報ボト ルネック法を提案し，その性能を検証する。

## 1 はじめに

眼球運動や脳活動の記録は，人間の持つ言語能力 がどのように機能するのかを理解する上で，重要な 役割を担ってきた $[1,2]$. 近年の研究では，アイト ラッキングデータや EEG により記録された脳波を 用いて自然言語処理タスクを改善することができ ると報告されており [3]. この効果は固有表現認識 や関係抽出，センチメント分析など，複数のタスク において一貫して確認されている。これらの結果か ら, 視線や脳波などの情報が統語的情報, 語彙的情報，あるいは言語処理の際の認知負荷など様々な情報を含んでおり，それらが自然言語処理タスクにお いて有益な特徴となっていることが予想される. し かしながら，それぞれの認知データは言語処理の全 ての過程を反映した情報であり，特定のタスクに とって無関係な情報を含んでいる. 特に脳波は一般的に高次元なデータであり, 特定のタスクでどの脳領域の情報が有用か，あるいはどの周波数帯域の脳波が有用か，などを事前に知ることは困難である.

そこで，本研究では，認知データから特定のタス クにとって有益な情報のみを取り出すための手法と して，認知情報ボトルネック法を提案する. 具体的 には，一般的な情報ボトルネック法 [4]を継承し，
それを同時に記録された視線と脳波に適用するこ とで，マルチモーダル設定での学習に用いることの できる単一の埋め込み表現へ変換する．情報ボトル ネック法の目的関数はタスクの精度を最大化しつつ 入力情報をなるべく圧縮するものであり，視線や脳波の持つ様々な情報からタスクにとって必要な情報 のみを取り出すことができる．またその際には次元数を削減することができるため, 次元数に大きく差 のある視線と脳波を同時に学習に用いることが容易 になる.

実験では，提案手法を用いて圧縮した認知データ を用いることで，圧縮を行わなかった認知データを 用いた時よりもタスクの精度が改善されることを検証した. その結果，圧縮した認知データは，行わな かったものやその他の単純な圧縮手法に比べて精度 を改善することが分かった。

## 2 関連研究

## 2.1 人間の認知データを用いた言語情報の デコーディング

視線や脳波などの人間の認知データには，言語処理の過程など豊富な情報がエンコードされることが 知られている。例えば，自然言語処理分野における 脳情報デコーディングの研究には, 脳情報のみから 発話内容を推定するスピーチデコーディング [5] や,脳情報から認識している単語の品詞を推定するもの [6] , 脳情報から読んでいる物語文の内容について 推定するもの [7] など，様々な研究が存在する。 近年では自然言語処理タスクの改善を目的とした脳情報デコーディングも行われており，特に Hollenstein ら [8] は視線と脳波を同時に記録したデータセット [9]を作成し, マルチモーダル設定での実験を行っ ている. 彼らの実験では，周波数帯域を絞って脳波 の一部を用いることで，脳波をそのまま用いるより も精度が向上することが報告されている. タスクに 対する認知データのノイズを除去するための手法は 現在も検討されている途中であり，標準的な手法は

いまだ定まっていない.

## 2.2 情報ボトルネック法

情報ボトルネック法（Information Bottleneck, IB） [4] とは，情報理論の分野に起源を持つ手法であり，近年では機械学習において利用されている. ある信号 $x \in X$ から別の信号 $y \in Y$ を予測する際に, 予測 に無関係である冗長な情報を取り除いた $X$ の圧縮表現 $T$ を見つけることが目的であり，次のように記述できる.

$
\mathscr{L}_{I B}=\beta I(X, T)-I(T, Y)
$

これは，相互情報量 $I(X, T)$ をなるべく最小化しな がら $I(Y, T)$ を最大化すること, つまり, 圧縮表現 $T$ が $X$ についての情報を最大限破棄しつつも， $T$ が $Y$ を予測するために必要な情報は最大限保持するとい うことを意味している。

実際に機械学習で用いる際は, [10] において (1) の効率的な変分推定が提案されており，以下のよう に導出された目的関数を用いる..

$\mathscr{L}_{V I B}=\beta \underset{x}{\mathbb{E}}\left[\operatorname{KL}\left[p_{\theta}(t \mid x), r(t)\right]\right]+\underset{t \sim p_{\theta}(t \mid x)}{\mathbb{E}}\left[-\log q_{\phi}(y \mid t)\right]$

ここで $r(t)$ は $p(t)$ の変分近似、 $q_{\phi}(y \mid t)$ は $p(y \mid t)$ の 変分近似である。 $p_{\theta}(t \mid x)$ と $q_{\phi}(y \mid t)$ は独自のパラ メータセットを持つニューラルネット，つまりエン コーダとデコーダであることを意味している.

## 3 実験

## 3.1 認知情報ボトルネック法

本研究で用いるモデルの概要図を図 1 に示す. 実験では固有表現認識タスクを行う。

## 3.1.1 入力特徵

視線特徵 視線特徴は固視回数, 第一固視時間,総読み時間，注視時間，視線通過時間の 5 つからな る. 1 単語あたり 5 つの数値を用いた 5 次元のべク トルとして扱った. 視線情報を用いて固有認識表現 の精度を改善した先行研究 [11] ではより細かく特徴 を整理し，1 単語あたり全 17 の特徵から視線特徴を 構成しているため, 本実験の視線特徴はより基礎的 な構成であり，そのままの値ではタスクに有益には なりづらいと予想される。

脳波特徵 本実験では，105 個の電極から記録さ れた EEGデータを脳波特徴として用いた. 視線特徵との対応を取るため, 脳波特徴は総読み時間に対応する数値を取り出している。また，周波数帯域 ごとにそれぞれ $\theta(4-8 \mathrm{~Hz}), \alpha(8.5-13 \mathrm{~Hz}), \beta(13.5-30$ $\mathrm{Hz}), \gamma(30.5-49.5 \mathrm{~Hz})$ とデータを 4 つに分割してい る. そのため, 1 単語あたり 420 次元のベクトルと して脳波特徴を扱っている。

単語の埋め込み表現 視線特徵, 脳波特徵と共 に，言語モデルによる単語の埋め込み表現を用い る. 視線情報を用いて固有認識表現の精度を改善し た先行研究 [11] では Glove[12] を用いているため,比較のために本実験では Glove を用いて実装した. そのため, 1 単語あたり 100 次元のベクトルとして 単語の埋め込み表現を扱っている。

ノイズと認知データの比較 認知データを入力特徵として用いた際にタスク精度が改善された場合, それが本当に認知データの影響であるかどうかを確認するために，同じ次元数のノイズベクトルを用い て比較実験を行う. 視線特徵に対しては 5 次元の,脳波特徴に対しては 420 次元のランダムノイズを用意する.

## 3.1.2 モデル内部のアーキテクチャ

情報ボトルネック法による圧縮 認知データであ る視線特徵と脳波特徵については，情報ボトルネッ ク法を用いた圧縮を行う，最適化は固有表現認識の デコーダの出力精度を改善するように行われる．視線特徴については 5 次元から 3 次元へ圧縮し, 脳波特徵については 420 次元から 50 次元へ圧縮する. これにより，情報ボトルネック法で圧縮された表現 は固有表現認識のために必要な情報は残しつつ，そ れ以外の冗長な情報を捨てるように学習する。ま た，情報ボトルネック法を用いた結果と比較するた めに，単純な主成分分析を用いた次元削減も行う.

BiLSTM-CRF デコーダ 視線特徴, 脳波特徴, 単語の埋め込み表現は結合し，1つの入力特徵として 扱う.モデルの後段では，視線情報を用いて固有認識表現の精度を改善した先行研究 [11] との比較を行 うために，同様のモデルである BiLSTM-CRF[13]を 用いている.

## 3.2 データセット

本実験では，データセットとして Zurich Cognitive Language Processing Corpus (以下 ZuCo)[9]を用いた. このコーパスはアイトラッキングと EEG の記録を 同時に行ったデータセットであり, 12 人の被験者に

図 1 提案手法の概要

よって読まれた約 1100 文を含む. 先行研究 [11] に 合わせてこのうち 700 文を使用した. 固有表現のラ ベリングデータも提供されており，これは PERSON, ORGANIZATION, LOCATION の 3 種類のラベルに よってタグづけされている.

## 3.3 実験設定

BiLSTM-CRF のハイパーパラメータとして，バッ チサイズを 32 ，隠れユニットの数を 100 ，学習率を 0.007 とした. また情報ボトルネックエンコーダに ついて, 圧縮比率 $\beta$ を 0.0001 , 学習率を 0.007 とし た. 圧縮次元数は視線特徵で 3 次元, 脳波特徴で 50 次元へ圧縮した. データセットは 8:1:1 に分割し, それぞれ訓練データ，開発データ，テストデータと して用いた. 実験は 3 種類のシード値を用いてい て, 結果は全て 3 回平均の値である. 評価指標には 適合率，再現率，調和平均を用いる。

## 3.4 実験結果

視線特徵を用いた実験の結果を表 1 に示す. Glove に視線特徴を追加したときと, 同じ次元数の ノイズを追加したときでは，ほとんどスコアに差が なかった. このことから, 5 次元の視線特徴を Glove ベクトルに追加するだけでは, タスクの精度を改善 するのに十分でないと考えられる. それに対して，情報ボトルネック法により圧縮した視線特徵を用い た場合 $(\mathrm{IB}(\mathrm{Gaze}))$ は, 次元数は 5 から 3 へやや減っ

表 1 視線特徴を用いた固有表現認識の結果

ているにも関わらず，精度がやや向上している. 改善幅は僅かであるが，情報ボトルネック法により データが正則化された可能性がある. 主成分分析に より压縮した視線特徴を用いた場合 (PCA(Gaze)) で は, Gloveのみの結果より僅かに改善された。

また, 先行研究 [11] と比較すると, 全体的に精度 がやや劣る. 先行研究では単語の埋め込み表現とし て Glove のみではなく文字レベル RNNを用いてい るので，このことが影響していると考えられる.ま た, 先行研究では視線特徴を追加した際に精度が改善されているが，ここで先行研究では本研究とは異 なり視線特徴をより細かい 17 次元の特徴で扱って いることに注意されたい. 17 次元の視線特徴によ る改善幅は, 本研究における 5 次元の視線特徴によ る改善幅とあまり差がなく，認知データからの人手による特徴の抽出は容易ではないことが示唆さ

れる。

表 2 脳波特徴を用いた固有表現認識の結果

次に，脳波特徴を用いた実験の結果を表 2 に示 す.この実験では, 脳波特徴とノイズの次元数が 共に 420 次元であり, Glove ベクトルの 100 次元と 比べても大きい. 次元数の大きいノイズを含む入力特徴に大きく影響を受けたためか， Glove + EEG, Glove + Noise の設定ではどちらも精度が大きく下 がっている. 420 次元の脳波特徴 (EEG) を扱うには モデルのサイズが十分でなかったと考えられる. し かし，こちらの実験設定においても情報ボトルネッ ク法を用いて脳は特徴を圧縮した結果が一番精度が 高くなった. また, 視線特徴を用いた際の結果と比 べても改善幅はより大きかった. 主成分分析による 圧縮と比べても精度が高く, 情報ボトルネック法を 用いたモデルの方が，ノイズの多い脳波の特徴から タスクに有用な情報を取り出すのに適しているので はないかと考えられる。

表 3 視線特徴と脳波特徴の両方を用いた固有表現認識の 結果

最後に，視線特徴と脳波特徴の両方を用いた実験 の結果を表 3 に示す. この実験では, 脳波特徴の みを用いた時の結果と同様に，次元数の大きいノ イズを含む入力特徴に大きく影響を受けたためか, Glove + Gaze + EEG, Glove + Noise の設定ではどちら も大きく精度が下がっている。また，情報ボトル ネック法によって視線特徴と脳波特徴の両方を圧縮している Glove + IB(Gaze) + IB(EEG) の設定では， Glove + IB(EEG) よりもやや精度が低くなった. 用 いている特徵としては後者の方が少ないので，情報 ボトルネック法を用いた学習はあまり精度が安定し ていない可能性がある.

## 3.5 考察

実験全体を通して言えることとして，今回用いた モデルでは，入力特徵を全て単純に結合しているだ けであるため，特徴の次元数の差が大きく影響して しまうということが挙げられる. モデルアーキテク チャの改善方法として，認知データを用いたマルチ モーダル設定での学習であると捉え，それぞれの入力特徴の重要性を次元数に左右されない形で扱うこ とが望ましいかもしれない。また，認知データをそ のまま用いても精度が改善されるとは限らないとい うことも分かった. それと同時に，情報ボトルネッ ク法による圧縮や，単純な主成分分析など，必要に 応じた次元削減はこのような認知データを扱う際に は重要な要素であった. 今回の情報ボトルネック法 のハイパーパラメータ設定については，より詳しく 探索することで，さらに性能を向上させることがで きるかもしれない.

今後は, Glove ベクトルよりもより高性能な BERT[14] 等の単語埋め込み表現を用いた際にも，今回のような認知データによる改善が見られるの か，といったことや，BiLSTM-CRF デコーダをさら に最先端の固有表現認識デコーダに変更した場合に どのような影響があるのか，といった，実験設定に よる結果への影響を調べる必要がある。それに加え て，情報ボトルネック法によって認知データから取 り出された情報はどのような内容であるのかを分析 によって調べることで，なぜ認知データが自然言語処理タスクの改善に寄与することがあるのかを調べ ていく.

## 4 結論

本稿では，視線情報や脳活動情報といった人間の 認知データを，自然言語処理タスクの改善により効率的に用いるための手法である認知情報ボトルネッ ク法を提案した. 視線特徴や脳波特徴と単語埋め込 み表現を単一の入力特徴として扱えるように変換 し，認知データのノイズを除きつつ次元数を調整す ることができる本手法は，実験の結果，人間の認知 データを用いて固有表現認識タスクの精度を改善す ることに成功した. 今後はより詳細な実験設定を検証しつつ，圧縮された認知データの内容を分析する ことで，人間の認知データがどのようにして言語処理タスクの改善に役立つのかを調べていく.

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受 けたものです。

## 参考文献

[1] Brian Murphy, Leila Wehbe, and Alona Fyshe. Decoding language from the brain. Language, cognition, and computational models, pp. 53-80, 2018.

[2] Shouyu Ling, Andy CH Lee, Blair C Armstrong, and Adrian Nestor. How are visual words represented? insights from eeg-based visual word decoding, feature derivation and image reconstruction. Human brain mapping, Vol. 40, No. 17, pp. 5056-5068, 2019.

[3] Nora Hollenstein, Maria Barrett, Marius Troendle, Francesco Bigiolli, Nicolas Langer, and Ce Zhang. Advancing nlp with cognitive language processing signals. arXiv preprint arXiv:1904.02682, 2019.

[4] Naftali Tishby, Fernando C Pereira, and William Bialek. The information bottleneck method. arXiv preprint physics/0004057, 2000.

[5] David A Moses, Sean L Metzger, Jessie R Liu, Gopala K Anumanchipalli, Joseph G Makin, Pengfei F Sun, Josh Chartier, Maximilian E Dougherty, Patricia M Liu, Gary M Abrams, et al. Neuroprosthesis for decoding speech in a paralyzed person with anarthria. New England Journal of Medicine, Vol. 385, No. 3, pp. 217-227, 2021.

[6] Alex Murphy, Bernd Bohnet, Ryan McDonald, and Uta Noppeney. Decoding part-of-speech from human eeg signals. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2201-2210, 2022.

[7] Leila Wehbe, Brian Murphy, Partha Talukdar, Alona Fyshe, Aaditya Ramdas, and Tom Mitchell. Simultaneously uncovering the patterns of brain regions involved in different story reading subprocesses. PloS one, Vol. 9, No. 11, p. e112575, 2014.

[8] Nora Hollenstein, Cedric Renggli, Benjamin Glaus, Maria Barrett, Marius Troendle, Nicolas Langer, and Ce Zhang. Decoding eeg brain activity for multi-modal natural language processing. Frontiers in Human Neuroscience, p. 378, 2021 .

[9] Nora Hollenstein, Jonathan Rotsztejn, Marius Troendle, Andreas Pedroni, Ce Zhang, and Nicolas Langer. Zuco, a simultaneous eeg and eye-tracking resource for natural sentence reading. Scientific data, Vol. 5, No. 1, pp. 1-13, 2018.

[10] Alex Alemi, Ian Fischer, Josh Dillon, and Kevin Murphy. Deep variational information bottleneck. In Proceedings of the International Conference on Learning Representations, 2016.

[11] Nora Hollenstein and Ce Zhang. Entity recognition at first sight: Improving ner with eye movement information. arXiv preprint arXiv:1902.10068, 2019.

[12] Jeffrey Pennington, Richard Socher, and Christopher D Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), pp. 1532-1543, 2014.

[13] Meizhi Ju, Makoto Miwa, and Sophia Ananiadou. A neural layered model for nested named entity recognition. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1446-1459. Association for Computational Linguistics, 2018.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, June 2019.


# 深層学習モデルを用いた双方向形態屈折の検証

深津聡世＊原田宥都＊大関洋平
東京大学大学院 総合文化研究科言語情報科学専攻
\{akiyofukatsu, harada-yuto, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

人間が形態処理を行うにあたって必要な知識は,規則か類推か，あるいはその両方かという議論は，言語学の形態論において現在も続いている.この議論は「過去時制論争 (Past Tense Debate)」と呼ばれ，近年ではニューラルネットワークを用いた形態処理のモデル化による検証が行われている. 本研究で は，その形態的な複雑さから過去時制論争において 重要とされる日本語動詞の屈折について，類推のモ デルである深層学習モデルを用いて，時制について 双方向の形態屈折の学習を行った. どちらの時制方向の処理にモデルがより適するかを検証した結果，訓練データのサイズや性質が結果に大きく影響する ことが示唆された.

## 1 はじめに

人間が形態処理を行う際に用いられているのは,規則的な処理なのか，類推的な処理なのか，あるい はその両方を用いた処理なのかということについ て, 言語学の形態論において長く議論されており, この議論は過去時制論争 (Past Tense Debate) と呼ば れる。その中でも重要な現象の一つとして, 日本語母語話者が実在語にある屈折パターンと同じよう に非実在語を屈折させることができない，という ものがあり，これは多くの研究で観察されている $[1,2,3,4]$. もし形態屈折の処理が規則的なもので あるならば，非実在語に対しても同じ屈折パターン を適用できるはずであるということから，この現象 は，形態処理が類推的であることの一つの証左とし て言及されてきた。これに対して Oseki ら [5]では，現在形から過去形の方向へ規則が派生する，という ことがそもそも自明ではなく, 日本語においては過去形から現在形への方向で規則が派生しているので はないかとの仮説を，自身の獲得研究での観察をも とに提案した. その仮説に基づき，規則べースのモ * 共同第一著者.
デルを用いて，非実在語の屈折を双方向（現在一過去，過去 $\rightarrow$ 現在）に検証したところ，規則べースの モデルは過去形から現在形への方向により適して いることが様々な評価尺度から示された.この結果 は, 日本語動詞の屈折処理は, 過去形から現在形へ の方向においては規則的である，ということを示唆 する.

そこで本研究では，類推に基づくモデルである深層学習モデルを用いて，日本語動詞の屈折を双方向 （現在 $\rightarrow$ 過去，過去 $\rightarrow$ 現在）に学習させた. 複数の 実験設定を用意することで，類推べースの深層学習 モデルがどちらの時制方向の処理により適している のかを複数の実験設定で検証した。

## 2 先行研究

過去時制論争は, Rumelhart ら [6] が類推ベース のモデルを提案し, 彼らのモデルに対し Pinker ら [7] が問題点を指摘したことで始まった. 最近で は，Kirov ら [8] が当時最先端のモデルであったアテ ンション付きリカレントニューラルネットワーク （RNN）を形態屈折課題に応用したことで議論が再燃している $[9,10]$.

一方で，日本語研究においては，母語話者は規則 を用いないとする立場が一般的である。表 1 は，動詞の屈折パラダイムを示したものである．現在形の 語幹末音には 11 個の子音と母音が存在し，それぞ れが異なる屈折パターンをもつ. 先行研究では，日本語母語話者がこの屈折パターンに則って動詞を屈折できないことが報告されている $[1,2,3,4]$.

しかしながら，これらの先行研究では，英語と同様に日本語動詞が現在形から過去形へ屈折するこ とが前提とされており，これは再検討が必要な点で ある. Oseki ら [5] は，言語獲得の観察から過去形が 屈折の基底形であると仮定し，規則ベースのモデル $[12,13]$ を用いて非実在語を用いる形態屈折課題で ある wug テスト [14]を双方向（現在形一過去形と過去 $\rightarrow$ 現在）で行った. 実験の結果，人間の正答率は
表 1 日本語における動詞の屈折パラダイム. 形態素境界 は [11]による分析に基づく.

現在 $\rightarrow$ 過去方向よりも過去 $\rightarrow$ 現在方向の方が高く, また，モデルと人間の相関も過去 $\rightarrow$ 現在方向の方が 高かった. さらに，現在 $\rightarrow$ 過去よりも過去 $\rightarrow$ 現在方向の方がモデルの複雑性の評価がより単純であるこ ともわかった。このことから, Oseki ら [5] は過去 $\rightarrow$現在方向では規則による処理，現在 $\rightarrow$ 過去方向では 類推による処理が行われている可能性があると考察 している。その場合，類推べースのモデルである深層学習モデルの精度は過去 $\rightarrow$ 現在方向より現在 $\rightarrow$ 過去方向の方がより高くなると予測される.

## 3 方法

## 3.1 深層学習モデル

過去時制論争において，ニューラルネットワーク は類推的な処理を行うモデルとして位置付けられる が，近年の形態屈折を扱う深層学習モデルには複数 のアーキテクチャが存在する．複数のモデルで実験 を行うことで，モデルの種類がどのように結果に影響を及ぼすかを確認するために，本研究では，形態屈折を扱うモデルとしてよく用いられる以下の 2 種類で実験を行った。

アテンション付き RNN 形態屈折は, 機械翻訳 と同様に系列変換課題として扱うことができるた め，機械翻訳の分野で登場したアテンション付き RNN[15] はそのまま Kann ら [16] によって形態屈折 に応用されている. その後 Kirov ら [8] によって英語における動詞の形態屈折に応用され，この文献が 過去時制論争の再燃のきっかけとなった. 本研究で
は Kirov ら [8] のアテンション付きRNN を再実装 し，日本語動詞の屈折のために用いている.

Transformer 形態論の研究において，これまで アテンション付きRNNを用いるのが主流となって いたが，近年になり Transformer[17] を用いた研究が 行われている $[18,19]$. これらの研究では，モデル の縮小化やハイパーパラメータの設定など，文処理 よりもデータ数の少ない形態処理を Transformer で 扱うための提案が行われており，これらの工夫に よって Transformer でもアテンション付き RNN の性能を超えることができるようになった．本研究で は， Wu ら [18] の実装を用いて実験を行っている. これは 4 層のエンコーダ-デコーダ層と 4 つのセル フアテンションヘッドからなる，小さいモデルサイ ズの Transformer である.

## 3.2 データセットの作成

本研究では，実在語のデータセットと非実在語の データセット（wug）の２種類を用意した. 実在語 のデータセットについては 2 つのコーパスから動詞を抽出し，それらの動詞を 2 種類の文字表記に変換したものを実験に用いた.この節では，動詞の抽出方法とそれらの文字表記の変換方法について述 べる.

## 3.2.1 動詞の抽出

本研究では，2 種類のコーパス (京都大学テキス トコーパス，IPA 辞書）から抽出した動詞をもとに 現在形と過去形のペアを作成した。これらのコーパ スから抽出された動詞を合わせ重複を除いた結果， 5,502 個の現在形と過去形のペアが得られた. また，実在語で訓練したモデルのテストデータとして，非実在語（wug）のデータセットも用意した。これに より，規則ベースのモデルで実験を行った Oseki ら [5]との結果の比較が可能になる.

以下に各データセットの概要を示す.

京都大学テキストコーパス 京都大学テキスト コーパス [20] は，1995 年に出版された毎日新聞と 社説，それぞれ 2 万文に対して，形態素解析システ ム JUMAN，構文解析システム KNPで自動解析を行 い，人手で修正が加えらたものである。このコーパ スからは約 1,300 個の動詞が得られた。

IPA 辞書 IPA 辞書は，情報処理振興事業協会 （IPA）で設定された IPA 品詞体系（THiMCO97）に 基づいて作成された日本語の形態素解析用辞書であ

る [21]. 動詞を抽出した結果，約 5,300 個の動詞が 得られた。

wug 動詞 wug テストには, Oseki ら [5] で作成 された 64 個の wug 動詞を用いた.これらの動詞の 「語根」は，Suski[22]の動詞コーパスから抽出した 動詞 1,269 個から CV 音節を抽出し, 無作為に $2 \supset$ の CV 音節を繋げることで，基底形となる現在形と 過去形がそれぞれ 32 個作成されている. ただし, $\mathrm{n}$ で終わる語根を持つ実在動詞は「死ぬ (shin-u)」の みであることから，語根が $\mathrm{n}$ で終わる現在形 2 個は データセットから除いた。

## 3.2.2 文字表記

本研究では，動詞を 2 種類の文字表記に変換し実験を行った. 1 つは，アルファベットに変換したも のであり (以下, latin), この変換には, Pykakasi1 ${ }^{11}$ を 用いた。もう 1 つは，アルファベット表記をさらに 国際音声記号に変換したものであり（以下，IPA）, この変換には phonemizer (espeak)2)を用いた。

## 3.3 実験設定

実在語のみを用いた条件では，訓練データとテス トデータを 8:2 の割合で分割した. さらに，実在語 で訓練したモデルを用いて，wugテストを行った.正解の判定は, 実在語によるテストの場合は実在語と一致する屈折形を正解とし, 非実在語を用い た wug テストの場合は，実在語から予測される可能な屈折形をすべて正解とした（例えば，wug 動詞 kuhan-da に対する正解は kuham-u または kuhab-u).正答率は, 5 回の試行の平均を算出した. 各モデル のハイパーパラメータの設定を以下に示す.

アテンション付き RNN アテンション付き RNN のハイパーパラメータについては, Kirov ら [8]の実験設定を参照し, 設定を合わせている. 学習時の最適化アルゴリズムには AdaDeltaを用い, 単語の埋め 込み次元数は $300 ， L S T M$ のサイズは 100 に設定し た. バッチサイズは 20 で実験を行った.

Transformer Transformer のハイパーパラメータ は $\mathrm{Wu}$ ら [18] の実験を踏襲し, 埋め込み次元数は 256 に設定し, 学習時の最適化アルゴリズムには Adam を用いた. ただし, バッチサイズは本研究と 同等のデータ数での検証を行った Ma ら [19] の実験 を参照し， 32 に設定した。

1) https://codeberg.org/miurahr/pykakasi

2) https://github.com/bootphon/phonemizer?ref=morioh. com\&utm_source=morioh.com

## 4 結果

本研究では，2 種類のモデル，2 種類の表記，2 種類のテストデータセットを用いて，双方向（現在 $\rightarrow$過去，過去 $\rightarrow$ 現在）形態屈折の検証を行った.

はじめに，実在語のみを用いた検証の結果を以下 に示す.

表 2 実在語を用いた双方向形態屈折課題の結果

 &  \\

実在語のみで検証を行ったところ，4 条件中 3 条件で過去 $\rightarrow$ 現在方向の方が正答率が高い結果となっ た. 現在 $\rightarrow$ 過去方向でより正答率が高かったのは IPA 条件の Transformerのみだった. モデル間で正答率に差があり，実在語条件では，すべての条件 においてアテンション付き RNN の方が正答率が高 かった.

次に，実在語で訓練したモデルを用いてwug テ ストを行った. 表 3 はその結果である. 末行には Oseki ら [5] の研究で報告された人間の正答率を提示 している.

表 3 双方向 wug テストの結果

 \\

アテンション付き RNN & IPA & 81.16 & $\mathbf{9 4 . 4 4}$ \\

Transformer & IPA & $\mathbf{9 2 . 4 4}$ & 92.27 \\

wug テストを行った結果, 4 条件中 2 条件で現在 $\rightarrow$ 過去の方が正答率が高かった. 過去 $\rightarrow$ 現在方向 より現在 $\rightarrow$ 過去方向の方が正答率が高かったのは Transformer だった. モデル間でも正答率の差があ り，IPA 表記で過去 $\rightarrow$ 現在方向に訓練・テストした 条件を除いてすべての条件で Transformer のほうが アテンション付き RNNより正答率が高かった.

実験の結果，8 条件中 5 条件において現在 $\rightarrow$ 過去方向の方が過去 $\rightarrow$ 現在方向よりも正答率が高くな ることがわかり，仮説は支持されなかった. アテン ション付きRNNを用いて，様々なデータセットの
条件を設定し検証を行った深津ら [23] の研究では， データセットのサイズに比例して正答率が高くなる 結果が得られたことから，モデルの結果が訓練デー タの影響を受けていることが示唆された. そこで，追加の検証として，すべての条件において現在 $\rightarrow$ 過去方向よりも過去 $\rightarrow$ 現在方向においてより正答率が 高かったアテンション付きRNNを対象に, kyodai データのみ，ipadic のみのデータセットを作成しモ デリングを行った（表 4 ）.

表 4 より小さなデータセットで訓練されたモデルによる 双方向 wug テストの結果

 &  \\

kyodai のみ & IPA & $\mathbf{8 6 . 0 0}$ & 80.00 \\

ipadic のみ & IPA & 92.66 & $\mathbf{9 4 . 3 8}$ \\

追加検証を行った結果， 4 条件中 3 条件において，過去 $\rightarrow$ 現在方向よりも現在 $\rightarrow$ 過去方向でモデルの正答率がより高くなることがわかった。

## 5 考察

## 5.1 データサイズによる影響

本研究では， 8 条件中 5 条件で現在 $\rightarrow$ 過去方向よ り過去 $\rightarrow$ 現在方向の方が正答率が高い結果が得られ た. このことから, 現在一過去方向の形態屈折がよ り類推ベースのモデルに適しているという仮説は支持されなかった.

しかしながら，より小さなデータサイズでモデリ ングを行った追加の検証では, 4 条件中 3 条件で現在 $\rightarrow$ 過去方向の方が過去 $\rightarrow$ 現在方向よりも高い正答率となった. 本研究では，5,502 個の動詞を用いて 検証を行ったものの, 子どもが形態屈折の獲得時に 聞くと思われる動詞の数はもっと少ない. 例えば，英語の動詞屈折を規則ベースのモデルを用いて検証 した Yang[24] の研究では, 子どもの自然発話コーパ スである CHILDES[25] から動詞の抽出した 1,042 個 の動詞を用いている。そのため，限られたデータで 学習する場合には, 現在から過去の方向に学習する ほうが類推的処理を行うのにより適している可能性 がある.

## 5.2 データの質による影響

より小さなデータサイズでモデリングを行なった 追加の検証において，正答率は， kyodai $(\mathrm{n}=1,300)>$ ipadic-kyodai $(\mathrm{n}=5,502)>$ ipadic $(\mathrm{n}=5,300)$ の順に高く なっており, kyodai を含むデータセットの方が含ま ないものより, 正答率が高い. このことから，デー タサイズだけではなくデータの質も学習に影響を与 えていることが示唆された。

例えば，モデルの正答率に影響を与えた要因とし て，訓練データに含まれる語彙の違いが挙げられ る. kyodai は毎日新聞のデータに基づく京大テキス トコーパスから抽出したものであり，より日常的な 語彙で構成される. 一方, ipadic は形態素解析辞書 から抽出したものであり, 中には複合語（例：「明か 乙暮らす」）や古語（例：「掻き暗す」），あまり使わ れない語彙 (例:「こんがらがる」の類語である「こ んぐらがる」）などが含まれる。このように，ipadic に比べ kyodai にはより日常的に用いられる基本的な 動詞が含まれていることもモデルの正答率に影響を 与えたと考えられる。

これらを踏まえて, 今後の研究では, CHILDES コーパスなどをもとに，より基本的な動詞を含すサ イズの小さいデータセットを作成し検証を行うこと が必要である.

## 6 おわりに

本研究では，過去 $\rightarrow$ 現在方向よりも現在 $\rightarrow$ 過去方向での処理が類推べースのモデルにより適している と予想し実験を行ったものの，その予想を完全に支持する結果は得られなかった. 一方で，サイズの異 なるデータを用いて行った追加実験では仮説が支持される結果となった. このことから, 訓練データ のサイズや，含まれる語彙の種類は仮説検証に大き く影響する要素であると考えられる，今後は，言語獲得研究における知見を活かしながら，実験設定や データセットの内容をより細かく統制することで，実際に人間が形態処理を行う際の条件に近いモデリ ングを目指す.

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受 けたものです。また，Transformerを用いた実験を行 うにあたり, 東京大学大学院の吉田遼氏にご協力い ただきました. 感謝申し上げます.

## 参考文献

[1] Timothy J Vance. An introduction to Japanese phonology. State University of New York Press, Albany, NY, 1987.

[2] Timothy J Vance. A new experimental study of Japanese verb morphology. Journal of Japanese Linguistics, Vol. 13, pp. 145-166, 1991.

[3] Terry Klafehn. Properties of Japanese Verbal Inflection. PhD thesis, University of Howai'i, August 2003.

[4] Terry Klafehn. Myth of the wug test: Japanese speakers can't pass it and English speaking children can't pass it either. Proceedings of the 37th Annual Meeting of the Berkeley Linguistics Society, pp. 170-184, 2013.

[5] Yohei Oseki, Yasutada Sudo, Hiromu Sakai, and Alec Marantz. Inverting and modeling morphological inflection. Proceedings of the 16th Workshop on Computational Research in Phonetics, Phonology, and Morphology, pp. 170-177, August 2019.

[6] David E. Rumelhart and James L. McClelland. On learning the past tenses of English verbs. In David E. Rumelhart, James L. McClelland, and CORPORATE PDP Research Group, editors, Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Vol. 2: Psychological and Biological Models, Vol. 2, chapter On Learning the Past Tenses of English Verbs, pp. 216-271. MIT Press, 1986.

[7] S Pinker and A Prince. On language and connectionism: analysis of a parallel distributed processing model of language acquisition. Cognition, Vol. 28, No. 1-2, pp. 73-193, Mar 1988.

[8] Christo Kirov and Ryan Cotterell. Recurrent neural networks in linguistic theory: Revisiting Pinker and Prince (1988) and the past tense debate. Transactions of the Association for Computational Linguistics, pp. 651$665,2018$.

[9] Maria Corkery, Yevgen Matusevych, and Sharon Goldwater. Are we there yet? Encoder-decoder neural networks as cognitive models of English past tense inflection. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3868-3877, July 2019.

[10] Kate McCurdy, Sharon Goldwater, and Adam Lopez. Inflecting when there's no majority: Limitations of EncoderDecoder neural networks as cognitive models for German plurals. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1745-1756, July 2020.

[11] Bernard Bloch. Studies in colloquial Japanese I inflection. Journal of the American Oriental Society, Vol. 66, No. 2, pp. 97-109, April-June 1946.

[12] Adam Albright and Bruce Hayes. Modeling English past tense intuitions with Minimal Generalization. Morphological and Phonological Learning: Proceedings of the 6th Workshop of the ACL Special Interest Group in Computational Phonology (SIGMORPHON), pp. 58-69, July 2002.

[13] Adam Albright and Bruce Hayes. Rules vs. analogy in
English past tenses: a computational/experimental study. Cognition, Vol. 90, No. 2, pp. 119-61, Dec 2003.

[14] Jean Berko. The child's learning of English morphology. Word, Vol. 14, No. 2-3, pp. 150-177, August 1958.

[15] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473, 2014.

[16] Katharina Kann and Hinrich Shültze. Single-model Encoder-Decoder with explicit morphological representation for reinflection. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 555-560, August 2016.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[18] Shijie Wu, Ryan Cotterell, and Mans Hulden. Applying the transformer to character-level transduction, 2020.

[19] Xiaomeng Ma and Lingyu Gao. How do we get there? evaluating transformer neural networks as cognitive models for english past tense inflection. In Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1101-1114, Online only, 2022. Association for Computational Linguistics.

[20] Sadao Kurohashi and Makoto Nagao. Treebanks: Building and Using Parsd Corpora, Vol. 14, chapter Building a Japanese parsed corpus while improving the parsing system, pp. 249-260. Kluwer Academic Publishers, 2003

[21] 浅原正幸, 松本裕治. ipadic version 2.7.0 ユーザー ズマニュアル, 2003. http://manual. freeshell.org/ chasen/ipadic-ja.pdf.

[22] Peter M. Suski. Conjugation of Japanese Verbs in the Modern Spoken Language. P. D. and Ione Perkins, 1942.

[23] 深津聡世, 原田宥都, 関澤瞭, 田村鴻希, 大関洋平. 深層学習モデルによる日本語動詞の双方向形態屈折の 検証. 日本言語学会第 165 回大会予稿集, pp. 193-199, 2022.

[24] Charles Yang. The Price of Productivity. MIT Press, 2016.

[25] Brian MacWhinney. The CHILDES project: Tools for analyzing talk. Erlbaum, New Jersey, 1991.


# 百聞は一見に如かず？視覚情報は言語モデルに文の階層構造を教示するか

栗林 樹生
東北大学 Langsmith 株式会社
kuribayashi@tohoku.ac.jp

## 概要

巨大言語モデルの進展が著しい反面，人間の言語獲得と対照すると言語モデルのデータ効率の悪さが 強調される. 本研究では，なぜ人間の言語獲得が効率的なのかという問いを，人間と言語モデルの言語獲得シナリオのどのような差異を埋めると両者の乘離が縮むかという問いに読み替え，特に人間のみが 言語獲得時に活用し得る視覚情報の寄与を調査す る. 少なくとも本実験の範囲では，言語的な事前知識のない学習者（ニューラルモデル）がリアルな画像・文対から言語の適切な汎化規則を支持する手が かりを見出すことは容易でなく，単なる視覚情報の 有無のみでは，人間と言語モデルの言語獲得効率の 差異を説明できないことが示唆された。

## 1 はじめに

巨大言語モデルが進展を遂げた一方，人間の言語獲得効率の良さが対照的に強調されている. 例えば GPT-3 [1] は，人間が 10 歳までに享受する言語刺激 のおよそ 2000 倍のデータで学習されており [2], 非常に単純な計算では人間の 20,000 年分の学習に匹敵する。それではなぜ人間は言語獲得のデータ効率 が良いのだろうか？本研究では，この問いを言語モ デルと人間のどのような差異を埋めることで両者の 言語獲得効率の乘離が縮まるかという問いに読み替 え，効率的な言語獲得が実現される十分条件につい て計算機上での概念実証を目指す.

本研究では特に, 記号接地 [4] や身体性 [5] の問題に関連する視覚情報の影響に焦点を当てる. 通常人間は，言語モデルと異なり，言語獲得中に視覚情報を利用でき，効率的な言語汎化に貢献している可能性がある. 実験では主語・動詞の数の一致を手が かりに，言語の階層的な汎化の達成に視覚情報が寄与するかを検証する（図 1).なお近年の視覚・言

図 1 実験の概要. 文に対応する視覚情報が，汎化規則の曖昧なデータの下での言語の階層的規則獲得を促進するか調査する。なお図中の画像は，例示のために DALL-E [3] で生成したものである.

語処理では大規模モデルの開発が盛んであるもの の [6,7], 言語と視覚の相互作用に関する言語科学的な分析や学習過程の分析は限られている $[8,9]$.

リアルなキャプションデータを用いた実験では，文に対応する静止画像を単にモデルに入力するだ けでは, 言語の階層的汎化は促されないことが観察 された。一方，問題を抽象化・簡略化した人エデー タを用いた実験では，言語の階層的な汎化に対する 視覚情報の著しい寄与が確認された. この設定では データの偏りやキャプションに関係のない視覚情報 は捨象されており，閉じた世界の中で学習者が視覚情報の適切な抽象化をできた状況を想定している。

少なくともリアルなデータを用いた今回の実験か らは，言語的な事前知識を持たない学習者（ニュー ラルネット）が，静止画像と文の対から自然言語の
表 1 画像キャプションペアの例. AmBIG. データでは，動詞に対応する主語と動詞に最も近い名詞の数が同じであり， DISAmBIG. データでは両者の数は異なる. AMBIG. データが大部分を占める学習データでモデルを訓練し，そこで学習さ れた規則を DisAmbiG. データを用いて峻別する. 表中の画像は作成したデータセットから抽出したものである.

適切な規則性を見出すことは容易でないこと，人間 と言語モデルの学習効率の違いは単なる視覚情報の 有無のみでは説明できないことが示唆された. 一方人工データの結果を踏まえると，(i) 視覚情報を適切 に抽象化する特別な視覚・言語能力を学習者に仮定 できれば，視覚情報が言語獲得に良い影響を及ぼす 可能性があることや，(ii) 実験で用いた事前学習済 み画像エンコーダでは, リアルな画像から言語獲得 に影響を及ぼすような視覚情報の抽出・抽象化がで きていない可能性なども強調された.

## 2 背景

一般に，有限のデータから未知のデータへ汎化す る際に汎化規則は一意に定まらず，規則の選択はモ デルの帰納バイアスに左右される [10]. 言語獲得に おいても，幼坚が限られた言語刺激から適切な（階層的な）汎化を達成する現象を説明するには，学習者の強力な帰納バイアスが必要であると主張されて きた $[11,12]$. 一方，通常のニューラルモデルでは，表層的手がかりの利用や言語的に妥当な汎化を完全 に達成できないなどの人間らしくない学習傾向が あり $[13,14,15,16,17]$, 分野全体の問題として認知 されている。またこのバイアスを覆すために大量の データが必要であることも指摘されている $[14,15]$.

汎化を導く帰納バイアスとしては，学習者の性質 に由来するもの（生得的要因）と, 学習データなど の学習環境に由来するもの（環境的要因）が想定さ れ, 本研究では視覚情報の有無という環境的要因の 影響を，計算機シミュレーションのもと調査する。言語理解における視覚情報の重要性は長らく説かれ ているものの [18], (人工知能の) 言語獲得の視点で は，適切な言語知識なしに視覚情報を与えても，む
しろ表層的な疑似相関などの可能性が増え問題が過度に複雑になるといった批判もあり [19,20], 視覚情報が言語学習にどのような影響を与えるかは自明 でない。なお図 1 のような線形・階層的な規則の対立において，人間が階層的汎化を好むことは心理実験などで検証されてきた $[21,22]$. また，ニューラ ルモデルを用いた計算言語学的な検証は条件を統制 しやすいなどの利点をもち，人間を直接観察する方法論と相補的な役割を果たしてきた $[23,12,24]$.

## 3 問題設定

概要を図 1 に示す. 主語と動詞の数の一致の観点 から，線形的・階層的規則両方に整合するキャプ ションデータのもとでキャプション生成モデル（視覚情報が利用可能な言語モデル）を訓練し，視覚情報の有無で言語の汎化傾向が変わるかを調べる．視覚情報のもとでは, 階層的規則に整合する動詞の数 を選ぶ問題は，典型的にはその動作をしているもの が 1 つかそれ以上かを数える問題となり（表 1)，視覚情報により階層的規則に紐づく特徵量がより顕在的になる可能性がある1).

## 3.1 データ

既存の画像キャプションデータを収集したリアル なデータと，人工的に統制されたデータを用い，相補的な検証を行う．既存研究では人工コーパスでの 実験が主流であり [16], 視覚モダリティを追加した とともにリアルなデータと人工的なデータで結果を 比較したことも本論文の貢献である。

自然画像キャプション: Conceptual captions コーパ ス [27] から，以下を満たすデータを抽出した：

1）言語学的な数が，いわゆるものの数に必ずしも一致しない ことは指摘されており，議論の余地はある $[25,26]$.

・キャプションに主語・述語が存在する 2$)$

・キャプションの主語が family, pair of など単複判断の難しい集合名詞・表現でない

・キャプションに文法誤りがない3)

これらのうち，主動詞の数と直前の名詞の数が同一 である，線形的・階層的規則を峻別できないデータ (AmBIG.) と, 主動詞の直前の名詞と同士の数が異な る，階層的規則を支持するデータ (DisAmBIG.) に分 けた (表 1). DisAmbig. のような階層性を明示する データは実際の言語刺激において非常に少ないとい う議論（刺激の貧困） $[28,21]$ をもとに，本研究で は Ambig. データと DisAmbig. データが 100:1 になる ように学習データ（計 352,359 画像キャプションペ ア）を作成した ${ }^{4)}$. 残りの DisAmbig. データ $(1,269$ ペア）を評価データとした。

人エ画像キャプション: NUM1 COLOR1 SHAPE1 with NUM2 COLOR2 SHAPE2 VP というテンプレートから文 と画像をルールで生成した（付録 A). 表 1 に例を 示す. VP の主語は SHAPE1 であり, 画像中ではVP と SHAPE1 オブジェクトが近接し, 文中では数（屈折） が一致している。この設定では少なくとも，自然な データがもつ以下の性質を捨象している：
- 単語や画像の特徵に関するクラス不均衡性・多 クラス性・クラスの開放性

・着目すべき対象以外の視覚情報（背景など）

-ものや動作の呼び名と視覚特徴間の多対多関係
- 動作主と動作の視覚的に自然な構成（「人が走 る」画像では，本来人の姿勢が変わるべきだが，本データでは「走る」を示す画像を「人」の画像に重ねるようなアプローチをとっている)

上で述べた手続き同様, 数の一致から AMBIG. デー タと DisAmbiG. データに分け，100:1 で混ぜたもの を学習データ (16,500 ペア), 残りの DisAmBIG. デー タを評価データ（11,300 ペア）とした.

## 3.2 評価

評価データにおいて，動詞の数のみが異なる $2 \supset$ のキャプションを用意し (例えば，a red circle with three black circles plays/play a soccer), 対応する画像を 入力したもと, どちらのキャプションに高い生成確率を付与するかを観察する。階層的規則に整合する

キャプションを正解とし，二值分類問題としてモデ ルの選好を Macro F1 值で評価した。キャプション 生成能力の目安として，開発用データ5)で ROUGE-L F1 值 [29] ${ }^{6)}$ も計算した. また言語獲得効率に関心が あるため，学習初期ステップでの値も報告する.

## 3.3 モデル

Transformer 系列変換モデルを用いる [30]. ただ し入力が画像，出力が文となるキャプション生成 モデルであり，エンコーダには Vit [31] などの事前学習済みエンコーダを，デコーダには GPT-2 small （124M） [32]アーキテクチャに交差アテンションを 追加したものを採用する7) . 直観的には，交差アテ ンションを通して視覚情報にアクセス可能な（文レ ベル）言語モデルである．視覚情報を与えない設定 では学習・推論時共に無情報なノイズ画像を入力す る. ゼロからの言語獲得シナリオを想定し, デコー ダは初期化して学習を始めた. また，交差エントロ ピー誤差でモデルを訓練する。

エンコーダの初期値・構造として，大きさの異な る 3 つの Vit (base/large/huge) [31] と, Beit (base) [33], Deit (base) [34], Swin (base) [35] の計 6 種類を試し, モデル横断的な結論の一般性を検証する (付録 B).参考として，画像エンコーダを Vit-base にした上で パラメータ初期化した設定 (Scratch) と，デコーダに 学習済み GPT-2 [32] を用いる設定 (Vit-GPT2) も試し た. ハイパーパラメータは付録 C に記載する。

## 4 実験・結果

各設定において異なる 2 つのシードでモデルを訓練し，いずれの指標においても平均値を報告する.自然/人工画像キャプション実験における $10,000 / 500$ ステップはおよそ 2 エポック目終了時点である.

自然画像キャプション: 画像情報の有無による階層的汎化傾向の違いを表 2 中央に示す. 学習初期にお いて，視覚情報は階層的沨化を促す方向にはあるも のの，変化は限定的であった．画像を入力とする設定では ROUGE-L F1 值は 3-40程度に達しており，画像情報が活用されていることは確認できる. また，例えば 1000 ステップ目における階層的汎化への寄与 (階層的汎化における。- 行) に着目すると, 画像エンコーダの性能指標として用いられる ImageNet

表 2 学習過程におけるモデルの階層的規則への選好 (階層的汎化 F1 值）とキャプション生成能力 (ROUGE-L F1 値). $1,000,5,000,10,000$ といった数字はパラメータ更新ステップ数を示す. 目行は視覚情報ありのモデルの性能を示す.

響を与えたことを意味する。また参考として，各画像エンコーダのパラメータ数を一列目括弧内記記載し，エンコーダ の ImageNet top-1 正解率の報告値も載せる.

} \\

正解率の高いエンコーダ（Vit-large, Swin-base）やパ ラメータ数の大きいエンコーダ（Vit-huge）が必ず しも好影響を与えているわけではなく，画像処理的 な指標で良い画像エンコーダや巨大なエンコーダ が必ずしも言語モデリングに適切なバイアスを与 えるとは限らない可能性も予想した（付録D）。な お Vit-GPT2 では, 学習初期からほぼ完全な階層的汎化を達成しており, 大規模な言語データの観察の もとでは対処可能な問題設定であった．また今回は コーパスを基に学習データへの DISAmBIG. データの $1 \%$ の混入を認めたが，この程度の混入でも最終的 に階層的汎化に選好が寄ることは確認された。また DISAmbIG. データが $0 \%$ の場合でも予備実験をして おり,この場合は線形的汎化に選好が寄り，一貫し て視覚情報の好影響は観察されなかった。

人工画像キャプション: 結果を表 2 右部に示す. 学習初期（100 ステップ）において，視覚情報が階層的汎化を顕著に促しており, 言語の階層的規則の効率的な獲得が達成された. 学習初期において, 事前学習済みエンコーダを用いた際の階層的汎化の向上幅は Scratch（+5.10）よりも大きく, 視覚的事前知識が言語の階層的汎化を促していた. なお視覚情報
のない設定でもモデルごとに性能が異なり，この設定ではエンコーダが画像処理以外の用途 (入力非依存なメモリなど [36]）で活用された可能性もある.

## 5 考察・おわりに

ニューラルモデルがリアルな画像・文対から自然言語の階層性を学ぶ手がかりを得ることは困難であ ることが示唆された. 人工画像キャプションでの対照的な結果を踏まえると，自然な画像・言語特有の 性質が視覚情報からの言語獲得を困難にしている可能性が示唆され, 言語獲得の視点からは, (i) 視覚情報は言語獲得に寄与し得るが，リアルな視覚情報 を適切に抽象化し言語と対応付ける能力を先立って 獲得しておく必要がある，あるいは (ii) 視覚情報は 言語の階層的な汎化に直接影響を与えないという仮説が導かれる．自然・人工データのどのような差異 が結論の違いに紐づくのか人工データを制御して調査する方向や，データを幼児の言語獲得シナリオに 近づける（絵本など）方向，韻律情報など他のモダ リティを取り入れる方向などは今後検討している. また本研究は自然言語処理, 画像処理, 計算心理言語学の 3 領域をまたぐ学際研究として意義がある.

## 謝辞

日頃から助言いただいた乾健太郎先生，鈴木潤先生，原稿に助言いただいた小林悟郎氏をはじめ Tohoku NLP グループの皆様に感謝申し上げます. YANS 2022 にてコメントをくださった皆様にも感謝 いたします. 本研究は，JST，CREST，JPMJCR20D2 の支援を受けたものである.

## 参考文献

[1] Tom B Brown, et al. Language Models are Few-Shot Learners. In Proceedings of NeurIPS.

[2] Alex Warstadt and Samuel R Bowman. What artificial neural networks can tell us about human language acquisition. Algebraic Structures in Natural Language, p. 17, 2022.

[3] Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, and Ilya Sutskever. Zero-Shot Text-to-Image generation. Technical report, February 2021.

[4] Deb Roy and Ehud Reiter. Connecting language to the world. Artificial Intelligence, Vol. 167, No. 1-2, pp. 1-12, September 2005.

[5] Lawrence W Barsalou. Grounded cognition. Annual Review of Psychology, Vol. 59, pp. 617-645, 2008.

[6] Jean-Baptiste Alayrac, et al. Flamingo: a visual language model for Few-Shot learning. arXiv:2204.14198, April 2022.

[7] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, and Mark Chen. Hierarchical Text-Conditional image generation with CLIP latents. arXiv:2204.06125, April 2022.

[8] Alexander Ororbia, Ankur Mali, Matthew Kelly, and David Reitter. Like a baby: Visually situated neural language acquisition. In Proceedings of ACL.

[9] Tristan Thrush, Ryan Jiang, Max Bartolo, Amanpreet Singh, Adina Williams, Douwe Kiela, and Candace Ross. Winoground: Probing vision and language models for visio-linguistic compositionality. In Proceedings of CVPR, pp. 5238-5248, 2022.

[10] Tom M Mitchell. The need for biases in learning generalizations.

[11] Noam Chomsky. Rules and representations. Behavioral and Brain Sciences, Vol. 3, No. 1, pp. 1-15, March 1980.

[12] R Thomas McCoy, Robert Frank, and Tal Linzen. Revisiting the poverty of the stimulus: hierarchical generalization without a hierarchical bias in recurrent neural networks. Proceedings of Cogsci, 2018

[13] Morten H Christiansen and Nick Chater. Toward a connectionist model of recursion in human linguistic performance. Cognitive Science, Vol. 23, No. 2, pp. 157-205, 1999.

[14] Alex Warstadt and Samuel R Bowman. CAN NEURAL NETWORKS ACQUIRE a STRUCTURAL BIAS FROM RAW LINGUISTIC DATA? In Proceedings of Cogsci, 2020.

[15] Alex Warstadt, Yian Zhang, Xiaocheng Li, Haokun Liu, and Samuel R Bowman. Learning which features matter: RoBERTa acquires a preference for linguistic generalizations (eventually). In Proceedings of EMNLP.

[16] R Thomas McCoy, Robert Frank, and Tal Linzen. Does syntax need to grow on trees? sources of hierarchical inductive bias in Sequence-to-Sequence networks. TACL, Vol. 8, pp. 125-140, 2020.

[17] Tom McCoy, Ellie Pavlick, and Tal Linzen. Right for the wrong reasons: Diagnosing syntactic heuristics in natural language inference. In Proceedings of ACL.

[18] Emily M Bender and Alexander Koller. Climbing towards NLU: On meaning, form, and understanding in the age of data. In Pro- ceedings of ACL.

[19] Lila R Gleitman and Henry Gleitman. A picture is worth a thousand words, but that's the problem: The role of syntax in vocabulary acquisition. Current Directions in Psychological Science, Vol. 1, No. 1, pp. 31-35, February 1992.

[20] Emmanuel Dupoux. Cognitive science in the era of artificial intelligence: A roadmap for reverse-engineering the infant languagelearner. Cognition, Vol. 173, pp. 43-59, 2018.

[21] Julie Anne Legate and Charles D Yang. Empirical re-assessment of stimulus poverty arguments. The Linguistic Review, Vol. 19, No. 1-2, pp. 151-162, June 2002.

[22] Stephen Crain and Mineharu Nakayama. Structure dependence in grammar formation. Language, Vol. 63, No. 3, pp. 522-543, 1987.

[23] M W Crocker. Computational psycholinguistics. Computational Linguistics and Natural Language, 2010.

[24] J D Lewis and J L Elman. Learnability and the statistical structure of language: Poverty of stimulus arguments revisited. Proceedings of the 26th annual Boston University, 2001.

[25] Benjamin Spector. Aspects of the pragmatics of plural morphology: On Higher-Order implicatures. In Uli Sauerland and Penka Stateva, editors, Presupposition and Implicature in Compositional Semantics, pp. 243-281. Palgrave Macmillan UK, London, 2007.

[26] Eytan Zweig. Number-neutral bare plurals and the multiplicity implicature. Linguistic Philosophy, Vol. 32, No. 4, pp. 353407, August 2009

[27] Piyush Sharma, Nan Ding, Sebastian Goodman, and Radu Soricut. Conceptual captions: A cleaned, hypernymed, image alt-text dataset for automatic image captioning. In Proceedings of ACL.

[28] Noam Chomsky. Problems of Knowledge and Freedom: The Russell Lectures. New York: W.W. Norton, 1971.

[29] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Proceedings of text summarization branches out, pp. 74-81, 2004.

[30] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of NIPS, pp. 59986008, 2017.

[31] Alexey Dosovitskiy, et al. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In Proceedings of ICLR, 2020.

[32] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language Models are Unsupervised Multitask Learners. Technical report, OpenAI, 2019.

[33] Hangbo Bao, Li Dong, Songhao Piao, and Furu Wei. Beit: Bert pre-training of image transformers. In Proceedings of ICLR, 2021.

[34] Hugo Touvron, Matthieu Cord, Matthijs Douze, Francisco Massa, Alexandre Sablayrolles, and Herve Jegou. Training data-efficient image transformers \& distillation through attention. In Marina Meila and Tong Zhang, editors, Proceedings of ICML, Vol. 139, pp. 10347-10357. PMLR.

[35] Liu, Lin, Cao, Hu, Wei, Zhang, Lin, and Guo. Swin transformer: Hierarchical vision transformer using shifted windows. In Proceedings of ICCV.

[36] Mor Geva, Roei Schuster, Jonathan Berant, and Omer Levy. Transformer Feed-Forward layers are Key-Value memories. In Proceedings of EMNLP

[37] Ekin D Cubuk, Barret Zoph, Jonathon Shlens, and Quoc V Le. Randaugment: Practical automated data augmentation with a reduced search space. In Proceedings of CVPRW, pp. 702-703. IEEE, June 2020

[38] Xiaohua Zhai, Alexander Kolesnikov, Neil Houlsby, and Lucas Beyer. Scaling vision transformers. In Proceedings of CVPR, pp. 12104-12113, 2022.

## A 人工画像キャプションの生成

以下のようにテンプレートから文を作成した.

a lime circle with two red triangles runs

NUM1 COLOR1 SHAPE1 with NUM2 COLOR2 SHAPE2 VP

対応する画像を表 1 の例のように自動生成した. 各記号に対応す る語彙と対応する画像オブジェクトを表 3 に示す. NUM2 COLOR2 SHAPE2 オブジェクトは各 NUM1 COLOR1 SHAPE1 オブジェクトの 上部に小さく配置し，VP オブジェクトはNUM1 COLOR1 SHAPE1 オブジェクトの中央下部に配置している. 色の重複を防ぎ，計 $3 \times 3 \times 5 \times 4 \times 4 \times 4 \times 10=28,800$ 種類の画像を生成した $(16,500$ 学習データ，1,000 開発データ，11,300 評価データ).

表 3 人工画像キャプション作成時の語彙と画像特徴

## B 画像エンコーダ

各画像エンコーダの性質を簡潔に説明する. ImageNet-21k(22k) の上で訓練されたモデルを用い，解像度は $224^{2}$ ，パッチサイズ は16（に近いもの）に統一している.

Vit [31] 画像を分割したパッチをトークンと みなしてエンコードする．以下の実装を用いた：https： //huggingface.co/google/vit-base-patch16-224-in21k, https: //huggingface.co/google/vit-large-patch16-224-in21k,

https://huggingface.co/google/vit-huge-patch14-224-in21k.

Beit [33] Vit は画像分類タスクで学習されているのに対し， Beit では画像上でマスク穴埋め形式の自己教師あり事前学習を する。また，絶対位置埋め込みを用いるVit とは異なり，相対位置埋め込みを用いている。実装は, https://huggingface.co/ microsoft/beit-base-patch16-224-pt22k-ft22kを用いた.

Deit [34] 特殊な知識蒸留法によって，モデルサイズと訓練 コストを削減した．実装は，https://huggingface.co/facebook/ deit-base-distilled-patch16-224を用いた

Swin [35] 異なる粒度で画像のパッチ分割を行い，局所的な処理を適用することで計算コストを抑えつつ，画像の 階層的な特徴量を抽出する. 実装は, https://huggingface.co/ microsoft/swin-base-patch4-window7-224-in22kを用いた.

## C ハイパーパラメータ

全モデル共通のハイパーパラメータを表 4 に示す. エンコーダ のハイパーパラメータは対応する huggingface モデルの設定に従 い，ドロップアウト率のみを上書きしている．画像を提示する設定では，過学習を防ぐため学習画像に対し随時 RandAugment [37] を適用し，更に $20 \%$ の確率で実際の画像をノイズ画像に置き換え た. パラメータの固定はしていない.

表 4 共通のハイパーパラメータ

 \\

## D 画像エンコーダのスケーリング

画像エンコーダに関して, ImageNet 画像認識性能についてス ケーリング則が報告されている [38]. ImageNet での画像認識性能と階層的汎化の促進度に単調な関係がないことから，言語モデ ルに階層的なバイアスを与える画像エンコーダはスケーリング の結果得られるとは限らないことが予想された. なお本文では 言及していないが，Beit-large, Swin-large, Deit-small, Deit-tiny でも 実験をしており，より幅広い画像認識性能を持つエンコーダ間 で傾向を比較した。傾向を図 2 に示し，画像認識性能が良いエン コーダほど，言語の階層的な汎化を促すとは限らない.

図 2 自然画像キャプションデータでの学習 1000 ステッ プ目における，画像エンコーダの ImageNet top-1 正解率と 階層的汎化 $\mathrm{F} 1$ 值の向上度合いの関係. 各点は各訓練試行 に対応し，計 20 試行 $=\{$ 画像エンコーダ 10 種 $\times 2$ シード $\}$ の結果である。


# 組合せ範疇文法による ドイツ語文の原因・結果関係の意味表示

高橋直人 一杉裕志 竹内泉
産業技術総合研究所人工知能研究センター
\{naoto.takahashi,y-ichisugi, takeuti.i\}@aist.go.jp

## 概要

自然言語において，原因を表す文と結果を表す文 の関係は，様々な統語構造で表現可能である. その ような異なる表現の間では, 異なった統語構造が意味上の細かな差を生じる事はあっても，一方の文が 原因を表し，もう一方の文が結果を表すという基本的な原因・結果関係は共通している. 本稿では, ド イツ語で書かれた原因・結果文を組合せ範疇文法に 基づいて解析する際に, 統語構造が異なっていても 同一の意味表示が合成できるような語彙項目の設定 を提案する。またその際, 正書法上必要とされるコ ンマを積極的に利用して文関係の明示化を試みる.

## 1 はじめに

人間の知性を他の生物の知性から区別する最大 の特徴は, 階層構造を持った言語の使用であると言 える。

文は語の連続から構成されるが，語の並び方には 必然性があり, 語順が変われば一般に意味も変わ る.また，たとえ表層の語順が同一であっても，内部の統語構造が異なれば文の意味も異なる場合があ る. 反対に, 統語構造の異なる複数の文が (ニュア ンスの違いこそあるにせよ）同一の意味を表す場合 もある.したがって, 自然言語を人間同様に解釈す る人工知能を構築するためには, 文を単なる語の集合（あるいは語の系列）とみなして統計的に処理す るだけでは不十分であり, 統語構造に基づいて, 論理的に意味を合成する必要がある.

本稿では, 統語構造に基づいた論理的な意味合成 の具体例として, ドイツ語文における原因・結果関係と, 組合せ範疇文法に基づいてそれを解析するた めの語彙項目設定に関して考察する.

## 2 組合せ範疇文法

組合せ範疇文法 $[1,2,3,4]$ は語彙化文法の一種で あり, 古典的範疇文法に関数合成規則を取り入れた ものである．組合せ範疇文法の弱生成能力は, 文脈自由文法と文脈依存文法の中間に位置する事が知ら れており，それゆえ自然言語の文法記述に適してい ると考えられる。

## 2.1 統語範疇

通常の句構造文法では, 個々の文法範疇に対して 固有の非終端記号を割り当てる.たとえば文には $S$ (sentence), 名詞句には $N P$ (noun phrase), 動詞句 には $V P$ （verb phrase）等の記号を割り当てる事が多 い.これに対し組合せ範疇文法では，ごく少数の基底範疇と，それらを結ぶ演算子を再帰的に用いて多種多様な統語範疇を表現する。

たとえば英語の動詞句は,

自分自身の左側に主語となる名詞句が隣接した

場合, 全体として文となるような統語範疇

と定義できる. したがって動詞句は, $V P$ という固有の記号を使わなくとも， $S$ (文) と $N P$ (名詞句) の 組み合わせで $S \backslash N P$ と表現できる.ここで $X \backslash Y$ は,「左側の $Y$ と組み合わされたときに $X$ となる統語範疇」を意味する。

また英語の他動詞は，

自分自身の右側に目的語となる名詞句が隣接し

た場合，全体として動詞句 $(S \backslash N P$; 上記参照) となるような統語範疇

と定義できる。したがって「他動詞」は $(S \backslash N P) / N P$ と表現できる。ここで $X / Y$ は, 「右側の $Y$ と組み合 わされたときに $X$ となる統語範疇」を意味する.
順関数適用規則

逆関数適用規則

逆関数交差合成規則 $\quad \frac{Y / Z: g \quad X \backslash Y: f}{X / Z: \lambda x . f(g x)}<\mathrm{Bx}$

図 1 本稿で用いる組合せ規則一覧

## 2.2 組合せ規則

組合せ範疇文法における「組合せ規則」は，統語範疇と意味表示の両者を同時並列的に合成する物と して定義される。このため統語構造と意味表示の間 には明確な対応関係が存在する。

組合せ範疇文法で用いられる組合せ規則の数は,通常の句構造文法などにおける文法規則に比べると はるかに少ない。また, 組合せ範疇文法における組合せ規則は，記述対象となる言語には依存せず，原理的にはすべての言語間において共通だとされてい る1). 言語間に存在する文法上および意味上の差異 は, 基本的に語彙項目の設定で吸収する事になって いる.

組合せ範疇文法で一般に使用される組合せ規則の うち，本稿に登場する規則の一覧を図 1 に示す. コ ロンの左側が統語範疇で，コロンの右側がラムダ項 による意味表示である。

## 2.3 語彙項目設定の重要性

本稿の目標は,

統語的には様々に異なった構造を持っている が，人間が読んだ場合には同一の意味を持つと 理解されるような複数の文に対して，最終的に 同一の意味表示を合成する事

である，組合せ範疇文法は，統語構造と意味表示の 間に明確な対応関係を持つので, この目標の達成度 を評価するにふさわしいと言える.

文全体の最終的な意味表示は,
- 合成対象となる下位の構成素それぞれの意味表示

・それら下位の構成素それぞれの統語範疇

-下位の構成素間に対して適用される組合せ規則 という 3 者から機械的に合成されるわけであるが，
これらのうち 3 番目の組合せ規則は汎言語的に共通 であるので，望ましい合成結果，すなわち文全体の 望ましい意味表示，を得るためには，合成の材料と なる各語彙項目の意味表示と統語範疇を慎重に設定 する必要がある.

## 3 ドイツ語の文法的特徵

## 3.1 原因・結果表現

本稿で解析対象とする 6 種類の原因・結果表現 を, 図 2 に示す. 他の自然言語と同様, ドイツ語に おいても「Aの結果として Bである」あるいは「B の原因は $\mathrm{A}$ である」のような 2 文の関係は様々な統語構造で表現されうる. いずれの文も基本的な意味 は同一であるが，それぞれの統語構造を細かく見 ると，
- 原因を示す文は，結果を示す文に先行するか, それとも後続するか

・原因を示す文に標識が付くか，結果を示す文に 標識が付くか

・原因あるいは結果を示す標識は，どのような品詞で表現されるか

などの点でバリエーションがある事が分かる.

## 3.2 接続詞 weil

従属接続詞 weil は原因を示し, 従属複合文中で副文の文頭に立つ.このとき副文内の定動詞は文末に 置かれる。また weilによって導入される副文が主文に先行する場合は，副文全体が一つの文肢 [5] を 形成するので，後続する主文は定動詞が文頭となる (図2 文 1,2 ).

## 3.3 接続詞 denn

並列接続詞 denn は原因を示し, 並列複合文中に おける後続文を導く.この後続文は平叙文なので，定動詞は平叙文内で第 2 位に位置する（図 2 文 3 ）.

## 3.4 副詞 nämlich

接続的副詞 nämlich は原因を示し, 並列複合文中 で用いられる。通常であれば，文全体を修飾する副詞は文頭に立つ事も可能であるが，この用法として の nämlich が文頭に立つ事はない（図2 文4).

1. 従属複合文（結果文が先行）

Ich trinke Bier, weil ich Durst habe.

I drink beer because I thirst have

2. 従属複合文（原因文が先行）

Weil ich Durst habe, trinke ich Bier.

because I thirst have drink I beer

3. 並列複合文（原因文の文頭に並列接続詞）

Ich trinke Bier, denn ich habe Durst.

I drink beer because I have thirst

4. 並列複合文（原因文の文中に接続的副詞）

Ich trinke Bier, ich habe nämlich Durst.

I drink beer I have because thirst

5. 並列複合文（結果文の文頭に接続的副詞）

Ich habe Durst, deshalb trinke ich Bier.

I have thirst therefore drink I beer

6. 並列複合文（結果文の文中に接続的副詞）

Ich habe Durst, ich trinke deshalb Bier.

I have thirst I drink therefore beer

図 2 「喉が渴いたのでビールを飲む」のドイツ語訳 6 種

## 3.5 副詞 deshalb

接続的副詞 deshalb は並列複合文中で用いられる が，上記の他の標識と異なり，原因ではなく結果を 示す文に付く. また nämlich と違って, 文頭に立つ 事もできる（図2文 $5 ， 6$ ）。

## 4 ドイツ語用組合せ範疇文法

## 4.1 基底範疇と統語素性

本稿で使用するドイツ語用基底範疇は名詞句 $(N P)$ と文 $(S)$ の 2 種類のみであるが，Hockenmaier [6] に準じた統語素性を用いてそれぞれの下位分類 を設定している。

## 4.1.1 名詞句の統語素性

ドイツ語の平叙文においては，英語同様の「主格名詞句一定動詞一対格名詞句」という語順に加え て，「対格名詞句一定動詞一主格名詞句」や「副詞一定動詞一主格名詞句一対格名詞句」などの語順も可能である. このため, 名詞句が文中において果たす 主格や対格といった統語的役割を，語順とは独立し た形式で示す必要がある.

一般にドイツ語文中における名詞句の格は，冠詞 や形容詞語尾などによって表現される事が多い.し かし本稿の範囲内では，主格名詞句としては人称代名詞の ich が，対格名詞句としては無冠詞・無変化の名詞 Durst と Bier が登場するのみである。その ため，名詞句（NP）に関する統語素性としては， $n$ （nominative，主格）と $a$ (accusative, 対格）の 2 種類 のみを使用する2).

## 4.1.2 文の統語素性

Hockenmaier[6] では,「ドイツ語平叙文の基底語順 は定動詞文頭であり，前域に位置する主語は主題化 （topicalization）によるものである」と解釈されてい る。またこれによって，主格名詞句，対格名詞句，与格名詞句それぞれの統語範疇を同一に保ったまま で，前域要素の入れ替えが可能である事が示されて いる.

これは興味深い解釈であり, 形式主語の es が前域以外では省略可能である理由なども，ここから説明 できると思われる.

よって本稿でも [6] 同様, 文 $(S)$ の統語素性とし $\tau, d c l$ (declarative, 定動詞第 2 位), $v l$ (verb initial,定動詞文頭)，vlast（verb final，定動詞文末）, emb （embedded，副文）の 4 種類を使用する。

## 4.2 語彙項目としてのコンマ

現代ドイツ語の正書法には，複合文内の各文をコ ンマで区切るという規則がある。本稿ではこの規則 を利用して，複合文内の 2 文を結合するコンマに統語範疇と意味表示を割り当て，原因・結果関係を見通しよく表現する方策を取った。

なお，原因・結果を示す標識語の統語範疇を工夫 すれば，コンマを利用しなくても原因・結果関係が 表現可能である事は確認済みであるが，これについ ての詳細は他の機会に譲る。

## 4.3 標識の位置と意味表示

組合せ範疇文法においては，生成文法で言うとこ ろの空範疇は想定されない $[1,7]$. また組合せ規則 が適用されるのは，実際に音韻表示を持った上で， かつ表層上で直接隣接する統語範疇間のみである。

そのため図 2 中の文 $1 ， 2 ， 3 ， 5$ のように，原因・結果を示す標識（weil, denn, deshalb など）が文頭に出現する場合には，当該文の意味役割（原因 あるいは結果）を容易に標示する事ができる3)が，図 2 中の文 4 における nämlich，および文 6 におけ る deshalb のように，原因・結果を示す標識が文の

2）文法的には，名詞句の格として他に属格および与格が存在 するが，本稿には登場しない。

3）原因・結果を示す標識が文頭ではなく文末に出現する場合 （日本語の「〜だから」など）も，その標識を含む文の意味役割は容易に標示できる。
表 1 語彙項目一覧

} & \begin{aligned}$(S[d c l] \backslash N P[n]) / N P[a] & : \lambda y . \lambda x \cdot h a v e^{\prime}(x, y) \\
& : \lambda y . \lambda x \cdot \operatorname{drink}^{\prime}(x, y)\end{aligned}$ \\

& : \lambda y . \lambda x \cdot \operatorname{drink}^{\prime}(x, y)\end{aligned}$ \\

中央部分に埋め込まれている場合は，その標識を含 む文の意味役割の標示がやや難しくなる. 本稿で は, Steedman[1] および戸次 [3] における英語助動詞 might の意味表示を参考に, 逆関数交差合成規則を 用いてこの問題を解決した.

## 4.4 語彙項目の設定と意味表示の導出

以上を踏まえ，本稿では表 1 に示す語彙項目設定 を提案する. 複数の統語範疇が与えられている語彙項目に対しては, 状況に応じて適切な統語範疇とそ れに対応した意味表示を選択する事とする. その結果, 図 3～図 5 に示したように，全 6 文から

$
\text { because'(have'(I',thirst'),drink'(I',beer')) }
$

という共通の意味表示を得る事ができるようにな る。（スペースの都合上， 6 文のうち 3 文の導出の みを掲載している.)

## 5 関連研究

Vancoppenolle[8] らは, 株式市場領域の文生成を 目的としたドイツ語文法を発表した。この文法は，組合せ範疇文法の拡張である「マルチモーダル組合 せ範疇文法」を用いて記述されており, OpenCCG ${ }^{4)}$ の下で実装されている. OpenCCG は組合せ範疇文法の解析・生成システムであり, 様相論理を拡張し た Hybrid Logic Dependency Semantics [9] を意味表示 として採用している. 彼らはドイツ語を部分的に語順自由な言語ととらえ, 型変換規則を用いる事でか き混ぜ文や主題化の扱いを工夫している.

4) https://github.com/OpenCCG/openccg
Hockenmaier[6] は, 既存のドイツ語ツリーバンク である Tiger corpus ${ }^{5)}$ を，組合せ範疇文法版のツリー バンクに変換する手順を論じている．またその説明 の過程で，ドイツ語用組合せ範疇文法に関する興味深い提案を行っている.ただし，統語範疇に関する 記述のみで，意味表示に関しては述べられていな い.かき混ぜ文に関しては，各語順に合わせてそ れぞれに専用の統語範疇を用意する立場を取って いる.

Evang ら [10] は，多言語対応組合せ範疇文法のア ノテーションガイドラインと，アノテーション実施 のためのツールを公開している. 対象とされている 言語は, 英語, ドイツ語, イタリア語, オランダ語 の 4 言語である.また参考のために， $4 \times 100$ 文のパ ラレルコーパスと, $10 \mathrm{~K}$ 文の検証済み単言語コーパ ス，および $82 \mathrm{~K}$ 文の部分的検証済み単言語コーパス が提供されている．意味表示に関しては述べられて いない.

## 6 おわりに

適切な統語範疇と意味表示を持った語彙項目を設定する事で， 6 通りの異なった統語構造を持ったド イツ語の原因・結果文すべてから同一の意味表示を 合成する事が可能となった。人間がこの 6 文を読ん だ場合も，脳内にはほぼ同一の原因・結果関係が生成されると考えられる。

人間による文理解において興味深いのは，文全体 を読み終えてから最適解の探索を開始するのではな く，文頭から順に語を読み進めるに沿って漸進的に 解釈を行っていると感じられる点である.

一般の句構造文法では, 主語一動詞一目的語とい う語順の構造を（主語（動詞目的語））のように 解析するので, 文頭からの漸進的な解釈のモデル化 が難しいが，組合せ範疇文法では型繰り上げ規則と 関数合成規則を利用する事で，（（主語 動詞）目的語）という解析が可能である6). その意味で組合せ 範疇文法は漸進的解釈のモデル化に向いている.

また, 日本語やドイツ語のように（動詞以外の）語順が比較的自由な言語においては, 異なる入力語順から同一の意味的表現が合成される場合がある. これも広い意味では，異なる統語構造から同一の意味表示を求める問題と言える．今後はこれらの点に 注目して研究を進めていきたい.

## 謝辞

本研究は JSPS 科研費 JP22K12188 の助成を受けた ものです.

## 参考文献

[1] Mark Steedman. The Syntactic Process. The MIT Press, 2000.

[2] Mark Steedman. Surface Structure and Interpretation. The MIT Press, 1996

[3] 戸次大介. 日本語文法の形式理論. くろしお出版, 2010.

[4] 峯島宏次. 論理と文法. 数学セミナー, Vol. 59, No. 3, pp. $30-35,2020$

[5] 在間進. [改訂版］詳解ドイツ語文法. 大修館書店, 2006.

[6] Julia Hockenmaier. Creating a CCGbank and a widecoverage CCG lexicon for German. In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 505-512, Sydney, Australia, July 2006. Association for Computational Linguistics.

[7] M. Steedman. Grammar, interpretation, and processing from the lexicon. In W. Marslen-Wilson, editor, Lexical representation and process, pp. 463-504. The MIT Press, Cambridge, MA, 1989.

[8] Jean Vancoppenolle, Eric Tabbert, Gerlof Bouma, and Manfred Stede. A german grammar for generation in openccg. In H. Hedeland, T. Schmidt, K. Wörner (eds.): Multilingual Resources and Multilingual Applications. Proc. of the Conference of the German Society for Computational Linguistics and Language Technology (GSCL), Hamburg, 2011. Working Papers in Multilingualism, Series B, No. 96, pp. 145-150, 2011.

[9] Jason Baldridge and Geert-Jan Kruijff. Coupling CCG and hybrid logic dependency semantics. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 319-326, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[10] Kilian Evang, Lasha Abzianidze, and Johan Bos. CCGweb: a new annotation tool and a first quadrilingual $C C G$ treebank. In Proceedings of the 13th Linguistic Annotation Workshop, pp. 37-42, Florence, Italy, August 2019. Association for Computational Linguistics.

[11] Vera Demberg. Incremental derivations in CCG. In Proceedings of the 11th International Workshop on Tree Adjoining Grammars and Related Formalisms (TAG+11), pp. 198-206, Paris, France, September 2012.

図 3 “Weil ich Durst habe, trinke ich Bier." の導出

図 4 "Ich trinke Bier, ich habe nämlich Durst." の導出

図 5 "Ich habe Durst, deshalb trinke ich Bier." の導出