# A Statistical Analysis of English in Contemporary J-pop: Time Series of Lyrics and Identity, 2012-2021

David Calica Mariko Takahashi ${ }^{1}$
${ }^{1}$ Faculty of International Studies, Setsunan University
ddcalica@gmail.com mariko.takahashi@ilc.setsunan.ac.jp
}

\begin{abstract}
This paper analyzes the amount and variety of English within contemporary Japanese popular music (J-pop) over time and across a variety of artist identity factors. First, this study identified the quantity and variety of English tokens in the annual top 50 best-selling J-pop singles from 2012-2022. Over 70\% of songs analyzed contained English lyrics, but songs on average had only 15\% of total tokens in English. The average yearly amount of English increased by 6 percentage points from 2012 to 2022. Artist gender, K-pop affiliation, and group/solo status were all statistically significant with respect to amount of English in the songs.
\end{abstract
## 1 Introduction and Background

Mixing English in the lyrics of songs in the local language is a phenomenon that has been widely observed in many countries (Moody, 2020). This use of English has been considered as an indication of bilingual creativity, and various functions have been identified. For example, Chan (2009) pointed out that mixing English in Cantonese popular songs achieved functions such as highlighting part of the lyrics and producing rhyming. Luk (2013) added that English in the lyrics was also used for language play through phonological and semantic crossover between English and Cantonese. Indeed, researchers have claimed that code ambiguation, or the construction of messages in two languages at the same time, is a prime example of creative use of English in popular songs of Asia including Korea (Lee, 2022) and Japan (Moody \& Matsumoto, 2003; Moody, 2006). Another function of using English in popular songs has been to construct and project the intended identities of the singers (Benson, 2013; Kachru, 2006; Jin \& Ryoo,
2014; Stanlaw, 2021).

Previous studies on this issue have primarily taken a qualitative approach to analysis. As such, Takahashi and Calica (2015) integrated a quantitative aspect and conducted an analysis of $100 \mathrm{CD}$ singles that sold the most in Japan in 2013. The study selected gender, which had been one of the topics discussed in relation to Japanese popular music (e.g., Cogan \& Cogan, 2006; Toth, 2008), as a potential factor contributing to the use of English. The analysis showed that more than $70 \%$ of the songs contained English in their lyrics and that male performers used English statistically at a higher proportion than female performers. In addition, younger male performers used more English in their lyrics compared to older male performers. The study then pointed out that English in Japanese popular songs (J-pop) fulfilled both referential and affective functions.

However, it remains to be seen if the use of English in J-pop has fluctuated over time. There is limited research tracing the change of the lyrics of popular songs from a quantitative perspective. One such example includes a study by Anglada-Tort, Krause, and North (2021), which utilized machine learning techniques to analyze the transition of gender distribution of popular songs and its relation to the content of the lyrics, but did so within a native-English UK context. As statistical research on English within musical contexts where English is not an official language is even more limited, this study aims to describe and analyze the use of English in top Japanese popular songs in the period of 2012 to 2021 by using a statistical approach.

## 2 Methodology

First, the 50 best-selling CD singles were identified for each year from 2012 to 2021 based on the Oricon
annual chart . Second, for each of the 500 songs, lyrics were prepared in the text file format. Third, MeCab was used for dividing lyrics into tokens (http://taku910.github.io/mecab/). Each file was then checked manually to correct errors resulting from sentence fragments, colloquial expressions, and unique use of words. Fourth, AntConc (Anthony, 2020) was used for generating a word list and counting the number of tokens and types for each song. Finally, the number of English and Japanese tokens and types were calculated based on the word list.

Each song was tagged with its Oricon list year, what Oricon rank the song was listed at, whether the song was performed by a male or female lead singer, whether the song was performed by a group or solo artist, and whether the song was produced by a Korean company (K-pop). For purposes of this paper, Korean-based songs as published in Japan and listed on the Oricon top 50 are tagged as "K-pop".

For statistical analysis, each song's token, type, year, and artist factor data was input into Excel and $\mathrm{R}$ and analyzed for summary statistics. Finally, a multi-factored linear regression model was created using percent of each song's tokens as the dependent variable and artist factors and year as the independent variables.

## 3 Results and Analysis

We analyzed a total of 500 songs, spanning 10 years. $61 \%$ of songs were performed by a male-lead, $94 \%$ of songs were sung by a group of $2+$ members, and $8 \%$ of songs were categorized as K-pop.

Most of the songs contained some English, but overall English was low within each song when compared with native Japanese (see also Figure 10 in Appendix).

73\% of the 500 songs contained English tokens. On average, $15 \%$ of tokens per song were English and 11\% of types per song were English. Songs ranged from 0 to $100 \%$ English, with $27 \%$ of songs containing 0\% English and $0.6 \%$ of songs containing $100 \%$ English.

Figure 3 shows a distribution of the songs based on the percentage of song tokens in English. Nearly two-thirds (61\%) of songs analyzed contain between $0 \%$ and $10 \%$ English, with the vast majority (94\%) containing less than 50\% English. Although English continues to play a significant role in conveying messages and musicality in contemporary J-pop, it overall remains a predominately minor language compared to native Japanese.

## 3.1 Trends over Time

Compared with Takahashi and Calica (2015) this paper tasked to answer how the use of English in J-pop has changed over time. To do so, we developed a time series calculating the average English usage year-over-year (see also Figure 11 in Appendix for \% of types over time).

Over the past 10 years, the amount and variety of English has increased over time. Both tokens per song and types per song increased, as denoted by the significantly positive slope trendline. In 2012, songs on average had $12 \%$ of tokens as English, while in 2021, songs on average had $18 \%$ of tokens as English.

There is a $+6-7$ percentage points ( $\mathrm{pp}$ ) increase of English tokens and types between 2019 and 2020, which represents the largest year-over-year increase in the data. 2020 was a notable year for the music industry due to COVID-19 effects on global cultures and markets. In the next section, we note other localized effects such as gender and group factors in 2020 that also played a role in this English increase.

## 3.2 Gender as Related to English

In Takahashi and Calica (2015), performer gender was found to be a significant factor in understanding the use of English in 2013 songs. This trend continues when looking across the 2012-21 timeframe.

Male performers used a higher percentage and higher variety of English in their songs, with the average male song having +10 pp more English and +8pp more types. It was theorized in Takahashi and Calica (2015) that a prototypical J-pop male image is constructed through a variety of factors, potentially including heavier English usage. Given a higher statistical usage, it does appear that the modern J-pop male image remains more strongly tied with English usage.

The relationship between male gender and English is relatively consistent over time, as in Figure 6. Both genders have increased their English usage over time.

There is variation for the gender-English distribution, particularly in 2018-2020. 2018 is the first year observed where the female average usage was equal to or higher than the male average usage. This is primarily due to the increase in female K-pop groups, such as TWICE, appearing in the Oricon top 50 for the first time. As will be noted in the next section, Korean-based groups provide a significant increase of English usage in
Japanese music. For example, if TWICE were excluded from the data, the average female Japanese English token percentage in 2018 would drop from $13.5 \%$ to $10.3 \%$, which would be lower than the male average of $12.8 \%$.

As noted in section 3.1, 2020 provided major changes to the J-pop landscape. In addition to global COVID-19 effects, many new male groups entered the top lists with increased English usage. For example, new male groups such as SixTONES, Snow Man, and JO1 debuted and reached the top 50 with 6 songs, with a combined average of $51 \%$ English tokens. These new songs replaced staple female groups such as the " 48 -groups" (AKB48, NMB48, etc.), which had a drop from the top 50 lists, going from an average of 11 songs in the top 50 between 2012-2019 to 8 in 2020.

## 3.3 Korean and Groups Factors

K-pop has had a significant effect on English usage in Japanese music, with many Korean-based groups hitting the top 50 charts. As noted in section 3.2, TWICE for example helped increase the amount of English in Japanese music in 2018. K-pop groups, while they hold a minority of top 50 song slots, do provide a significant increase in English usage and variety.

The average Oricon listed Korean-based song has +19pp more English tokens and +14pp more types than a Japanese-based song. Similarly, being part of a group versus being an individual performer is linked to English usage. The average group has +10pp more English usage and +6 pp more English types.

## 3.4 Factor Significance

To statistically test each factor's significance with respect to English usage, we utilized a multi-factored linear regression model and tested whether each factor has statistically significant predictive effects. For this model, we regressed each song's English token percentage with respect to the song's year, performer gender, group/solo category, K-pop category, and 1-50 rank.

 & K-pop + Rank \\

Year, gender (male), group, and K-pop flags all had a positive and statistically significant effect with respect to English usage by song. Rank was a factor which had no statistical effect, meaning that English is not correlated with how highly the song was ranked in the top 1-50 (See Appendix for details).

Based on the independent linear regression model, the significant linear estimates are greater than 0 and can be additive. For example, all else equal, a male K-pop group song will on average have +39pp more English than a female, non-K-pop solo artist song.

## 4. Discussion

English continues to carry significant purpose for lyrical construction within Japanese popular music, as it is statistically significant and remains the highest non-Japanese language to appear in top 50 Oricon for 2012-2021. Over time, English slowly has begun to increase in usage and variety, making it an even stronger portion of the Japanese music scene. Like many other fields, 2020 in particular had a pronounced effect on J-pop and English in J-pop, including the debut of high English-using groups.

English usage is also significantly linked to the musical performer identity, as it is associated with gender, group/solo distinction, and being Korean-based vs. non-Korean-based. However, this statistical identity based on lyrics is a constructed or presented image from the artist. Further research, such as audience testing, could help understand how such a language-based image is perceived from the audience's perspective.

## 5. Conclusion

Within this study, we statistically analyzed the use and variety of English in Japanese popular music lyrics. While English had broad usage across songs and was present in $73 \%$ of songs, it remained limited in terms of average amount (15\% of tokens per song) and average variety (11\% of types per song).

English has increased in usage from 2012 to 2021, with the average tokens per song increasing by 6 percentage points. English was also on average higher in songs from male artists, group performers (vs solo), and K-pop artists.

We look forward to further monitoring English in J-pop, especially as we encounter new structural changes. For example, new groups like Snow Man, which uses an average of over 50\% English per song, have helped increase usage overall. We could potentially see English grow from a strong minority language presence to an even more pronounced and integral unit of Japanese musical communication.

## References

Anglada-Tort, M., Krause, A. E., \& North, A. C. (2021). Popular music lyrics and musicians' gender over time: A computational approach. Psychology of Music, 49(3), 426-444. https://doi.org/10.1177/0305735619871602

Anthony, L. (2020). AntConc (Version 3.5.9) [Computer Software]. Tokyo, Japan: Waseda University. Available from https://www.laurenceanthony.net/software

Benson, P. (2013). English and identity in East Asian popular music. Popular music, 32(1), 23-33.

https://doi.org/10.1017/S0261143012000529

Chan, B. H. S. (2009). English in Hong Kong Cantopop: language choice, code-switching and genre. World Englishes, 28(1), 107-129.

https://doi.org/10.1111/j.1467-971X.2008.01572.x

Cogan, B., \& Cogan, G. (2006). Gender and authenticity in Japanese popular music: 1980-2000. Popular Music and Society, 29(1), 69-90.

https://doi.org/10.1080/03007760500167313

Jin, D. Y., \& Ryoo, W. (2014). Critical interpretation of hybrid K-pop: The global-local paradigm of English mixing in lyrics. Popular Music and Society, 37(2), 113-131.

https://doi.org/10.1080/03007766.2012.731721

Kachru, Y. (2006). Mixers lyricing in Hinglish: Blending and fusion in Indian pop culture. World Englishes, 25(2), 223-233.

https://doi.org/10.1111/j.0083-2919.2006.00461.x

Lee, S. (2022). Typology of English-Korean code ambiguation: Bilingual creativity in the Korean context. English Today. Advance online publication. https://doi.org/10.1017/S0266078422000116

Luk, J. (2013). Bilingual language play and local creativity in Hong Kong. International Journal of Multilingualism, 10(3), 236-250.

https://doi.org/10.1080/14790718.2013.808200
Moody, A. J. (2006). English in Japanese popular culture and J-Pop music. World Englishes, 25(2), 209-222.

https://doi.org/10.1111/j.0083-2919.2006.00460.x

Moody, A. (2020). English in Asian popular culture. In K. Bolgon, W. Botha, \& A. Kirkpatrick (Eds.), The handbook of Asian Englishes (pp. 763-786).

Wiley-Blackwell.

https://doi.org/10.1002/9781118791882

Moody, A., \& Matsumoto, Y. (2003). "Don't touch my moustache": Language blending and code ambiguation by two J-pop artists. Asian Englishes, 6(1), 4-33.

https://doi.org/10.1080/13488678.2003.10801106

Stanlaw, J. (2021). Using English as identity markers in Japanese popular music: J-pop and beyond. In E. L. Low \& A. Pakir (Eds.), English in East and South Asia (pp. 198-211). Routledge.

https://doi.org/10.4324/9780429433467

Takahashi, M., \& Calica, D. (2015). The significance of English in Japanese popular music: English as a means of message, play, and character. Proceedings of the 21st Annual Meeting of the Association for Natural Language Processing, 868-871.

https://www.anlp.jp/proceedings/annual_meeting/2015/in dex.html

Toth, C. (2008). J-Pop and performances of young female identity: Music, gender and urban space in Tokyo. Young, 16(2), 111-129.

https://doi.org/10.1177/110330880801600201

## Appendix


# 新型コロナウイルスに関する新聞報道
## の時系列変化の日中米比較

\author{
童樺 ${ }^{1}$. 森川美幸 ${ }^{2}$ $\cdot$ 榎本美香 ${ }^{2}$
}

## 概 要

本研究では、日中米三国の新型コロナウイルスに関する新聞報道が時系列的な変化を明らかにする。分析 1 では、諸国いずれも報道数はコロナの蔓延状況と密接な関係があることを示す。分析 2 では、諸国各時期のキーワードの出現頻度を算出し、各時期で取り上げられるトピックを自国内、国際、経済三つに分けて分析する。分析 3 では諸国各時期で報道内容の情感の違いを明らかにする。これらの分析を通じて、中日米三国の新型コロナウイルスに関する報道量や中心的な話題の変化を示し、それらが時間の経過に伴ってどのように変遷するかを明らかにする。

1 はじめに

2019 年末, 中国武漢市から報告された原因不明肺炎は, 新たなコロナウイルス（以下コロナ）が原因であることが判明した。2021 年 1 月 30 日、 WH 0 は「国際的に懸念される公衆衛生上の緊急事態」を、3 月 11 日には「パンデミック」の宣言をした $[1]$ 。各国がコロナの流行に影響を受ける中、社会の不確実性は増加し、国民の情報欲求は高まる［2]。諸国の報道機関はコロナに関することを大きく取り上げるようになる。本研究では、各国の報道の関心の中心とその時系列的変化を明らかにする。

## 2 先 行研究

酒（２００１）は、コロナ報道中に、中国への差別的報道、たとえば人種的差別、情報格差、経済格差、教育格差に関する報道が含まれていたとする［３］

また、星野（（２０２２）は日本国内の新聞社間でコロナに関する新聞社説を構成するトピックの時系列変化や新聞社ごとのトピックの偏りを分析し、新聞は多様な側面に言及していることを明らかにした［４］。

は Twitter で日本国内の 1 例目の感染者が確認された 9 週間でコロナに関する投稿を関連語や共起ネットワークを分析した。SNS 投稿内容から，コロナの感染拡大は人々のウイルス感染への不安に加え、報道内容や社会情勢の不安定さによる不安や疲労感、 ストレスを生じさせていた実態を示唆している。 ただし、これらの研究はコロナに関する日本国内の報道だけを分析しており、日本以外の諸国でどのような報道がなされたのかは分からない。

## 3 方 法

本研究は各国を代表すると考えられる新聞紙を対象とする。次に、本論文では、日本、中国、米国を対象とするっこれは、この三つの国は世界三大経済大国であり、経済的にも政治的にも世界に与える影響力が大きいと考えられる。新聞紙の選択には対象国から『 NEW YORK T IMES』、『読売新聞』、『人民日報』を選択した。データべースに基づいて、2020 年 1 月 1 日から 2022 年 6 月 30 日まで、コロナ関連の記事を収集する。日本語では「新型コロナウイルス」をキーワードとしてデータベースの検索を行

う。中国は「新冠肺炎」、米国は’coronavirus，というキーワードで検索する。

次に、日本の新聞紙の特性を鑑みて、中立性を保つている『読売新聞』を用いる。中国は『人民日報』、米国は『 NEW Y O R K T I E S』が全国紙であるためこれらを用いる。取得した記事のテキストを Excel でデータベース化する。次に、自然言語処理を用い、それぞれの新聞紙のトピック解析を行う。

## 4 分 析 1

2020 年 1 月 1 日から 2022 年 6 月 30 日まで、各データベースでキーワード検索を行った記事数を抽出する

各国いずれも2020 年の報道量は感染の蔓延に伴い増加している。日本は分析した全期間を通じて、この傾向にある。一方、中国と米国は、その後感染者数の増加やロックダウンが生じても、報道が減少する。このことは、中国や米国においいては、時間の経過とともにコロナに対する関心が薄れていったことを伺わせる。

## 5 分 析 2

抽出した関連記事を形態素解析する。日本語専用の MECAB、中国語専用の JIEBA、英語専用のNLTKを用いてそれぞれ形態素解析を行う。

これらのツールを用い形態素解析し、各時期の単語出現頻度を求める。単語の出現頻度数が多くても、 あまり意味が無い単語（たとえば、接続助詞など） は、重み付けを行い除外する。重み付けは「 $\mathrm{t} \mathrm{fidf}$」という計算式を用いる。この計算式は主に文書検索やレコメンデーションに使われている（一色政彦 2021 ）［9］。単語ランクの並び順は頻度と重み付け両方とも前 10 位で表示される。

図 4 読売新聞トピック

図 5 人民日報トピック

city

図 6 NYTトピック

日中米いずれも 2020 年初めの段階では、中国に関するトピックが取り上げられている。2021 年になるとワクチンに関するトピックが盛り上がる。

日本の新聞報道の特徴は、初めの段階で中国の感染状況に対するトピックが多く、少し経つと、自国内の国民生活や社会保障などに関するトピックが増える。一方で、国際社会に関する言及は少ない。

中国の新聞報道の特徴は、WHO や他の国に関する国際連携のトピックが多い。時間が経過すると、感染状況より経済面に関する言及が増える。一方で、自
国内の国民生活に関するトピックは見られない。米国の新聞報道は初期段階で中国とその政府機関に対する関心が多く、自国内の感染状況より他国に注目している。後期では、国民生活や国際旅行に関することに関心が高くなっていく。一方で、経済面に関する言及は見られない。

## 6 結 論

本研究を通じて、日中米の新型コロナウイルスに関する新聞報道は様々な違いがあることが分かった、各国のマスメディアは初期の段階では感染者数やロックダウンなどに関する話題が多くなるという共通点がある。しかし、時間の経過とともに、政治 ・経済・国際情勢など各国間の関心の有りようが変わっていくことが明らかになった。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# ニューラル分類器の予測の解釈に基づく 集団に特徴的なテキスト表現の抽出: アメリカ人を例に

渡邊 幸暉 村脇有吾 黒橋禎夫
京都大学大学院情報学研究科
\{k-watanabe, murawaki, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

本研究では、ある集団に特徴的なテキスト表現をその他の集団との比較により抽出する手法を提案する。提案手法は、 2 種類のテキストを識別する分類器を訓練したうえで、ニューラルネットの説明手法に基づいて、分類器の予測に貢献する入力テキスト中の表現を特定する。具体例としてアメリカの文化や歴史を背景とした表現に取り組み、データセットの構築や評価実験を行う。

## 1 はじめに

人々の言語使用は、国や社会階層といった自身が属する集団の文化を反映していると考えられる。その性質を解明することで、例えば異文化コミュニケーションの支援といった応用が期待できる。

この研究課題への有力な取り組みは、異なる集団が産出したテキスト同士の比較を通じて差異を解明するというもので、対照研究あるいは比較研究とよばれる [1]。こうした対照研究は、主に社会言語学を中心としたいわゆる文系の研究者によって進められてきた。例えば、ウェブ、新聞記事、聖書といった様々な言語資料を比較することで、異なる集団が用いるテキスト表現の違いを明らかにできる [2]。

従来研究のうち人手による事例分析は、客観性を担保するのが難しい。また、対象テキストが数十件から数百件程度にとどまるなど、規模にも限界がある [3]。コーパスに基づく分析は客観性の問題を改善するが、人手によるアノテーションを必要とする場合はやはり規模に限界がある。自動分析を行う場合も、単語のような断片的で言語的に表層的な手がかりしか扱えないという課題が残る。

本研究ではこれらの対照研究の課題を解決するために、説明可能な AIを応用した手法を提案する。
(3) r/NoStupidQuestions $\cdot$ Posted by u/MossLover6465 22 days ago Guys, who is Uncle Sam?

I ain't American and kinda hear about him a lot. Is he a fictional character or he existed at some point?

MrLongJeans $\cdot 22$ days ago

Uncle Sam means the government, like I owe Uncle Sam a third of my paycheck in taxes. He is usually personified in the I Want You recruiting poster from WW2:

図 1 Reddit でのやりとりの一部

出典 : https://www.reddit.com/r/NoStupidQuestions/ comments/z7h6fs/guys_who_is_uncle_sam/

提案手法はデータ駆動型の取り組みにより客観性と規模性を確保するとともに、近年のニューラルネットの強力な文脈処理能力を活用することで、従来の自動分析では扱うのが難しかったような長いテキス卜表現を探索的に抽出する。ニューラルネットは高い性能の代償としてその振る舞いがブラックボックス化することが問題視されているが [4]、その解決策として説明可能な AI の研究が盛んに進められている [5][6]。本研究のキーアイデアは、その成果を応用し、ニューラルネットが異なる集団による 2 種類のテキストをどのような手がかりを用いて識別したかを解釈することを通じて、テキスト間の差異の原因を表現レベルにまで絞り込むことである。

提案手法の具体的な適用事例としてアメリカ人に着目する。アメリカは第二次世界大戦以来超大国とされ [7]、特に冷戦後は唯一の超大国であるとされている [8]。国際社会におけるアメリカの存在感は著しく、文化、経済、科学技術などの分野で他の国々がアメリカを追随する形で世界が発展している。

こうした背景のもと、アメリカ国内のコンセンサスが世界のコンセンサスであるかのような言動が見られることがある。具体的には、アメリカ以外の国の人がいる場でも、アメリカ人にしか理解できないような表現が使われてしまう。図 1 は、英語圏の才

ンライン掲示板 Redditで、アメリカ人ではないという投稿者がよく耳にするという“Uncle Sam”という人物について尋ねている様子を示す。この例では、 “Uncle Sam” は特定の人物を指す言葉ではなく、アメリカ合衆国政府を意味する熟語であることが説明されている。

このようにアメリカの文化や歴史を背景とする表現を本研究ではアメリカニズムとよぶ (表 A.1)。アメリカニズムを抽出して提示することにより、アメリカ以外の国の人に対して意図せずアメリカニズムを使用してしまう事態を回避し、より円滑なコミュニケーションが可能になることが期待される。

本研究では、アメリカ人が書いた文と他の英語圈の国の人が書いた文を比較することで、アメリカニズムを抽出する。クローリングによるデータセット構築、Reddit が SNS であることを利用した対象の効果的な絞り込み、BERT に基づく強力なニューラル分類器の訓練を行ったうえで、説明手法の適用により表現の抽出を行う。抽出例を人手で分析したところ、実際にアメリカニズムが抽出できていることが確認できた。

## 2 関連研究

提案手法の基本的なアイデアは Harust ら [9] に由来する。Harust らは英語表現のなかには母語話者に特徴的なものがあると仮定し、英語母語話者によるテキストと第二言語話者によるテキストを比較することでそのような表現を抽出した。まず、Reddit の投稿から作成した話者国籍別の英文データセット [10]を利用して、入力されたテキストが英語母語話者のものか第二言語話者のものかを識別する分類器を作成した。この分類器に対して、説明手法の1つである contextual decomposition [11]を適用し、分類器の出力スコアに対する入力テキスト中の各表現の貢献を近似的に求めた。このスコアを当該フレーズの母語話者らしさとみなし、スコアの高いフレーズを母語話者に特徵的な英語表現の候補としている。この分類器の訓練には complementary-label learning [12]を応用した手法が使われており、通常の2つのラベルに加え、「どちらとも言えない」という特殊ラベルが導入されている。

Harust らは言語的な興味から英語母語話者と第二言語話者を比較したのに対し、本研究は文化的な観点からアメリカ人とその他の英語圈の人を対照する。また、Harust らは分類器をLSTM を用いて構築
MortimerDongle $\cdot 26$ days ago

媐United States of America

Is testing homes for radon and installing vent fans for it uncommon?

\ $\oiint$ Reply Give Award Share Report Save Follow

図 2 Reddit で国籍を表明するタグが使用されている例投稿者がアメリカ国籍であることが表明されている出典 : https://www.reddit.com/r/AskEurope/comments/ z81amu/comment/iycx57x/

表 1 構築したデータセットの国籍の内訳

したのに対して、本研究はより強力な BERTを用いるなど、様々な点で手法に改良を加えている。

## 3 データセットの構築と絞り込み

## 3.1 データセットの構築

Harust ら [9] は話者国籍別の英語テキストとして Reddit に由来するデータセット [10]を用いた。このデータセットは、Reddit 内の一部のコミュニティで投稿者が自らの国籍をタグ (flair、図 2)で表明していることを国籍判別の手がかりとして利用している。原著者らの目的は、母語識別タスク (例えば英文の書き手がドイツ人であることを判別するなど) だが、アメリカやその他の英語圈の国が収録されており、本研究の目的にも利用できる。

このデータセットには投稿本文とその国籍ラベルのみが収録されている。しかし、例えば、Redditが SNS であり、投稿者同士が関係を持っていることを利用すれば、より高品質にアメリカニズムが抽出できるかもしれない。こうした動機に基づき、本研究では独自に Reddit のクローリングを行った。

本研究では、アメリカと、比較対象として英語圏のその他の 3 力国を対象とした。先行研究 [10] と比較すると、国籍判別の手がかりをを拡大している。投稿者が用いるタグは自由記述だが、先行研究は国名のみに着目していた。これに対し、本研究ではアメリカ国内の州名やその他の地名1)も利用した。こうしたタグの使用者はより内向きでアメリカニズムを表出する可能性が高いと期待できる。 データセット構築結果を表 1 に示す。州名や地名
 というものもあった。

図 3 分析対象の絞り込みの手順

のタグも利用してことにより、アメリカ国籍の投稿者の投稿を多く収集できていることが分かる。

## 3.2 分析対象の絞り込み

一般に、ある集団の話者が産出したテキストに必ずその集団に特徵的な表現が出現するとは限らない。この問題に対処するために、Harust ら [9] は、母語話者と第二言語話者という 2 つのラベルに加えて、「どちらとも言えない」という特殊ラベルを導入し、特徴的な表現が出現しないテキストを吸収させていた。この目的のために complementary-label learning という機械学習手法を応用していた。

Harust ら [9] はこの 3 值分類器に説明手法を直接適用していたが、本研究ではまず 3 值分類器を使って分析対象となるデータを絞り込んだうえで、改めて 2 值分類器を訓練する (図 3)。処理段階を段階的に行うことで、例えば次節で示すように、Reddit の特性を利用したデータの質の改善が容易になる。

## 3.3 投稿者同士の関係の利用

Reddit の SNS としての特性は、データの質の改善に貢献し得る。例えば、アメリカ人同士での交流が中心の投稿者は、他の国の人との交流が多いアメリカ人よりもアメリカニズムを表出する可能性が高い。そこで、投稿者が自分と異なる国籍の投稿者に対する返信の割合を手がかりとして利用する。具体的には、投稿者に対して国際性スコアを付与する。

投稿者の国際性スコア $=$

その投稿者が自身と異なる国籍の人に返信した数返信先のうち、タグによって国籍が分かっている数この国際性スコアは、絞り込み用の分類器に追加の特徵量として与える。

実験では、表 1 のアメリカと、アメリカ以外の国をまとめたその他の国の識別を行った。分類器としては BERT [13]を用い、各ラベル 900 万文ずつを

図 4 sampling and occlusion algorithm $の$ 実行例四角で囲われた部分がランダムに変更された文中の語を表す。

ここでは簡単のため 3 文に対する出力の平均としている。

使って訓練を行った。結果を表 A. 2 に示す。国際性スコアを付加することで、「どちらとも言えない」 に分類された割合が減った2)にも関わらず、正しく分類できた割合が増えている。したがって、国際性スコアは絞り込みの精度向上に貢献していると判断できる。

図 1 や表 A. 1 で示したアメリカニズムの具体例について、絞り达み前後での登場頻度の変化を表 A. 3 に示す。特に登場回数が数千程度の例については、絞り込みにより、アメリカラベルのテキストにより偏って出現するようになったことが確認できる。

## 4 分類器の説明手法を使った各表現 のアメリカらしさの評価

## 4.1 分類器の説明手法の利用

本研究で用いる分類器の説明手法は、分類器の出力に対して、入力テキストのどの部分が強く貢献したかを明らかにする。本研究では、絞り込み後のデータを用いて、アメリカとその他の国を識別する 2 値分類器を訓練している。したがって、分類器がアメリカラベルを予測した際、その予測に強く貢献した大力文中の表現が、アメリカらしい表現、すなわちアメリカニズムであるとみなせる。

テキストの分類器の説明手法は複数提案されているが、本研究では sampling and occlusion (SOC) algorithm [14]を利用する。ある表現を分析対象としたとき、原文中のその表現をパディングトークンで置き換えて再分類を行うと、もとの出力スコアからの差分をその表現の貢献と見なせる。ただし、このスコアの差分はその表現の前後の文脈によって変化する。SOC は、この文脈依存性を取り除くために、文脈中の語をランダムに変更した場合を考慮して、当該表現の評価値を求める (図 4)。実験では、1つ

の大力に対して 20 文のサンプリングを行った。

## 4.2 分析対象となる表現の取り出し

分類器の説明手法を利用するためには、分析対象となる表現を指定する必要がある。Harust らは入力文中ののすべての 5-gram までを分析の対象としていたが、これでは明らかに意味をなさない表現が対象に含まれる、長さが 6 以上の表現は分析の対象にできないなどの問題点がある。

そこで、本研究では文に対する句構造解析を適用し、その結果を用いて表現を取り出す。具体的には、句構造解析によって得られた構文木の各頂点について、その子孫となる単語列を一つの表現として利用する。Harust らの手法と比べて、明らかに意味をなさない表現が含まれない、長さが 6 以上のものも取り出せるなどの利点がある3)。

## 4.3 既知のアメリカニズムを用いた分析

アメリカニズムの抽出は探索的なタスクであり、定量的な評価自体が挑戦的な課題である。そのため、まずは簡易的な評価として、既知のアメリカニズムを含む文に対する提案手法の振る舞いを調査した。

説明手法を適用する 2 值分類器としては BERTを用い、アメリカとその他の国の各ラベル 900 万文を用いて訓練した。注目する表現に対して、そのアメリカラベルへの貢献度から他の国のラベルへの貢献度を引いたものを評価値として用いる。この評価値が正であればアメリカらしい表現、負であれば他の国らしい表現であると評価されたことになる。

結果を表 A. 4 に示す。上の 3 例は図 1 や表 A. 1 で見たアメリカニズムの例、一番下は他の国のラベルに含まれるイギリスに特徴的な表現の例である。実際の評価値はアメリカニズムの例に対して正、イギリスに特徴的な表現で負となっていることが確認できる。

## 4.4 抽出結果の人手評価

次に、提案手法が抽出した表現を人手で評価した。 3.2 節で説明したデータセットのうち 250 万文に対して、4.2 節で述べた手順で分析対象表現を列挙し、各表現に対して説明手法を適用して評価値を求めた。各表現の頻度を集計し、10 回以上出現す

3）例えば "I owe Uncle Sam a third of my paycheck in taxes." という文の場合、5-gram までで表現を取り出した際の候補は 45 個になるのに対し、句構造解析を用いると 19 個となる。
る表現を対象としたところ、約 127,800 個の表現を得た。このうち頻度上位 $1 \%$ から 100 個の表現をランダムに選んで人手で評価した。長い表現のうちどの部分を抽出すべきかは判断が難しいため、アメリカらしい表現が含まれていれば正解と判定した。なお、本論文の著者は全員が日本に住む日本語話者であるため、見逃したアメリカニズムがある可能性は否定できない。

調査の結果、100 個中 51 個がアメリカらしい表現であった。このうち、アメリカ国内の固有名詞が 2 個 (Buick や Grunhub)、アメリカ英語の綴り (イギリス英語の favour や honour に対する favor や honor など)を含む表現やアメリカ的な言い回し (home improvement store や、イギリス英語の grocery shop に対する grocery store) が 35 個であった。小切手の意味の check にはアメリカ英語であり、イギリス英語では cheque と綴るが、check という単語自体はイギリス英語でも用いられる。提案手法は writing a check という、check の語義が特定できる形の表現を抽出しており、ニューラルネットの高い文脈処理能力がうかがえる。 51 個のうち残り 14 個が、アメリカの文化や歴史を色濃く反映した、狭義のアメリカニズムと判断できるものであった (表 A.5)。この結果は、探索的用途において提案手法がアメリカニズムの効率的発見に利用可能であることを示唆する。

正解と判定しなかった 49 個のうち 7 個は college を含む表現だった。college とよばれる機関自体は英語圏に広く存在するが、Reddit 上ではアメリカの機関の存在感が大きく、他の国での用法を頻度上圧倒した可能性がある。

## 5 おわりに

本研究では、ある集団に特徴的なテキスト表現をテキストの分類器の説明手法を活用して抽出する手法を提案し、その具体な適用事例として、アメリカ人に特徴的な表現であるアメリカニズムを抽出した。分析対象をアメリカに特徴的な表現が含まれるものに絞り込むことで、アメリカニズムの出現頻度に大きな偏りが発生して分析がしやすくなることを示し、実際の説明手法の適用で良好な結果が得られることを確認した。また、提案手法を実行した結果、評価值が高かったものからアメリカニズムを発見することに成功した。今後は、別の対象研究への提案手法の適用などについても検討したい。

## 参考文献

[1] 井上優. 対照研究について考えておくべきこと. 一橋日本語教育研究, Vol. 3, pp. 1-12, 2015.

[2] 河正一. 社会言語学的調査の状況一言語行動に関する日韓対照研究を中心に一. 計量国語学, Vol. 31, No. 8, pp. 572-588, 2019.

[3] 佐々木倫子. 言語の対照研究と言語教育. 日本語科学, Vol. 3, pp. 127-134, 1998.

[4] Yavar Bathaee. The artificial intelligence black box and the failure of intent and causation. Harvard Journal of Law \& Technology, Vol. 31, No. 2, pp. 890-938, 2018.

[5] Riccardo Guidotti, Anna Monreale, Salvatore Ruggieri, Franco Turini, Fosca Giannotti, and Dino Pedreschi. A survey of methods for explaining black box models. ACM Comput. Surv., Vol. 51, No. 5, pp. 1-42, 2018.

[6] Venessa Buhrmester, David Münch, and Michael Arens. Analysis of explainers of black box deep neural networks for computer vision: A survey. Mahine Learning and knowledge extraction 2021, pp. 966-989, 2021.

[7] William T. R. Fox. The Super-Powers; The United States, Britain, and the Soviet Union- Their Responsibility for Peace. New York: Harcourt, Brace and Company., 1944.

[8] Ian Bremmer. These are the 5 reasons why the U.S. remains the world's only superpower, 2015. https://time.com/ 3899972/us-superpower-status-military/.

[9] Oleksandr Harust, Yugo Murawaki, and Sadao Kurohashi. Native-like expression identification by contrasting native and proficient second language speakers. In Proceedings of the 28th International Conference on Computational Linguistics, 2020.

[10] Ella Rabinovich, Yulia Tsvetkov, and Shuly Wintner. Native language cognate effects on second language lexical choice. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 329-342, 2018.

[11] W. James Murdoch, Peter J. Liu, and Bin Yu. Beyond word importance: Contextual decomposition to extract interactions from LSTMs. In International Conference on Learning Representations, 2018.

[12] Takashi Ishida, Gang Niu, Weihua Hu, and Masashi Sugiyama. Learning from complementary labels. In Advances in Neural Information Processing Systems, 2017.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 2019.

[14] Xisen Jin, Zhongyu Wei, Junyi Du, Xiangyang Xue, and Xiang Ren. Towards hierarchical importance attribution: Explaining compositional semantics for neural sequence models. In International Conference on Learning Representations, 2020 .

## A 参考情報

表 A. 1 アメリカニズムの例

 & 形勢が逆転する様 \\

表 A. 2 絞り込み分類器の学習結果

 &  \\

表 A. 3 データの絞り込みによる、データ中のアメリカニズムの登場回数の変化 (括弧内は残存率)

表 A. 4 Reddit 上の実際の投稿文に対する、説明手法の適用結果

表 A. 5 分類器の説明手法による評価値が高かった表現から発見されたアメリカニズム

 &  &  \\


# 深層学習モデルを用いた双方向形態屈折の検証

深津聡世＊原田宥都＊大関洋平
東京大学大学院 総合文化研究科言語情報科学専攻
\{akiyofukatsu, harada-yuto, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

人間が形態処理を行うにあたって必要な知識は,規則か類推か，あるいはその両方かという議論は，言語学の形態論において現在も続いている.この議論は「過去時制論争 (Past Tense Debate)」と呼ばれ，近年ではニューラルネットワークを用いた形態処理のモデル化による検証が行われている. 本研究では，その形態的な複雑さから過去時制論争において重要とされる日本語動詞の屈折について，類推のモデルである深層学習モデルを用いて，時制について双方向の形態屈折の学習を行った. どちらの時制方向の処理にモデルがより適するかを検証した結果，訓練データのサイズや性質が結果に大きく影響することが示唆された.

## 1 はじめに

人間が形態処理を行う際に用いられているのは,規則的な処理なのか，類推的な処理なのか，あるいはその両方を用いた処理なのかということについて, 言語学の形態論において長く議論されており, この議論は過去時制論争 (Past Tense Debate) と呼ばれる。その中でも重要な現象の一つとして, 日本語母語話者が実在語にある屈折パターンと同じように非実在語を屈折させることができない，というものがあり，これは多くの研究で観察されている $[1,2,3,4]$. もし形態屈折の処理が規則的なものであるならば，非実在語に対しても同じ屈折パターンを適用できるはずであるということから，この現象は，形態処理が類推的であることの一つの証左として言及されてきた。これに対して Oseki ら [5]では，現在形から過去形の方向へ規則が派生する，ということがそもそも自明ではなく, 日本語においては過去形から現在形への方向で規則が派生しているのではないかとの仮説を，自身の獲得研究での観察をもとに提案した. その仮説に基づき，規則べースのモ * 共同第一著者.
デルを用いて，非実在語の屈折を双方向（現在一過去，過去 $\rightarrow$ 現在）に検証したところ，規則べースのモデルは過去形から現在形への方向により適していることが様々な評価尺度から示された.この結果は, 日本語動詞の屈折処理は, 過去形から現在形への方向においては規則的である，ということを示唆する.

そこで本研究では，類推に基づくモデルである深層学習モデルを用いて，日本語動詞の屈折を双方向 （現在 $\rightarrow$ 過去，過去 $\rightarrow$ 現在）に学習させた. 複数の実験設定を用意することで，類推べースの深層学習モデルがどちらの時制方向の処理により適しているのかを複数の実験設定で検証した。

## 2 先行研究

過去時制論争は, Rumelhart ら [6] が類推ベースのモデルを提案し, 彼らのモデルに対し Pinker ら [7] が問題点を指摘したことで始まった. 最近では，Kirov ら [8] が当時最先端のモデルであったアテンション付きリカレントニューラルネットワーク （RNN）を形態屈折課題に応用したことで議論が再燃している $[9,10]$.

一方で，日本語研究においては，母語話者は規則を用いないとする立場が一般的である。表 1 は，動詞の屈折パラダイムを示したものである．現在形の語幹末音には 11 個の子音と母音が存在し，それぞれが異なる屈折パターンをもつ. 先行研究では，日本語母語話者がこの屈折パターンに則って動詞を屈折できないことが報告されている $[1,2,3,4]$.

しかしながら，これらの先行研究では，英語と同様に日本語動詞が現在形から過去形へ屈折することが前提とされており，これは再検討が必要な点である. Oseki ら [5] は，言語獲得の観察から過去形が屈折の基底形であると仮定し，規則ベースのモデル $[12,13]$ を用いて非実在語を用いる形態屈折課題である wug テスト [14]を双方向（現在形一過去形と過去 $\rightarrow$ 現在）で行った. 実験の結果，人間の正答率は
表 1 日本語における動詞の屈折パラダイム. 形態素境界は [11]による分析に基づく.

現在 $\rightarrow$ 過去方向よりも過去 $\rightarrow$ 現在方向の方が高く, また，モデルと人間の相関も過去 $\rightarrow$ 現在方向の方が高かった. さらに，現在 $\rightarrow$ 過去よりも過去 $\rightarrow$ 現在方向の方がモデルの複雑性の評価がより単純であることもわかった。このことから, Oseki ら [5] は過去 $\rightarrow$現在方向では規則による処理，現在 $\rightarrow$ 過去方向では類推による処理が行われている可能性があると考察している。その場合，類推べースのモデルである深層学習モデルの精度は過去 $\rightarrow$ 現在方向より現在 $\rightarrow$ 過去方向の方がより高くなると予測される.

## 3 方法

## 3.1 深層学習モデル

過去時制論争において，ニューラルネットワークは類推的な処理を行うモデルとして位置付けられるが，近年の形態屈折を扱う深層学習モデルには複数のアーキテクチャが存在する．複数のモデルで実験を行うことで，モデルの種類がどのように結果に影響を及ぼすかを確認するために，本研究では，形態屈折を扱うモデルとしてよく用いられる以下の 2 種類で実験を行った。

アテンション付き RNN 形態屈折は, 機械翻訳と同様に系列変換課題として扱うことができるため，機械翻訳の分野で登場したアテンション付き RNN[15] はそのまま Kann ら [16] によって形態屈折に応用されている. その後 Kirov ら [8] によって英語における動詞の形態屈折に応用され，この文献が過去時制論争の再燃のきっかけとなった. 本研究で
は Kirov ら [8] のアテンション付きRNN を再実装し，日本語動詞の屈折のために用いている.

Transformer 形態論の研究において，これまでアテンション付きRNNを用いるのが主流となっていたが，近年になり Transformer[17] を用いた研究が行われている $[18,19]$. これらの研究では，モデルの縮小化やハイパーパラメータの設定など，文処理よりもデータ数の少ない形態処理を Transformer で扱うための提案が行われており，これらの工夫によって Transformer でもアテンション付き RNN の性能を超えることができるようになった．本研究では， Wu ら [18] の実装を用いて実験を行っている. これは 4 層のエンコーダ-デコーダ層と 4 つのセルフアテンションヘッドからなる，小さいモデルサイズの Transformer である.

## 3.2 データセットの作成

本研究では，実在語のデータセットと非実在語のデータセット（wug）の２種類を用意した. 実在語のデータセットについては 2 つのコーパスから動詞を抽出し，それらの動詞を 2 種類の文字表記に変換したものを実験に用いた.この節では，動詞の抽出方法とそれらの文字表記の変換方法について述べる.

## 3.2.1 動詞の抽出

本研究では，2 種類のコーパス (京都大学テキストコーパス，IPA 辞書）から抽出した動詞をもとに現在形と過去形のペアを作成した。これらのコーパスから抽出された動詞を合わせ重複を除いた結果， 5,502 個の現在形と過去形のペアが得られた. また，実在語で訓練したモデルのテストデータとして，非実在語（wug）のデータセットも用意した。これにより，規則ベースのモデルで実験を行った Oseki ら [5]との結果の比較が可能になる.

以下に各データセットの概要を示す.

京都大学テキストコーパス京都大学テキストコーパス [20] は，1995 年に出版された毎日新聞と社説，それぞれ 2 万文に対して，形態素解析システム JUMAN，構文解析システム KNPで自動解析を行い，人手で修正が加えらたものである。このコーパスからは約 1,300 個の動詞が得られた。

IPA 辞書 IPA 辞書は，情報処理振興事業協会 （IPA）で設定された IPA 品詞体系（THiMCO97）に基づいて作成された日本語の形態素解析用辞書であ

る [21]. 動詞を抽出した結果，約 5,300 個の動詞が得られた。

wug 動詞 wug テストには, Oseki ら [5] で作成された 64 個の wug 動詞を用いた.これらの動詞の 「語根」は，Suski[22]の動詞コーパスから抽出した動詞 1,269 個から CV 音節を抽出し, 無作為に $2 \supset$ の CV 音節を繋げることで，基底形となる現在形と過去形がそれぞれ 32 個作成されている. ただし, $\mathrm{n}$ で終わる語根を持つ実在動詞は「死ぬ (shin-u)」のみであることから，語根が $\mathrm{n}$ で終わる現在形 2 個はデータセットから除いた。

## 3.2.2 文字表記

本研究では，動詞を 2 種類の文字表記に変換し実験を行った. 1 つは，アルファベットに変換したものであり (以下, latin), この変換には, Pykakasi1 ${ }^{11}$ を用いた。もう 1 つは，アルファベット表記をさらに国際音声記号に変換したものであり（以下，IPA）, この変換には phonemizer (espeak)2)を用いた。

## 3.3 実験設定

実在語のみを用いた条件では，訓練データとテストデータを 8:2 の割合で分割した. さらに，実在語で訓練したモデルを用いて，wugテストを行った.正解の判定は, 実在語によるテストの場合は実在語と一致する屈折形を正解とし, 非実在語を用いた wug テストの場合は，実在語から予測される可能な屈折形をすべて正解とした（例えば，wug 動詞 kuhan-da に対する正解は kuham-u または kuhab-u).正答率は, 5 回の試行の平均を算出した. 各モデルのハイパーパラメータの設定を以下に示す.

アテンション付き RNN アテンション付き RNN のハイパーパラメータについては, Kirov ら [8]の実験設定を参照し, 設定を合わせている. 学習時の最適化アルゴリズムには AdaDeltaを用い, 単語の埋め込み次元数は $300 ， L S T M$ のサイズは 100 に設定した. バッチサイズは 20 で実験を行った.

Transformer Transformer のハイパーパラメータは $\mathrm{Wu}$ ら [18] の実験を踏襲し, 埋め込み次元数は 256 に設定し, 学習時の最適化アルゴリズムには Adam を用いた. ただし, バッチサイズは本研究と同等のデータ数での検証を行った Ma ら [19] の実験を参照し， 32 に設定した。

1) https://codeberg.org/miurahr/pykakasi

2) https://github.com/bootphon/phonemizer?ref=morioh. com\&utm_source=morioh.com

## 4 結果

本研究では，2 種類のモデル，2 種類の表記，2 種類のテストデータセットを用いて，双方向（現在 $\rightarrow$過去，過去 $\rightarrow$ 現在）形態屈折の検証を行った.

はじめに，実在語のみを用いた検証の結果を以下に示す.

表 2 実在語を用いた双方向形態屈折課題の結果

 &  \\

実在語のみで検証を行ったところ，4 条件中 3 条件で過去 $\rightarrow$ 現在方向の方が正答率が高い結果となった. 現在 $\rightarrow$ 過去方向でより正答率が高かったのは IPA 条件の Transformerのみだった. モデル間で正答率に差があり，実在語条件では，すべての条件においてアテンション付き RNN の方が正答率が高かった.

次に，実在語で訓練したモデルを用いてwug テストを行った. 表 3 はその結果である. 末行には Oseki ら [5] の研究で報告された人間の正答率を提示している.

表 3 双方向 wug テストの結果

 \\

アテンション付き RNN & IPA & 81.16 & $\mathbf{9 4 . 4 4}$ \\

Transformer & IPA & $\mathbf{9 2 . 4 4}$ & 92.27 \\

wug テストを行った結果, 4 条件中 2 条件で現在 $\rightarrow$ 過去の方が正答率が高かった. 過去 $\rightarrow$ 現在方向より現在 $\rightarrow$ 過去方向の方が正答率が高かったのは Transformer だった. モデル間でも正答率の差があり，IPA 表記で過去 $\rightarrow$ 現在方向に訓練・テストした条件を除いてすべての条件で Transformer のほうがアテンション付き RNNより正答率が高かった.

実験の結果，8 条件中 5 条件において現在 $\rightarrow$ 過去方向の方が過去 $\rightarrow$ 現在方向よりも正答率が高くなることがわかり，仮説は支持されなかった. アテンション付きRNNを用いて，様々なデータセットの
条件を設定し検証を行った深津ら [23] の研究では， データセットのサイズに比例して正答率が高くなる結果が得られたことから，モデルの結果が訓練デー タの影響を受けていることが示唆された. そこで，追加の検証として，すべての条件において現在 $\rightarrow$ 過去方向よりも過去 $\rightarrow$ 現在方向においてより正答率が高かったアテンション付きRNNを対象に, kyodai データのみ，ipadic のみのデータセットを作成しモデリングを行った（表 4 ）.

表 4 より小さなデータセットで訓練されたモデルによる双方向 wug テストの結果

 &  \\

kyodai のみ & IPA & $\mathbf{8 6 . 0 0}$ & 80.00 \\

ipadic のみ & IPA & 92.66 & $\mathbf{9 4 . 3 8}$ \\

追加検証を行った結果， 4 条件中 3 条件において，過去 $\rightarrow$ 現在方向よりも現在 $\rightarrow$ 過去方向でモデルの正答率がより高くなることがわかった。

## 5 考察

## 5.1 データサイズによる影響

本研究では， 8 条件中 5 条件で現在 $\rightarrow$ 過去方向より過去 $\rightarrow$ 現在方向の方が正答率が高い結果が得られた. このことから, 現在一過去方向の形態屈折がより類推ベースのモデルに適しているという仮説は支持されなかった.

しかしながら，より小さなデータサイズでモデリングを行った追加の検証では, 4 条件中 3 条件で現在 $\rightarrow$ 過去方向の方が過去 $\rightarrow$ 現在方向よりも高い正答率となった. 本研究では，5,502 個の動詞を用いて検証を行ったものの, 子どもが形態屈折の獲得時に聞くと思われる動詞の数はもっと少ない. 例えば，英語の動詞屈折を規則ベースのモデルを用いて検証した Yang[24] の研究では, 子どもの自然発話コーパスである CHILDES[25] から動詞の抽出した 1,042 個の動詞を用いている。そのため，限られたデータで学習する場合には, 現在から過去の方向に学習するほうが類推的処理を行うのにより適している可能性がある.

## 5.2 データの質による影響

より小さなデータサイズでモデリングを行なった追加の検証において，正答率は， kyodai $(\mathrm{n}=1,300)>$ ipadic-kyodai $(\mathrm{n}=5,502)>$ ipadic $(\mathrm{n}=5,300)$ の順に高くなっており, kyodai を含むデータセットの方が含まないものより, 正答率が高い. このことから，デー タサイズだけではなくデータの質も学習に影響を与えていることが示唆された。

例えば，モデルの正答率に影響を与えた要因として，訓練データに含まれる語彙の違いが挙げられる. kyodai は毎日新聞のデータに基づく京大テキストコーパスから抽出したものであり，より日常的な語彙で構成される. 一方, ipadic は形態素解析辞書から抽出したものであり, 中には複合語（例：「明か乙暮らす」）や古語（例：「掻き暗す」），あまり使われない語彙 (例:「こんがらがる」の類語である「こんぐらがる」）などが含まれる。このように，ipadic に比べ kyodai にはより日常的に用いられる基本的な動詞が含まれていることもモデルの正答率に影響を与えたと考えられる。

これらを踏まえて, 今後の研究では, CHILDES コーパスなどをもとに，より基本的な動詞を含すサイズの小さいデータセットを作成し検証を行うことが必要である.

## 6 おわりに

本研究では，過去 $\rightarrow$ 現在方向よりも現在 $\rightarrow$ 過去方向での処理が類推べースのモデルにより適していると予想し実験を行ったものの，その予想を完全に支持する結果は得られなかった. 一方で，サイズの異なるデータを用いて行った追加実験では仮説が支持される結果となった. このことから, 訓練データのサイズや，含まれる語彙の種類は仮説検証に大きく影響する要素であると考えられる，今後は，言語獲得研究における知見を活かしながら，実験設定やデータセットの内容をより細かく統制することで，実際に人間が形態処理を行う際の条件に近いモデリングを目指す.

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受けたものです。また，Transformerを用いた実験を行うにあたり, 東京大学大学院の吉田遼氏にご協力いただきました. 感謝申し上げます.

## 参考文献

[1] Timothy J Vance. An introduction to Japanese phonology. State University of New York Press, Albany, NY, 1987.

[2] Timothy J Vance. A new experimental study of Japanese verb morphology. Journal of Japanese Linguistics, Vol. 13, pp. 145-166, 1991.

[3] Terry Klafehn. Properties of Japanese Verbal Inflection. PhD thesis, University of Howai'i, August 2003.

[4] Terry Klafehn. Myth of the wug test: Japanese speakers can't pass it and English speaking children can't pass it either. Proceedings of the 37th Annual Meeting of the Berkeley Linguistics Society, pp. 170-184, 2013.

[5] Yohei Oseki, Yasutada Sudo, Hiromu Sakai, and Alec Marantz. Inverting and modeling morphological inflection. Proceedings of the 16th Workshop on Computational Research in Phonetics, Phonology, and Morphology, pp. 170-177, August 2019.

[6] David E. Rumelhart and James L. McClelland. On learning the past tenses of English verbs. In David E. Rumelhart, James L. McClelland, and CORPORATE PDP Research Group, editors, Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Vol. 2: Psychological and Biological Models, Vol. 2, chapter On Learning the Past Tenses of English Verbs, pp. 216-271. MIT Press, 1986.

[7] S Pinker and A Prince. On language and connectionism: analysis of a parallel distributed processing model of language acquisition. Cognition, Vol. 28, No. 1-2, pp. 73-193, Mar 1988.

[8] Christo Kirov and Ryan Cotterell. Recurrent neural networks in linguistic theory: Revisiting Pinker and Prince (1988) and the past tense debate. Transactions of the Association for Computational Linguistics, pp. 651$665,2018$.

[9] Maria Corkery, Yevgen Matusevych, and Sharon Goldwater. Are we there yet? Encoder-decoder neural networks as cognitive models of English past tense inflection. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3868-3877, July 2019.

[10] Kate McCurdy, Sharon Goldwater, and Adam Lopez. Inflecting when there's no majority: Limitations of EncoderDecoder neural networks as cognitive models for German plurals. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1745-1756, July 2020.

[11] Bernard Bloch. Studies in colloquial Japanese I inflection. Journal of the American Oriental Society, Vol. 66, No. 2, pp. 97-109, April-June 1946.

[12] Adam Albright and Bruce Hayes. Modeling English past tense intuitions with Minimal Generalization. Morphological and Phonological Learning: Proceedings of the 6th Workshop of the ACL Special Interest Group in Computational Phonology (SIGMORPHON), pp. 58-69, July 2002.

[13] Adam Albright and Bruce Hayes. Rules vs. analogy in
English past tenses: a computational/experimental study. Cognition, Vol. 90, No. 2, pp. 119-61, Dec 2003.

[14] Jean Berko. The child's learning of English morphology. Word, Vol. 14, No. 2-3, pp. 150-177, August 1958.

[15] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473, 2014.

[16] Katharina Kann and Hinrich Shültze. Single-model Encoder-Decoder with explicit morphological representation for reinflection. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 555-560, August 2016.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[18] Shijie Wu, Ryan Cotterell, and Mans Hulden. Applying the transformer to character-level transduction, 2020.

[19] Xiaomeng Ma and Lingyu Gao. How do we get there? evaluating transformer neural networks as cognitive models for english past tense inflection. In Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1101-1114, Online only, 2022. Association for Computational Linguistics.

[20] Sadao Kurohashi and Makoto Nagao. Treebanks: Building and Using Parsd Corpora, Vol. 14, chapter Building a Japanese parsed corpus while improving the parsing system, pp. 249-260. Kluwer Academic Publishers, 2003

[21] 浅原正幸, 松本裕治. ipadic version 2.7.0 ユーザー ズマニュアル, 2003. http://manual. freeshell.org/ chasen/ipadic-ja.pdf.

[22] Peter M. Suski. Conjugation of Japanese Verbs in the Modern Spoken Language. P. D. and Ione Perkins, 1942.

[23] 深津聡世, 原田宥都, 関澤瞭, 田村鴻希, 大関洋平. 深層学習モデルによる日本語動詞の双方向形態屈折の検証. 日本言語学会第 165 回大会予稿集, pp. 193-199, 2022.

[24] Charles Yang. The Price of Productivity. MIT Press, 2016.

[25] Brian MacWhinney. The CHILDES project: Tools for analyzing talk. Erlbaum, New Jersey, 1991.


# 情報ボトルネック法を用いた視線・脳情報デコード手法の提案

原田宥都 大関洋平
東京大学大学院 総合文化研究科言語情報科学専攻
\{harada-yuto, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

人間がテキストを読む際の視線や脳活動の記録は，これまで主に人間の認知機能の理解のために用いられてきたが，近年ではこのような人間の認知データが自然言語処理タスクにおいても有益であることが分かってきた．しかし，認知データは特定の言語処理タスクにとって多くの無関係な情報を含むため，効率的に用いるのが難しく，また，なぜタスクの改善に寄与するのかについてもほとんど議論がなされていない. 本稿では, 視線や脳情報から特定のタスクに有益な情報のみを取り出す認知情報ボトルネック法を提案し，その性能を検証する。

## 1 はじめに

眼球運動や脳活動の記録は，人間の持つ言語能力がどのように機能するのかを理解する上で，重要な役割を担ってきた $[1,2]$. 近年の研究では，アイトラッキングデータや EEG により記録された脳波を用いて自然言語処理タスクを改善することができると報告されており [3]. この効果は固有表現認識や関係抽出，センチメント分析など，複数のタスクにおいて一貫して確認されている。これらの結果から, 視線や脳波などの情報が統語的情報, 語彙的情報，あるいは言語処理の際の認知負荷など様々な情報を含んでおり，それらが自然言語処理タスクにおいて有益な特徴となっていることが予想される. しかしながら，それぞれの認知データは言語処理の全ての過程を反映した情報であり，特定のタスクにとって無関係な情報を含んでいる. 特に脳波は一般的に高次元なデータであり, 特定のタスクでどの脳領域の情報が有用か，あるいはどの周波数帯域の脳波が有用か，などを事前に知ることは困難である.

そこで，本研究では，認知データから特定のタスクにとって有益な情報のみを取り出すための手法として，認知情報ボトルネック法を提案する. 具体的には，一般的な情報ボトルネック法 [4]を継承し，
それを同時に記録された視線と脳波に適用することで，マルチモーダル設定での学習に用いることのできる単一の埋め込み表現へ変換する．情報ボトルネック法の目的関数はタスクの精度を最大化しつつ入力情報をなるべく圧縮するものであり，視線や脳波の持つ様々な情報からタスクにとって必要な情報のみを取り出すことができる．またその際には次元数を削減することができるため, 次元数に大きく差のある視線と脳波を同時に学習に用いることが容易になる.

実験では，提案手法を用いて圧縮した認知データを用いることで，圧縮を行わなかった認知データを用いた時よりもタスクの精度が改善されることを検証した. その結果，圧縮した認知データは，行わなかったものやその他の単純な圧縮手法に比べて精度を改善することが分かった。

## 2 関連研究

## 2.1 人間の認知データを用いた言語情報の デコーディング

視線や脳波などの人間の認知データには，言語処理の過程など豊富な情報がエンコードされることが知られている。例えば，自然言語処理分野における脳情報デコーディングの研究には, 脳情報のみから発話内容を推定するスピーチデコーディング [5] や,脳情報から認識している単語の品詞を推定するもの [6] , 脳情報から読んでいる物語文の内容について推定するもの [7] など，様々な研究が存在する。 近年では自然言語処理タスクの改善を目的とした脳情報デコーディングも行われており，特に Hollenstein ら [8] は視線と脳波を同時に記録したデータセット [9]を作成し, マルチモーダル設定での実験を行っている. 彼らの実験では，周波数帯域を絞って脳波の一部を用いることで，脳波をそのまま用いるよりも精度が向上することが報告されている. タスクに対する認知データのノイズを除去するための手法は現在も検討されている途中であり，標準的な手法は

いまだ定まっていない.

## 2.2 情報ボトルネック法

情報ボトルネック法（Information Bottleneck, IB） [4] とは，情報理論の分野に起源を持つ手法であり，近年では機械学習において利用されている. ある信号 $x \in X$ から別の信号 $y \in Y$ を予測する際に, 予測に無関係である冗長な情報を取り除いた $X$ の圧縮表現 $T$ を見つけることが目的であり，次のように記述できる.

$
\mathscr{L}_{I B}=\beta I(X, T)-I(T, Y)
$

これは，相互情報量 $I(X, T)$ をなるべく最小化しながら $I(Y, T)$ を最大化すること, つまり, 圧縮表現 $T$ が $X$ についての情報を最大限破棄しつつも， $T$ が $Y$ を予測するために必要な情報は最大限保持するということを意味している。

実際に機械学習で用いる際は, [10] において (1) の効率的な変分推定が提案されており，以下のように導出された目的関数を用いる..

$\mathscr{L}_{V I B}=\beta \underset{x}{\mathbb{E}}\left[\operatorname{KL}\left[p_{\theta}(t \mid x), r(t)\right]\right]+\underset{t \sim p_{\theta}(t \mid x)}{\mathbb{E}}\left[-\log q_{\phi}(y \mid t)\right]$

ここで $r(t)$ は $p(t)$ の変分近似、 $q_{\phi}(y \mid t)$ は $p(y \mid t)$ の変分近似である。 $p_{\theta}(t \mid x)$ と $q_{\phi}(y \mid t)$ は独自のパラメータセットを持つニューラルネット，つまりエンコーダとデコーダであることを意味している.

## 3 実験

## 3.1 認知情報ボトルネック法

本研究で用いるモデルの概要図を図 1 に示す. 実験では固有表現認識タスクを行う。

## 3.1.1 入力特徵

視線特徵視線特徴は固視回数, 第一固視時間,総読み時間，注視時間，視線通過時間の 5 つからなる. 1 単語あたり 5 つの数値を用いた 5 次元のべクトルとして扱った. 視線情報を用いて固有認識表現の精度を改善した先行研究 [11] ではより細かく特徴を整理し，1 単語あたり全 17 の特徵から視線特徴を構成しているため, 本実験の視線特徴はより基礎的な構成であり，そのままの値ではタスクに有益にはなりづらいと予想される。

脳波特徵本実験では，105 個の電極から記録された EEGデータを脳波特徴として用いた. 視線特徵との対応を取るため, 脳波特徴は総読み時間に対応する数値を取り出している。また，周波数帯域ごとにそれぞれ $\theta(4-8 \mathrm{~Hz}), \alpha(8.5-13 \mathrm{~Hz}), \beta(13.5-30$ $\mathrm{Hz}), \gamma(30.5-49.5 \mathrm{~Hz})$ とデータを 4 つに分割している. そのため, 1 単語あたり 420 次元のベクトルとして脳波特徴を扱っている。

単語の埋め込み表現視線特徵, 脳波特徵と共に，言語モデルによる単語の埋め込み表現を用いる. 視線情報を用いて固有認識表現の精度を改善した先行研究 [11] では Glove[12] を用いているため,比較のために本実験では Glove を用いて実装した. そのため, 1 単語あたり 100 次元のベクトルとして単語の埋め込み表現を扱っている。

ノイズと認知データの比較認知データを入力特徵として用いた際にタスク精度が改善された場合, それが本当に認知データの影響であるかどうかを確認するために，同じ次元数のノイズベクトルを用いて比較実験を行う. 視線特徵に対しては 5 次元の,脳波特徴に対しては 420 次元のランダムノイズを用意する.

## 3.1.2 モデル内部のアーキテクチャ

情報ボトルネック法による圧縮認知データである視線特徵と脳波特徵については，情報ボトルネック法を用いた圧縮を行う，最適化は固有表現認識のデコーダの出力精度を改善するように行われる．視線特徴については 5 次元から 3 次元へ圧縮し, 脳波特徵については 420 次元から 50 次元へ圧縮する. これにより，情報ボトルネック法で圧縮された表現は固有表現認識のために必要な情報は残しつつ，それ以外の冗長な情報を捨てるように学習する。また，情報ボトルネック法を用いた結果と比較するために，単純な主成分分析を用いた次元削減も行う.

BiLSTM-CRF デコーダ視線特徴, 脳波特徴, 単語の埋め込み表現は結合し，1つの入力特徵として扱う.モデルの後段では，視線情報を用いて固有認識表現の精度を改善した先行研究 [11] との比較を行うために，同様のモデルである BiLSTM-CRF[13]を用いている.

## 3.2 データセット

本実験では，データセットとして Zurich Cognitive Language Processing Corpus (以下 ZuCo)[9]を用いた. このコーパスはアイトラッキングと EEG の記録を同時に行ったデータセットであり, 12 人の被験者に

図 1 提案手法の概要

よって読まれた約 1100 文を含む. 先行研究 [11] に合わせてこのうち 700 文を使用した. 固有表現のラベリングデータも提供されており，これは PERSON, ORGANIZATION, LOCATION の 3 種類のラベルによってタグづけされている.

## 3.3 実験設定

BiLSTM-CRF のハイパーパラメータとして，バッチサイズを 32 ，隠れユニットの数を 100 ，学習率を 0.007 とした. また情報ボトルネックエンコーダについて, 圧縮比率 $\beta$ を 0.0001 , 学習率を 0.007 とした. 圧縮次元数は視線特徵で 3 次元, 脳波特徴で 50 次元へ圧縮した. データセットは 8:1:1 に分割し, それぞれ訓練データ，開発データ，テストデータとして用いた. 実験は 3 種類のシード値を用いていて, 結果は全て 3 回平均の値である. 評価指標には適合率，再現率，調和平均を用いる。

## 3.4 実験結果

視線特徵を用いた実験の結果を表 1 に示す. Glove に視線特徴を追加したときと, 同じ次元数のノイズを追加したときでは，ほとんどスコアに差がなかった. このことから, 5 次元の視線特徴を Glove ベクトルに追加するだけでは, タスクの精度を改善するのに十分でないと考えられる. それに対して，情報ボトルネック法により圧縮した視線特徵を用いた場合 $(\mathrm{IB}(\mathrm{Gaze}))$ は, 次元数は 5 から 3 へやや減っ

表 1 視線特徴を用いた固有表現認識の結果

ているにも関わらず，精度がやや向上している. 改善幅は僅かであるが，情報ボトルネック法によりデータが正則化された可能性がある. 主成分分析により压縮した視線特徴を用いた場合 (PCA(Gaze)) では, Gloveのみの結果より僅かに改善された。

また, 先行研究 [11] と比較すると, 全体的に精度がやや劣る. 先行研究では単語の埋め込み表現として Glove のみではなく文字レベル RNNを用いているので，このことが影響していると考えられる.また, 先行研究では視線特徴を追加した際に精度が改善されているが，ここで先行研究では本研究とは異なり視線特徴をより細かい 17 次元の特徴で扱っていることに注意されたい. 17 次元の視線特徴による改善幅は, 本研究における 5 次元の視線特徴による改善幅とあまり差がなく，認知データからの人手による特徴の抽出は容易ではないことが示唆さ

れる。

表 2 脳波特徴を用いた固有表現認識の結果

次に，脳波特徴を用いた実験の結果を表 2 に示す.この実験では, 脳波特徴とノイズの次元数が共に 420 次元であり, Glove ベクトルの 100 次元と比べても大きい. 次元数の大きいノイズを含む入力特徴に大きく影響を受けたためか， Glove + EEG, Glove + Noise の設定ではどちらも精度が大きく下がっている. 420 次元の脳波特徴 (EEG) を扱うにはモデルのサイズが十分でなかったと考えられる. しかし，こちらの実験設定においても情報ボトルネック法を用いて脳は特徴を圧縮した結果が一番精度が高くなった. また, 視線特徴を用いた際の結果と比べても改善幅はより大きかった. 主成分分析による圧縮と比べても精度が高く, 情報ボトルネック法を用いたモデルの方が，ノイズの多い脳波の特徴からタスクに有用な情報を取り出すのに適しているのではないかと考えられる。

表 3 視線特徴と脳波特徴の両方を用いた固有表現認識の結果

最後に，視線特徴と脳波特徴の両方を用いた実験の結果を表 3 に示す. この実験では, 脳波特徴のみを用いた時の結果と同様に，次元数の大きいノイズを含む入力特徴に大きく影響を受けたためか, Glove + Gaze + EEG, Glove + Noise の設定ではどちらも大きく精度が下がっている。また，情報ボトルネック法によって視線特徴と脳波特徴の両方を圧縮している Glove + IB(Gaze) + IB(EEG) の設定では， Glove + IB(EEG) よりもやや精度が低くなった. 用いている特徵としては後者の方が少ないので，情報ボトルネック法を用いた学習はあまり精度が安定していない可能性がある.

## 3.5 考察

実験全体を通して言えることとして，今回用いたモデルでは，入力特徵を全て単純に結合しているだけであるため，特徴の次元数の差が大きく影響してしまうということが挙げられる. モデルアーキテクチャの改善方法として，認知データを用いたマルチモーダル設定での学習であると捉え，それぞれの入力特徴の重要性を次元数に左右されない形で扱うことが望ましいかもしれない。また，認知データをそのまま用いても精度が改善されるとは限らないということも分かった. それと同時に，情報ボトルネック法による圧縮や，単純な主成分分析など，必要に応じた次元削減はこのような認知データを扱う際には重要な要素であった. 今回の情報ボトルネック法のハイパーパラメータ設定については，より詳しく探索することで，さらに性能を向上させることができるかもしれない.

今後は, Glove ベクトルよりもより高性能な BERT[14] 等の単語埋め込み表現を用いた際にも，今回のような認知データによる改善が見られるのか，といったことや，BiLSTM-CRF デコーダをさらに最先端の固有表現認識デコーダに変更した場合にどのような影響があるのか，といった，実験設定による結果への影響を調べる必要がある。それに加えて，情報ボトルネック法によって認知データから取り出された情報はどのような内容であるのかを分析によって調べることで，なぜ認知データが自然言語処理タスクの改善に寄与することがあるのかを調べていく.

## 4 結論

本稿では，視線情報や脳活動情報といった人間の認知データを，自然言語処理タスクの改善により効率的に用いるための手法である認知情報ボトルネック法を提案した. 視線特徴や脳波特徴と単語埋め込み表現を単一の入力特徴として扱えるように変換し，認知データのノイズを除きつつ次元数を調整することができる本手法は，実験の結果，人間の認知データを用いて固有表現認識タスクの精度を改善することに成功した. 今後はより詳細な実験設定を検証しつつ，圧縮された認知データの内容を分析することで，人間の認知データがどのようにして言語処理タスクの改善に役立つのかを調べていく.

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受けたものです。

## 参考文献

[1] Brian Murphy, Leila Wehbe, and Alona Fyshe. Decoding language from the brain. Language, cognition, and computational models, pp. 53-80, 2018.

[2] Shouyu Ling, Andy CH Lee, Blair C Armstrong, and Adrian Nestor. How are visual words represented? insights from eeg-based visual word decoding, feature derivation and image reconstruction. Human brain mapping, Vol. 40, No. 17, pp. 5056-5068, 2019.

[3] Nora Hollenstein, Maria Barrett, Marius Troendle, Francesco Bigiolli, Nicolas Langer, and Ce Zhang. Advancing nlp with cognitive language processing signals. arXiv preprint arXiv:1904.02682, 2019.

[4] Naftali Tishby, Fernando C Pereira, and William Bialek. The information bottleneck method. arXiv preprint physics/0004057, 2000.

[5] David A Moses, Sean L Metzger, Jessie R Liu, Gopala K Anumanchipalli, Joseph G Makin, Pengfei F Sun, Josh Chartier, Maximilian E Dougherty, Patricia M Liu, Gary M Abrams, et al. Neuroprosthesis for decoding speech in a paralyzed person with anarthria. New England Journal of Medicine, Vol. 385, No. 3, pp. 217-227, 2021.

[6] Alex Murphy, Bernd Bohnet, Ryan McDonald, and Uta Noppeney. Decoding part-of-speech from human eeg signals. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2201-2210, 2022.

[7] Leila Wehbe, Brian Murphy, Partha Talukdar, Alona Fyshe, Aaditya Ramdas, and Tom Mitchell. Simultaneously uncovering the patterns of brain regions involved in different story reading subprocesses. PloS one, Vol. 9, No. 11, p. e112575, 2014.

[8] Nora Hollenstein, Cedric Renggli, Benjamin Glaus, Maria Barrett, Marius Troendle, Nicolas Langer, and Ce Zhang. Decoding eeg brain activity for multi-modal natural language processing. Frontiers in Human Neuroscience, p. 378, 2021 .

[9] Nora Hollenstein, Jonathan Rotsztejn, Marius Troendle, Andreas Pedroni, Ce Zhang, and Nicolas Langer. Zuco, a simultaneous eeg and eye-tracking resource for natural sentence reading. Scientific data, Vol. 5, No. 1, pp. 1-13, 2018.

[10] Alex Alemi, Ian Fischer, Josh Dillon, and Kevin Murphy. Deep variational information bottleneck. In Proceedings of the International Conference on Learning Representations, 2016.

[11] Nora Hollenstein and Ce Zhang. Entity recognition at first sight: Improving ner with eye movement information. arXiv preprint arXiv:1902.10068, 2019.

[12] Jeffrey Pennington, Richard Socher, and Christopher D Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), pp. 1532-1543, 2014.

[13] Meizhi Ju, Makoto Miwa, and Sophia Ananiadou. A neural layered model for nested named entity recognition. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1446-1459. Association for Computational Linguistics, 2018.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, June 2019.


# 百聞は一見に如かず？視覚情報は言語モデルに文の階層構造を教示するか

栗林 樹生
東北大学 Langsmith 株式会社
kuribayashi@tohoku.ac.jp

## 概要

巨大言語モデルの進展が著しい反面，人間の言語獲得と対照すると言語モデルのデータ効率の悪さが強調される. 本研究では，なぜ人間の言語獲得が効率的なのかという問いを，人間と言語モデルの言語獲得シナリオのどのような差異を埋めると両者の乘離が縮むかという問いに読み替え，特に人間のみが言語獲得時に活用し得る視覚情報の寄与を調査する. 少なくとも本実験の範囲では，言語的な事前知識のない学習者（ニューラルモデル）がリアルな画像・文対から言語の適切な汎化規則を支持する手がかりを見出すことは容易でなく，単なる視覚情報の有無のみでは，人間と言語モデルの言語獲得効率の差異を説明できないことが示唆された。

## 1 はじめに

巨大言語モデルが進展を遂げた一方，人間の言語獲得効率の良さが対照的に強調されている. 例えば GPT-3 [1] は，人間が 10 歳までに享受する言語刺激のおよそ 2000 倍のデータで学習されており [2], 非常に単純な計算では人間の 20,000 年分の学習に匹敵する。それではなぜ人間は言語獲得のデータ効率が良いのだろうか？本研究では，この問いを言語モデルと人間のどのような差異を埋めることで両者の言語獲得効率の乘離が縮まるかという問いに読み替え，効率的な言語獲得が実現される十分条件について計算機上での概念実証を目指す.

本研究では特に, 記号接地 [4] や身体性 [5] の問題に関連する視覚情報の影響に焦点を当てる. 通常人間は，言語モデルと異なり，言語獲得中に視覚情報を利用でき，効率的な言語汎化に貢献している可能性がある. 実験では主語・動詞の数の一致を手がかりに，言語の階層的な汎化の達成に視覚情報が寄与するかを検証する（図 1).なお近年の視覚・言

図 1 実験の概要. 文に対応する視覚情報が，汎化規則の曖昧なデータの下での言語の階層的規則獲得を促進するか調査する。なお図中の画像は，例示のために DALL-E [3] で生成したものである.

語処理では大規模モデルの開発が盛んであるものの [6,7], 言語と視覚の相互作用に関する言語科学的な分析や学習過程の分析は限られている $[8,9]$.

リアルなキャプションデータを用いた実験では，文に対応する静止画像を単にモデルに入力するだけでは, 言語の階層的汎化は促されないことが観察された。一方，問題を抽象化・簡略化した人エデー タを用いた実験では，言語の階層的な汎化に対する視覚情報の著しい寄与が確認された. この設定ではデータの偏りやキャプションに関係のない視覚情報は捨象されており，閉じた世界の中で学習者が視覚情報の適切な抽象化をできた状況を想定している。

少なくともリアルなデータを用いた今回の実験からは，言語的な事前知識を持たない学習者（ニュー ラルネット）が，静止画像と文の対から自然言語の
表 1 画像キャプションペアの例. AmBIG. データでは，動詞に対応する主語と動詞に最も近い名詞の数が同じであり， DISAmBIG. データでは両者の数は異なる. AMBIG. データが大部分を占める学習データでモデルを訓練し，そこで学習された規則を DisAmbiG. データを用いて峻別する. 表中の画像は作成したデータセットから抽出したものである.

適切な規則性を見出すことは容易でないこと，人間と言語モデルの学習効率の違いは単なる視覚情報の有無のみでは説明できないことが示唆された. 一方人工データの結果を踏まえると，(i) 視覚情報を適切に抽象化する特別な視覚・言語能力を学習者に仮定できれば，視覚情報が言語獲得に良い影響を及ぼす可能性があることや，(ii) 実験で用いた事前学習済み画像エンコーダでは, リアルな画像から言語獲得に影響を及ぼすような視覚情報の抽出・抽象化ができていない可能性なども強調された.

## 2 背景

一般に，有限のデータから未知のデータへ汎化する際に汎化規則は一意に定まらず，規則の選択はモデルの帰納バイアスに左右される [10]. 言語獲得においても，幼坚が限られた言語刺激から適切な（階層的な）汎化を達成する現象を説明するには，学習者の強力な帰納バイアスが必要であると主張されてきた $[11,12]$. 一方，通常のニューラルモデルでは，表層的手がかりの利用や言語的に妥当な汎化を完全に達成できないなどの人間らしくない学習傾向があり $[13,14,15,16,17]$, 分野全体の問題として認知されている。またこのバイアスを覆すために大量のデータが必要であることも指摘されている $[14,15]$.

汎化を導く帰納バイアスとしては，学習者の性質に由来するもの（生得的要因）と, 学習データなどの学習環境に由来するもの（環境的要因）が想定され, 本研究では視覚情報の有無という環境的要因の影響を，計算機シミュレーションのもと調査する。言語理解における視覚情報の重要性は長らく説かれているものの [18], (人工知能の) 言語獲得の視点では，適切な言語知識なしに視覚情報を与えても，む
しろ表層的な疑似相関などの可能性が増え問題が過度に複雑になるといった批判もあり [19,20], 視覚情報が言語学習にどのような影響を与えるかは自明でない。なお図 1 のような線形・階層的な規則の対立において，人間が階層的汎化を好むことは心理実験などで検証されてきた $[21,22]$. また，ニューラルモデルを用いた計算言語学的な検証は条件を統制しやすいなどの利点をもち，人間を直接観察する方法論と相補的な役割を果たしてきた $[23,12,24]$.

## 3 問題設定

概要を図 1 に示す. 主語と動詞の数の一致の観点から，線形的・階層的規則両方に整合するキャプションデータのもとでキャプション生成モデル（視覚情報が利用可能な言語モデル）を訓練し，視覚情報の有無で言語の汎化傾向が変わるかを調べる．視覚情報のもとでは, 階層的規則に整合する動詞の数を選ぶ問題は，典型的にはその動作をしているものが 1 つかそれ以上かを数える問題となり（表 1)，視覚情報により階層的規則に紐づく特徵量がより顕在的になる可能性がある1).

## 3.1 データ

既存の画像キャプションデータを収集したリアルなデータと，人工的に統制されたデータを用い，相補的な検証を行う．既存研究では人工コーパスでの実験が主流であり [16], 視覚モダリティを追加したとともにリアルなデータと人工的なデータで結果を比較したことも本論文の貢献である。

自然画像キャプション: Conceptual captions コーパス [27] から，以下を満たすデータを抽出した：

1）言語学的な数が，いわゆるものの数に必ずしも一致しないことは指摘されており，議論の余地はある $[25,26]$.

・キャプションに主語・述語が存在する 2$)$

・キャプションの主語が family, pair of など単複判断の難しい集合名詞・表現でない

・キャプションに文法誤りがない3)

これらのうち，主動詞の数と直前の名詞の数が同一である，線形的・階層的規則を峻別できないデータ (AmBIG.) と, 主動詞の直前の名詞と同士の数が異なる，階層的規則を支持するデータ (DisAmBIG.) に分けた (表 1). DisAmbig. のような階層性を明示するデータは実際の言語刺激において非常に少ないという議論（刺激の貧困） $[28,21]$ をもとに，本研究では Ambig. データと DisAmbig. データが 100:1 になるように学習データ（計 352,359 画像キャプションペア）を作成した ${ }^{4)}$. 残りの DisAmbig. データ $(1,269$ ペア）を評価データとした。

人エ画像キャプション: NUM1 COLOR1 SHAPE1 with NUM2 COLOR2 SHAPE2 VP というテンプレートから文と画像をルールで生成した（付録 A). 表 1 に例を示す. VP の主語は SHAPE1 であり, 画像中ではVP と SHAPE1 オブジェクトが近接し, 文中では数（屈折） が一致している。この設定では少なくとも，自然なデータがもつ以下の性質を捨象している：
- 単語や画像の特徵に関するクラス不均衡性・多クラス性・クラスの開放性

・着目すべき対象以外の視覚情報（背景など）

-ものや動作の呼び名と視覚特徴間の多対多関係
- 動作主と動作の視覚的に自然な構成（「人が走る」画像では，本来人の姿勢が変わるべきだが，本データでは「走る」を示す画像を「人」の画像に重ねるようなアプローチをとっている)

上で述べた手続き同様, 数の一致から AMBIG. デー タと DisAmbiG. データに分け，100:1 で混ぜたものを学習データ (16,500 ペア), 残りの DisAmBIG. デー タを評価データ（11,300 ペア）とした.

## 3.2 評価

評価データにおいて，動詞の数のみが異なる $2 \supset$ のキャプションを用意し (例えば，a red circle with three black circles plays/play a soccer), 対応する画像を入力したもと, どちらのキャプションに高い生成確率を付与するかを観察する。階層的規則に整合する

キャプションを正解とし，二值分類問題としてモデルの選好を Macro F1 值で評価した。キャプション生成能力の目安として，開発用データ5)で ROUGE-L F1 值 [29] ${ }^{6)}$ も計算した. また言語獲得効率に関心があるため，学習初期ステップでの値も報告する.

## 3.3 モデル

Transformer 系列変換モデルを用いる [30]. ただし入力が画像，出力が文となるキャプション生成モデルであり，エンコーダには Vit [31] などの事前学習済みエンコーダを，デコーダには GPT-2 small （124M） [32]アーキテクチャに交差アテンションを追加したものを採用する7) . 直観的には，交差アテンションを通して視覚情報にアクセス可能な（文レベル）言語モデルである．視覚情報を与えない設定では学習・推論時共に無情報なノイズ画像を入力する. ゼロからの言語獲得シナリオを想定し, デコー ダは初期化して学習を始めた. また，交差エントロピー誤差でモデルを訓練する。

エンコーダの初期値・構造として，大きさの異なる 3 つの Vit (base/large/huge) [31] と, Beit (base) [33], Deit (base) [34], Swin (base) [35] の計 6 種類を試し, モデル横断的な結論の一般性を検証する (付録 B).参考として，画像エンコーダを Vit-base にした上でパラメータ初期化した設定 (Scratch) と，デコーダに学習済み GPT-2 [32] を用いる設定 (Vit-GPT2) も試した. ハイパーパラメータは付録 C に記載する。

## 4 実験・結果

各設定において異なる 2 つのシードでモデルを訓練し，いずれの指標においても平均値を報告する.自然/人工画像キャプション実験における $10,000 / 500$ ステップはおよそ 2 エポック目終了時点である.

自然画像キャプション: 画像情報の有無による階層的汎化傾向の違いを表 2 中央に示す. 学習初期において，視覚情報は階層的沨化を促す方向にはあるものの，変化は限定的であった．画像を入力とする設定では ROUGE-L F1 值は 3-40程度に達しており，画像情報が活用されていることは確認できる. また，例えば 1000 ステップ目における階層的汎化への寄与 (階層的汎化における。- 行) に着目すると, 画像エンコーダの性能指標として用いられる ImageNet

表 2 学習過程におけるモデルの階層的規則への選好 (階層的汎化 F1 值）とキャプション生成能力 (ROUGE-L F1 値). $1,000,5,000,10,000$ といった数字はパラメータ更新ステップ数を示す. 目行は視覚情報ありのモデルの性能を示す.

響を与えたことを意味する。また参考として，各画像エンコーダのパラメータ数を一列目括弧内記記載し，エンコーダの ImageNet top-1 正解率の報告値も載せる.

} \\

正解率の高いエンコーダ（Vit-large, Swin-base）やパラメータ数の大きいエンコーダ（Vit-huge）が必ずしも好影響を与えているわけではなく，画像処理的な指標で良い画像エンコーダや巨大なエンコーダが必ずしも言語モデリングに適切なバイアスを与えるとは限らない可能性も予想した（付録D）。なお Vit-GPT2 では, 学習初期からほぼ完全な階層的汎化を達成しており, 大規模な言語データの観察のもとでは対処可能な問題設定であった．また今回はコーパスを基に学習データへの DISAmBIG. データの $1 \%$ の混入を認めたが，この程度の混入でも最終的に階層的汎化に選好が寄ることは確認された。また DISAmbIG. データが $0 \%$ の場合でも予備実験をしており,この場合は線形的汎化に選好が寄り，一貫して視覚情報の好影響は観察されなかった。

人工画像キャプション: 結果を表 2 右部に示す. 学習初期（100 ステップ）において，視覚情報が階層的汎化を顕著に促しており, 言語の階層的規則の効率的な獲得が達成された. 学習初期において, 事前学習済みエンコーダを用いた際の階層的汎化の向上幅は Scratch（+5.10）よりも大きく, 視覚的事前知識が言語の階層的汎化を促していた. なお視覚情報
のない設定でもモデルごとに性能が異なり，この設定ではエンコーダが画像処理以外の用途 (入力非依存なメモリなど [36]）で活用された可能性もある.

## 5 考察・おわりに

ニューラルモデルがリアルな画像・文対から自然言語の階層性を学ぶ手がかりを得ることは困難であることが示唆された. 人工画像キャプションでの対照的な結果を踏まえると，自然な画像・言語特有の性質が視覚情報からの言語獲得を困難にしている可能性が示唆され, 言語獲得の視点からは, (i) 視覚情報は言語獲得に寄与し得るが，リアルな視覚情報を適切に抽象化し言語と対応付ける能力を先立って獲得しておく必要がある，あるいは (ii) 視覚情報は言語の階層的な汎化に直接影響を与えないという仮説が導かれる．自然・人工データのどのような差異が結論の違いに紐づくのか人工データを制御して調査する方向や，データを幼児の言語獲得シナリオに近づける（絵本など）方向，韻律情報など他のモダリティを取り入れる方向などは今後検討している. また本研究は自然言語処理, 画像処理, 計算心理言語学の 3 領域をまたぐ学際研究として意義がある.

## 謝辞

日頃から助言いただいた乾健太郎先生，鈴木潤先生，原稿に助言いただいた小林悟郎氏をはじめ Tohoku NLP グループの皆様に感謝申し上げます. YANS 2022 にてコメントをくださった皆様にも感謝いたします. 本研究は，JST，CREST，JPMJCR20D2 の支援を受けたものである.

## 参考文献

[1] Tom B Brown, et al. Language Models are Few-Shot Learners. In Proceedings of NeurIPS.

[2] Alex Warstadt and Samuel R Bowman. What artificial neural networks can tell us about human language acquisition. Algebraic Structures in Natural Language, p. 17, 2022.

[3] Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, and Ilya Sutskever. Zero-Shot Text-to-Image generation. Technical report, February 2021.

[4] Deb Roy and Ehud Reiter. Connecting language to the world. Artificial Intelligence, Vol. 167, No. 1-2, pp. 1-12, September 2005.

[5] Lawrence W Barsalou. Grounded cognition. Annual Review of Psychology, Vol. 59, pp. 617-645, 2008.

[6] Jean-Baptiste Alayrac, et al. Flamingo: a visual language model for Few-Shot learning. arXiv:2204.14198, April 2022.

[7] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, and Mark Chen. Hierarchical Text-Conditional image generation with CLIP latents. arXiv:2204.06125, April 2022.

[8] Alexander Ororbia, Ankur Mali, Matthew Kelly, and David Reitter. Like a baby: Visually situated neural language acquisition. In Proceedings of ACL.

[9] Tristan Thrush, Ryan Jiang, Max Bartolo, Amanpreet Singh, Adina Williams, Douwe Kiela, and Candace Ross. Winoground: Probing vision and language models for visio-linguistic compositionality. In Proceedings of CVPR, pp. 5238-5248, 2022.

[10] Tom M Mitchell. The need for biases in learning generalizations.

[11] Noam Chomsky. Rules and representations. Behavioral and Brain Sciences, Vol. 3, No. 1, pp. 1-15, March 1980.

[12] R Thomas McCoy, Robert Frank, and Tal Linzen. Revisiting the poverty of the stimulus: hierarchical generalization without a hierarchical bias in recurrent neural networks. Proceedings of Cogsci, 2018

[13] Morten H Christiansen and Nick Chater. Toward a connectionist model of recursion in human linguistic performance. Cognitive Science, Vol. 23, No. 2, pp. 157-205, 1999.

[14] Alex Warstadt and Samuel R Bowman. CAN NEURAL NETWORKS ACQUIRE a STRUCTURAL BIAS FROM RAW LINGUISTIC DATA? In Proceedings of Cogsci, 2020.

[15] Alex Warstadt, Yian Zhang, Xiaocheng Li, Haokun Liu, and Samuel R Bowman. Learning which features matter: RoBERTa acquires a preference for linguistic generalizations (eventually). In Proceedings of EMNLP.

[16] R Thomas McCoy, Robert Frank, and Tal Linzen. Does syntax need to grow on trees? sources of hierarchical inductive bias in Sequence-to-Sequence networks. TACL, Vol. 8, pp. 125-140, 2020.

[17] Tom McCoy, Ellie Pavlick, and Tal Linzen. Right for the wrong reasons: Diagnosing syntactic heuristics in natural language inference. In Proceedings of ACL.

[18] Emily M Bender and Alexander Koller. Climbing towards NLU: On meaning, form, and understanding in the age of data. In Pro- ceedings of ACL.

[19] Lila R Gleitman and Henry Gleitman. A picture is worth a thousand words, but that's the problem: The role of syntax in vocabulary acquisition. Current Directions in Psychological Science, Vol. 1, No. 1, pp. 31-35, February 1992.

[20] Emmanuel Dupoux. Cognitive science in the era of artificial intelligence: A roadmap for reverse-engineering the infant languagelearner. Cognition, Vol. 173, pp. 43-59, 2018.

[21] Julie Anne Legate and Charles D Yang. Empirical re-assessment of stimulus poverty arguments. The Linguistic Review, Vol. 19, No. 1-2, pp. 151-162, June 2002.

[22] Stephen Crain and Mineharu Nakayama. Structure dependence in grammar formation. Language, Vol. 63, No. 3, pp. 522-543, 1987.

[23] M W Crocker. Computational psycholinguistics. Computational Linguistics and Natural Language, 2010.

[24] J D Lewis and J L Elman. Learnability and the statistical structure of language: Poverty of stimulus arguments revisited. Proceedings of the 26th annual Boston University, 2001.

[25] Benjamin Spector. Aspects of the pragmatics of plural morphology: On Higher-Order implicatures. In Uli Sauerland and Penka Stateva, editors, Presupposition and Implicature in Compositional Semantics, pp. 243-281. Palgrave Macmillan UK, London, 2007.

[26] Eytan Zweig. Number-neutral bare plurals and the multiplicity implicature. Linguistic Philosophy, Vol. 32, No. 4, pp. 353407, August 2009

[27] Piyush Sharma, Nan Ding, Sebastian Goodman, and Radu Soricut. Conceptual captions: A cleaned, hypernymed, image alt-text dataset for automatic image captioning. In Proceedings of ACL.

[28] Noam Chomsky. Problems of Knowledge and Freedom: The Russell Lectures. New York: W.W. Norton, 1971.

[29] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Proceedings of text summarization branches out, pp. 74-81, 2004.

[30] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of NIPS, pp. 59986008, 2017.

[31] Alexey Dosovitskiy, et al. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In Proceedings of ICLR, 2020.

[32] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language Models are Unsupervised Multitask Learners. Technical report, OpenAI, 2019.

[33] Hangbo Bao, Li Dong, Songhao Piao, and Furu Wei. Beit: Bert pre-training of image transformers. In Proceedings of ICLR, 2021.

[34] Hugo Touvron, Matthieu Cord, Matthijs Douze, Francisco Massa, Alexandre Sablayrolles, and Herve Jegou. Training data-efficient image transformers \& distillation through attention. In Marina Meila and Tong Zhang, editors, Proceedings of ICML, Vol. 139, pp. 10347-10357. PMLR.

[35] Liu, Lin, Cao, Hu, Wei, Zhang, Lin, and Guo. Swin transformer: Hierarchical vision transformer using shifted windows. In Proceedings of ICCV.

[36] Mor Geva, Roei Schuster, Jonathan Berant, and Omer Levy. Transformer Feed-Forward layers are Key-Value memories. In Proceedings of EMNLP

[37] Ekin D Cubuk, Barret Zoph, Jonathon Shlens, and Quoc V Le. Randaugment: Practical automated data augmentation with a reduced search space. In Proceedings of CVPRW, pp. 702-703. IEEE, June 2020

[38] Xiaohua Zhai, Alexander Kolesnikov, Neil Houlsby, and Lucas Beyer. Scaling vision transformers. In Proceedings of CVPR, pp. 12104-12113, 2022.

## A 人工画像キャプションの生成

以下のようにテンプレートから文を作成した.

a lime circle with two red triangles runs

NUM1 COLOR1 SHAPE1 with NUM2 COLOR2 SHAPE2 VP

対応する画像を表 1 の例のように自動生成した. 各記号に対応する語彙と対応する画像オブジェクトを表 3 に示す. NUM2 COLOR2 SHAPE2 オブジェクトは各 NUM1 COLOR1 SHAPE1 オブジェクトの上部に小さく配置し，VP オブジェクトはNUM1 COLOR1 SHAPE1 オブジェクトの中央下部に配置している. 色の重複を防ぎ，計 $3 \times 3 \times 5 \times 4 \times 4 \times 4 \times 10=28,800$ 種類の画像を生成した $(16,500$ 学習データ，1,000 開発データ，11,300 評価データ).

表 3 人工画像キャプション作成時の語彙と画像特徴

## B 画像エンコーダ

各画像エンコーダの性質を簡潔に説明する. ImageNet-21k(22k) の上で訓練されたモデルを用い，解像度は $224^{2}$ ，パッチサイズは16（に近いもの）に統一している.

Vit [31] 画像を分割したパッチをトークンとみなしてエンコードする．以下の実装を用いた：https： //huggingface.co/google/vit-base-patch16-224-in21k, https: //huggingface.co/google/vit-large-patch16-224-in21k,

https://huggingface.co/google/vit-huge-patch14-224-in21k.

Beit [33] Vit は画像分類タスクで学習されているのに対し， Beit では画像上でマスク穴埋め形式の自己教師あり事前学習をする。また，絶対位置埋め込みを用いるVit とは異なり，相対位置埋め込みを用いている。実装は, https://huggingface.co/ microsoft/beit-base-patch16-224-pt22k-ft22kを用いた.

Deit [34] 特殊な知識蒸留法によって，モデルサイズと訓練コストを削減した．実装は，https://huggingface.co/facebook/ deit-base-distilled-patch16-224を用いた

Swin [35] 異なる粒度で画像のパッチ分割を行い，局所的な処理を適用することで計算コストを抑えつつ，画像の階層的な特徴量を抽出する. 実装は, https://huggingface.co/ microsoft/swin-base-patch4-window7-224-in22kを用いた.

## C ハイパーパラメータ

全モデル共通のハイパーパラメータを表 4 に示す. エンコーダのハイパーパラメータは対応する huggingface モデルの設定に従い，ドロップアウト率のみを上書きしている．画像を提示する設定では，過学習を防ぐため学習画像に対し随時 RandAugment [37] を適用し，更に $20 \%$ の確率で実際の画像をノイズ画像に置き換えた. パラメータの固定はしていない.

表 4 共通のハイパーパラメータ

 \\

## D 画像エンコーダのスケーリング

画像エンコーダに関して, ImageNet 画像認識性能についてスケーリング則が報告されている [38]. ImageNet での画像認識性能と階層的汎化の促進度に単調な関係がないことから，言語モデルに階層的なバイアスを与える画像エンコーダはスケーリングの結果得られるとは限らないことが予想された. なお本文では言及していないが，Beit-large, Swin-large, Deit-small, Deit-tiny でも実験をしており，より幅広い画像認識性能を持つエンコーダ間で傾向を比較した。傾向を図 2 に示し，画像認識性能が良いエンコーダほど，言語の階層的な汎化を促すとは限らない.

図 2 自然画像キャプションデータでの学習 1000 ステップ目における，画像エンコーダの ImageNet top-1 正解率と階層的汎化 $\mathrm{F} 1$ 值の向上度合いの関係. 各点は各訓練試行に対応し，計 20 試行 $=\{$ 画像エンコーダ 10 種 $\times 2$ シード $\}$ の結果である。


# 日本語 WiC データセットの構築と読みづらさ検出への応用

吉田あいり 河原大輔
早稲田大学理工学術院
yoshida-a.waihk@ruri.waseda.jp, dkw@waseda.jp

## 概要

本論文では, 日本語文の読みづらさを定量的に評価することを目的とし, 語義曖昧性に基づく手法を提案する. 2 文に含まれる同じ単語の語義が一致するかを判定する WiC (Word in Context) データセット [1] の日本語版である JWiC を構築し, このデータセットを使用した語義曖昧性判定に基づく読みづらさの検出を行う. 評価はクラウドソーシングを活用し, 約 7 割の精度で読みづらさの検出ができることを確認した。

## 1 はじめに

文章を読む機会は多く,その文章が読みやすいことは消費時間と理解力に良い影響となる.そのため,執筆者の意図が誤って伝わる要素の排除が望まれる. 本研究では執筆支援システムにおいて想定される読点の挿入や語順整理といった文の読みやすさの改善の前段階として, 読みづらい文を自動的に検出することを目的とし, 改善自体は執筆者に委ねる。

読みづらさを扱うにあたり曖昧性に着目する.曖昧性は構造的なものと意味的なものがある. 構造的曖昧性とは構造解釈に複数の選択肢があることであり, 我々はこれに着目した読みづらさの検出手法 [2] を提案した. 意味的曖昧性の一つに語義曖昧性がある. 例えば「動きを踏まえた分析」という文が与えられた時に「動き」が傾向を表すのか実際の活動を表すのかの判別が付かないというようなものである. 本研究では語義曖昧性に着目し, まず, 2 文に含まれる同じ単語の語義が一致するかを判定する WiC (Word in Context) データセット [1] の日本語版である JWiC を構築する. JWiC は日本語フレームネットから構築するが, それだけだとデータ数が少ないため, データ拡張を行う. 最後に, 拡張した JWiC を使用した語義曖昧性判定に基づき読みづらさの検出を行う.

## 2 関連研究

## 2.1 WiC

言語理解のためのベンチマークとして SuperGLUE [3] が構築されており,8つのタスクのうちの 1 つである語義曖昧性解消タスクが WiC (Word in Context) [1] である. 2 文に含まれる多義語である同一単語が同じ語義で使用されているかを判断する 2 値分類のタスクである. 多言語 $\mathrm{WiC}$ データセットとして XL-WiC [4] が整備されているが, 完全に整備されている言語はドイツ語, フランス語, イタリア語に止まり,その他の言語は $\operatorname{dev}$ と test データのみである. 日本語もこれに含まれているが, 1,000 組程度と数が少なく, 言語資源として活用するのは困難である. 従って, 日本語データセットの構築が求められているのが現状である.

## 2.2 読みづらさの分析

人間の読みづらさは読み時間を用いて評価されており, 読み時間を主軸とした分析がされる. 日本語の読み時間データは BCCWJ-EyeTrack が整備・分析されており [5], 読解時間と統語・意味カテゴリの対比分析 [6] もなされている. また, 文の意味的曖昧性の高さが構造的曖昧性の解消・保留に影響することがわかっている $[7,8]$. 他にも個別の言語現象が読み時間に与える影響に対して分析が行われている $[9,10]$. また, サプライザル理論に基づいて統一的に解釈できるかという仮説検証もなされている [11]. 読み時間の様々な傾向がサプライザルでも再現され, 情報量の観点から解釈できることが示されている.

これらは既存の読みづらさの研究であり, 我々は構造的曖昧性を利用して読みづらさを検出する手法を提案した [2]. 構造的曖昧性とは構造解釈に複数の選択肢があることである。

## 3 日本語版 WiC の構築

本研究では, 日本語フレームネット (JFN) [12]を用いて日本語版 $\mathrm{WiC}(\mathrm{JWiC})$ の構築を行う. オリジナルの WiC は多様性とバランスに注目しており, JWiC においてもこれを重視し収録語彙の汎用性を高めることを目指す. 以下では, JFN の特徴の確認からはじめ, 構築の流れ, モデルによる評価までを述べる。

## 3.1 日本語フレームネット (JFN) の概要

JFN は日本語における語彙・複合言語資源であり，言語形式とその意味の関係を背景知識 (フレーム) との関係で捉えている. 対象語句を含む例文にフレー ムがアノテーションされている.例えば「持つ」に関する以下の例文には次のフレームが付与されている.

1. “報告を持ってきた $\cdots$ : Bringing

2. 一在庫の持ち方を変えて $\cdots$ : Storing

3. 一特許権を持っています。：Possession

収録語彙は 5,000 語程度であり, 名詞が半分以上を占め, 名詞と動詞でほとんどを占めている. また, 単語ごとに定義されているフレーム数にも偏りが大きく, 最大で 11 フレームを持つ. フレームが付与されている例文の長さは 50 字程度が最も多く, 大抵の例文は 200 字以内の長さをとっている. また,「雇用再生集中支援事業」のような固有名詞が含まれていることから, 対象が汎用語句に留まらないことが問題であり, 活用にあたってフィルタリングが必要となる。

## $3.2 \mathrm{JWiC$ の構築手法}

JWiC の構築は, JFN 例文のフィルタリング, 例文のペアリング, 作成したぺアのクラウドソーシングによる検証という 3 段階で行う。

JWiC を特定単語に特化したものではなく, 汎用性を高めるために対象語句を制限する. 適切な汎用性を保つために, 対象語句の構成単語数とフレーム数に着目する. 本研究では 4 単語以上で構成されるものと, 6 フレーム以上定義されている語句を除くこととした. 次に, 対象語句の制限に続いてバランスの調整を行う. 例文は, 文として成立していることと簡潔であることが求められるため, 例文長は 15 字以上 100 字未満とする.

WiC の形式にするために, 対象語句ごとに例文の表 1: JWiC の例

 \\

表 2: クラウドソーシングの結果における正答率の平均と四分位数

ペアを作成する.ここで, 1 対象語句に対して例文ぺア数は 50 ペアまでと制限することで偏りを少なくする.ペアである 2 文が持つフレームが一致するか否かで $\mathrm{WiC}$ 用のラベル「同じ」「違う」を付与する。例を表 1 に示す。

作成したデータに関して, 付与されたラベルの妥当性を確認するためにクラウドソーシングによる検証を行う.ここで, 人手であらかじめ正解ラベルを付与したチェック設問の正答率を確認することでクラウドワーカーの品質を保証する.チェック設問は最も正答率が低いもので $70 \% を上$ 回るものを使用し，平均 8 割程度の正答率のものを選択した. クラウドワーカーには短文によって例を提示し,チェック設問があることを説明している. 文ペアを提示し, 対象語句の語義が「同じ」か「違う」かを選択してもらうが, 適当な回答をできる限り取り除くために「わからない・判断できない」という選択肢も用意した. クラウドソーシングには Yahoo!クラウドソーシングを使用し, 1 ペアに対して 20 人から回答を回収した.解答の結果は表 2 の通りで, クラウドワーカーの正答率のばらつきを確認するために四分位数を示す.

この結果から極端に精度の悪い文ぺアを除いて JWiC の完成とする. JFN フレーム付けは細かく, 見分けのつかないものも含まれるため正答率がさほど高くならなかったと考えられる. 3,230ペアに対して精度が 0.35 以上のものを採用し 2,495 ペアを得た。含まれる対象語句は 259 個である.

## 3.3 モデルによる評価実験

JWiC を用いて, 事前学習モデル BERT [13] をファインチューニングし, 評価実験を行う. JWiC は, 2 文における同一語句が同じ語義で使用されているか否かを判定する 2 値分類タスクである. そのため, 入力文中のどの語句が対象であるかを明示する必要がある.そこで, BERT の埋め込みに対象語句を示す

図 1: Target Embeddings の導入

Target Embeddings を導入する. 図 1 に概要図を示す. JWiC のデータは [train:validation:test] = [0.75:0.1:0.15] の比率で分割し, NICT BERT (BPE

いて, JWiC の行が対象語句を明示しないモデル， $\mathrm{JWiC}_{\text {Target }}$ の行が Target Embeddings を使用したモデルを表し, test セット列の $\mathrm{JWiC}$ が分類精度である。 Target Embeddings を用いることでモデルが対象語句を認識し, $1.1 \%$ の精度向上が見られた。

## 4 JWiC の拡張

前節で構築した JWiC は 259 個の対象語句からなり, 読みづらさ検出に応用するには対象語句が少ない. そのため JWiC のデータ拡張に取り組む.

## 4.1 単語親密度を用いたデータ拡張

データ拡張は, 追加する対象語句の選定, 例文の収集・ペアリング, 作成したペアのアノテーションという 3 段階で行う。

追加する対象語句の選定にあたり, 読みづらさ検出を執筆支援システムに応用することを考慮する. 筆記において使用される語句による拡大を行うために単語親密度を用いる.「分類語彙表」増補改訂版データベースに親密度情報が付与された WLSP-familiarity ${ }^{2)}$ を使用する [14]. 対象単語の選別に単語親密度の「書く」の項目を使用し, ある程度筆記に使われる語句を採用し, かつ解釈に迷わないものは省くために 0.5 から 1.2 未満 3 ) のものを対象とし収集した. 特殊文字を含むものやカタカナを含むもの, また, 2 単語以上からなるものを削除した. 対象をさらに使用頻度が高いものとするために, 品詞を動詞と形容詞に絞り, 最終的に 700 語句を収集した.

得られた対象語句に対して, 対象語句を 1 つのみ

表 3: 拡張データのラベル分布

を含む例文を「用例.jp ${ }^{4}$ 」から収集する. 収集した例文からぺアを作成する. 同じ対象語句に対する例文ペア数は 10 ペアまでとし, JWiC にすでに含まれる対象語句に関しては数を減らすことで追加データに関してもバランス調整を行う.

得られた例文ぺアに対して, 対象語句における語義が一致するか否かのアノテーションをクラウドソーシングで行う. 3.2 節と同様に, クラウドワー カーに [同じ, 違う,わからない・判断できない]の 3 択から選択してもらう.チェック設問は 3.2 節と同様のものを使用した. 5,222 ペアに対して 10 人分の回答を収集した。

得られた回答集合を用いて, 回答比率を考慮した平均スコアに基づきラベル付けを行う. まず, [同じ，違う, 不明] の各回答を $[1,-1,0]$ の数値と見做して, 10 人の回答の和をスコアとする. 閾値 $m$ を使用し, $[-10,-m),[-m, m],(m, 10]$ の範囲において [違う, 棄却, 同じ]と分類を行う. $m$ の值はラベルの偏りが大きすぎず, かつ判別のつかない文ぺアが十分に除かれるように選択する. 本研究では閾值 $m=2$ を採用した. 拡張したデータのラベル分布を表 3 に示す.

## 4.2 モデルの再学習と評価

データ拡張の前後における $\mathrm{JWiC}$ の精度変化を確認する.まず, 拡張したデータを学習データにのみ追加した場合の精度を表 4 の JWiC+ExTrain および

て, 元の JWiC の対象語句についてはドメイン外の学習データが増えたが, Target Embeddings を用いたモデルは精度が落ちなかった.

次に, 拡張したデータを JWiC の train, validation, test セットに追加し評価した. この新しい test セットによる精度を表 4 の $\mathrm{JWiC}+\mathrm{Ex}$ 列に示す. 新しい train セットで学習したモデルの精度を JWiC+Ex と $\mathrm{JWiC}+\mathrm{Ex}_{\text {Target }}$ の行に示す. 元の $\mathrm{JWiC}, \mathrm{JWiC}_{\text {Target }}$ モデルと比べて精度が向上していることが分かる. また, 各モデルにおいて Target Embeddings はやはり効果があることを確認した.

次節で述べる語義曖昧性判定による読みづらさ検出と評価においては, 拡張データを含めて学習した

表 4: 各モデルの分類精度

(a) 曖昧でない場合

(b) 曖昧な場合

図 2: 語義曖昧性検出の例

BERT モデル (Target Embeddings あり)を使用する.

## 5 読みづらさの検出

## 5.1 読みづらさの検出方法

読みづらさの検出は, 入力文中の対象語句が語義曖昧性を持つかを判定することによって行う. 語義曖昧性の判定は, 対象語句が持つ語義ごとに例文 1 つと入力文で文ペアを作り, WiC タスクを実施することによって行う. 複数の語義の例文と「同じ」と判定すれば複数の語義の可能性があり曖昧, 1 つのみと同じであれば曖昧でないとする. 図 2a の場合では，「このいちごは甘い」という入力文は「とても甘いお菓子」のみと一致しており, 入力文中の「甘い」 において使用されている語義が明白である.一方, 図 $2 \mathrm{~b}$ の場合では, 傾向を示す「動き」と実際の活動を示す「動き」のどちらとも一致するため, どの語義で使用されているかが不明となり, 曖昧と判定される.

## 5.2 評価用データセットの作成と評価

$\mathrm{JWiC}$ から評価用データセットを作成する. 対象語句が持つ全ての語義との比較により評価するため,各語義から例文を 1 文ずつ選択する. [A, B] という 2 種類の語義を持つ場合は, $[\mathrm{A}, \mathrm{A}, \mathrm{B}]$ の語義が付与された例文セットを抽出し, 語義 $\mathrm{A}$ を持つ例文 1 文を評価対象文とする.これにより 184 セットを得た。表 5: 閾値ごとのラベル分布と語義曖昧性の検出精度

次に,各セットにおいて評価対象文が語義曖昧性を持つか否かのアノテーションを行う.これは, JFN のフレーム情報を用いるのではなく,一般的な人間による語義曖昧性の判断を得るために行う. 評価対象文に対して, どの例文が同じ語義であるかの複数選択式でクラウドソーシングにより 10 人分の回答を収集した.この回答をもとに 2 つ基準を設けて，正解ラベルを作成した. 1 つ目は回答が分散していれば曖昧であり, 2 つ目は複数の語義の例文を選択していれば曖昧であるという基準である. まず, 最も回答数が多い選択結果 (セットで扱う) に対して $\mathrm{n}$ 人以上の回答が一致したものは回答が分散していないとみなし, $\mathrm{n}$ 人未満であれば分散しているため曖昧とみなす. $\mathrm{n}$ は 6 から 8 の値において試行した. 次に， $\mathrm{n}$ 人以上が一致した選択結果において, 複数の例文が選択された場合は曖昧であり,単一であれば曖昧でないとする.

各閾値 $\mathrm{n}$ おける曖昧か否かのラベル数と, 曖昧さ検出の精度を表 5 に示す. $\mathrm{n}=6,7$ においては 7 割程度の精度を達成しており, 語義曖昧性に基づく読みづらさの検出がある程度できた. $\mathrm{n}=8$ において精度が低下したのは, 閾値が厳しいために, 分散しておらず, 本来曖昧でない回答についても曖昧であるというラベル付けとなったことが原因と考えられる。

## 6 終わりに

本研究では, JFN を使用した JWiC の構築及びデー 夕拡張を行い,これを応用して語義曖昧性に着目した読みづらさの検出を行った. 構造的曖昧性に続き語義曖昧性も絶対評価は難しく, 本研究では $\mathrm{WiC}$ 夕スクを語義の数だけ行う形で評価を行った.

収集した例文に対して語義の一致という 2 値分類のタスクに落とし込むことで, 語義ラベルを付与する必要性を排除した.これにより比較的容易にデー 夕拡張が可能となる. 評価においては語義ラベル自体は必要ないものの, 語義数分の例文収集が必要となる. 本研究では JWiC に含まれる対象語句を活用した評価を行ったが，今後，対象語句を拡張した評価を行うことが望まれる。

## 謝辞

日本語フレームネットを提供いただいた慶應義塾大学の小原京子教授に感謝する. 本研究は JSPS 科研費 JP21H04901 の助成を受けて実施した。

## 参考文献

[1] Mohammad Taher Pilehvar and Jose Camacho-Collados. Wic: the word-in-context dataset for evaluating contextsensitive meaning representations, 2018.

[2] 吉田あいり, 河原大輔. 構造的曖昧性に基づく読みづらさの検出. 言語処理学会第 28 回年次大会発表論文集, pp. 425-429, 2022.

[3] Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. Superglue: A stickier benchmark for general-purpose language understanding systems, 2019.

[4] Alessandro Raganato, Tommaso Pasini, Jose CamachoCollados, and Mohammad Taher Pilehvar. Xl-wic: A multilingual benchmark for evaluating semantic contextualization, 2020.

[5] 浅原正幸, 小野創, 宮本エジソン正. Bccwj-eyetrack:『現代日本語書き言葉均衡コーパス』に対する読み時間付与とその分析. 言語研究, No. 156,pp. 67-96, 2019.

[6] 浅原正幸, 加藤祥. 読み時間と統語・意味分類. 認知科学, Vol. 26, No. 2, pp. 219-230, 2019.

[7] 井上雅勝. 文の意味的曖昧性が構造的曖昧性の解消と保留に及ぼす影響 (2). 日本認知心理学会発表論文集, Vol. 2011, pp. 74-74, 2011.

[8] 井上雅勝. 文の意味的曖昧性が構造的曖昧性の解消と保留に及ぼす影響. 日本認知心理学会発表論文集, Vol. 2010, No. 0, pp. 81-81, 2010.

[9] Masayuki Asahara. Between reading time and clause boundaries in japanese - wrap-up effect in a head-final language一日本語の読み時間と節境界情報一主辞後置言語における wrap-up effect $の$ 検証一. Journal of Natural Language Processing, Vol. 26, pp. 301-327, 062019.

[10] Masayuki Asahara. Between reading time and the information status of noun phrases 名詞句の情報の状態と読み時間について. Journal of Natural Language Processing, Vol. 25, pp. 527-554, 122018.

[11] 栗林樹生, 大関洋平, 伊藤拓海, 吉田遼, 浅原正幸, 乾健太郎. 日本語の読みやすさに対する情報量に基づいた統一的な解釈. 言語処理学会第 27 回年次大会発表論文集, pp. 723-728, 2021.

[12] Kyoko Ohara. Relating frames and constructions in Japanese FrameNet. In Nicoletta Calzolari, Khalid Choukri, Thierry Declerck, Hrafn Loftsson, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 2474-2477, Reykjavik, Iceland, May 2014. European Language Resources Association (ELRA). ACL Anthology Identifier: L14-1103.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[14] 浅原正幸. Bayesian linear mixed model による単語親密度推定と位相情報付与. 自然言語処理, Vol. 27, No. 1, pp. 133-150, 2020.


# 抽象図形への命名を介したコモングラウンド形成モデルの構想

森田 純哉 ${ }^{1}$ 由井 達也 ${ }^{1}$ 天谷 武琉 ${ }^{1}$
光田 航 2 東中 竜一郎 2 竹内 勇剛 1
1 静岡大学情報学部 2 日本電信電話株式会社
\{j-morita,takeuchi\}@inf.shizuoka.ac.jp
\{yui.tatsuya.20, amaya.takeru.19\}@shizuoka.ac.jp
\{koh.mitsuda.td,ryuichiro.higashinaka.tp\}@hco.ntt.co.jp

## 概要

コミュニケーションにおいて，送り手が発した記号は，受け手の有する認知的な枠組みを介して復元される。つまりコミュニケーションを効率化するためには，送り手と受け手の間で認知的な枠組みをすり合わせていくプロセスが必要である. 本稿では, そのような共有された枠組みをコモングラウンドと呼び，タングラム命名課題を対象としたコモングラウンド形成の認知モデルを提案する．特に，本稿ではモデルの背景, 設計, 実装例を示し, 今後の課題を議論する。

## 1 はじめに

コミュニケーションにおけるコモングラウンドの必要は様々な研究者によって指摘されている $[1,2]$.送り手が発した記号の意味は，受け手の有する知識によって復元される. よって，送り手と受け手の間で共通の認知的枠組みが存在しない場合，意図の伝達に膨大なコストが必要となる. 共通の認知的枠組みが存在することで，多義的な記号の意味が絞り込まれ，簡素な表現による素早いコミュニケーションが可能になる。そして，そのようなコモングラウンドを構成する共有知識や信念は，通常は暗黙的なものであり，その全てを記号的に表現することは困難である.

本稿では，コモングラウンドの形成がどのように計算機上でモデル化できるかを議論する. 近年の言語処理の研究では，Transformer [3]をべースとした Bidirectional Encoder Representations from Transformers (BERT) [4] や Generative Pretrained Transformer (GPT) [5] などの手法が全盛である. 深層学習によって調整された大規模なパラメータは，人間の言語利用の背後にある暗黙的な知識をよく表現する。しかし，
それらのパラメータは，人間が課題遂行において保持する目標や時間的な文脈を陽には表現しない。また，人間が言語で表現する経験は多様なモダリティから形成されるため，コモングラウンドの形成には，複数モダリティの経験を統合する必要がある。

こういった複数のモジュールを統合し, 問題解決に至る一連のプロセスをモデル化するための考え方として，認知アーキテクチャが存在する．既存の認知アーキテクチャとして，Soar [6] や ACT-R [7] は有名である。これらの認知アーキテクチャは，現状では記号的な表現に大きく依存しており，スケールの問題を抱える。実世界のコミュニケーションを説明するモデルを構築するためには，深層学習などで構築された分散表現をべースにした認知アーキテクチャが必要である．この考えから，本稿は，深層学習で構成されたモジュールを，認知アーキテクチャへ統合し，コモングラウンド形成のプロセスを明示化することを志向する.

## 2 タングラム命名課題

コモングラウンドの形成過程を検討する課題として，タングラムと呼ばれる抽象図形を用いたコミュニケーション課題が検討されている [1]. タングラムは，“タン” と呼ばれる平面図形を組み合わせることで構築される．タングラムを具体物のシルエットとみなすことで，多様な解釈が生成される。この解釈の生成は，その際の知覚者が有する認知的枠組みによって変化する。 よって，言語表現のみにより，発信者の指示するタングラムを受け手が同定するためには，コモングラウンドの共有が必要になる.

タングラムを題材とした対話のデータとして，本研究では須藤ら [8] の研究に焦点を当てる. 須藤らの実験において，セッションに参加した 2 者は， 6 つのタングラムの命名について合意することを目指
一方の実験協力者

図 1 タングラム命名課題における配置の一例.

した. 以降，この実験課題をタングラム命名課題と呼ぶ. 図 1 は，タングラム命名課題において，実験の参加者が観察するタングラムセットの例を示している. 両者は同一のタングラムセットを提示されるものの, その配置や角度は異なっている. タングラ么命名課題において，参加者は互いの画面が見えず，音声のみで課題を遂行することが求められた.

須藤らは，タングラム命名課題における発話を，全体的発話と分析的発話の観点から分析した. 全体的発話は，タングラムの形状を具体物に喻える表現（例: “塔っぽいやつ”, “枝がでている木”, “サボテンとか”) であり，分析的発話はタングラムを構成する平面図形への言及（例：“小さい三角形が 2 つ”, “左右に四角と三角が出てる”) である. 須藤らのデータでは，実験全体を通して全体的発話が部分的発話よりも多く，セッションが経過するに従い， その差が拡大していくことを示されている.

## 3 タングラム命名モデル

タングラム命名課題で得られたデータをシミュレーションするモデルの構想を示す. まず，認知アーキテクチャとして考えた際に必要なモジュールについて議論し，続いて一部の処理に焦点を当てた詳細なモデルを検討する．最後に現時点で得られている予備的な実行の結果を示す.

## 3.1 モジュールの構成

図 2 はタングラム命名課題に関与すると想定されるモジュールを統合したものである。一般的に認知アーキテクチャは，視覚，聴覚，運動などの入出力に関するモジュール，ゴールや記憶を保持する内的なモジュール，そしてそれらを結合する中枢モジュール（ワーキングメモリやルールエンジン）から構成される [9]. 図 2 では上部に内的モジュール，下部に入出力に関するモジュールが配置され，中央のプロダクションによってそれらが統合される1).

1）ここでの統合は数ある認知アーキテクチャのなかでも ACT-R [7] をべースとしている.

(5) イマジナル

詳細化

c.

(3) 聴覚

羽を広げた白鳥以下，各モジュールの役割を簡単に記載する。

1. 視覚モジュール：外界のタングラムに注意を向け，タングラムを認識する。

2. 発話モジュール：個々のタングラムを区別する言語ラベルを生成し他者へ伝達する。

3. 聴覚モジュール：他者が生成した言語ラベルを聴取する。

4. ゴールモジュール：個々のタングラムに対して付与された言語ラベルを保持する。また各ラべルに対する相手との合意の有無を管理する。

5. イマジナルモジュール：言語ラベルとタングラムを結びつけるためのイメージ操作を行う．須藤らのデータに即せば，以下の 2 つの処理が想定できる.
- 部分処理：タングラムを幾何図形に分解し，対話相手がタングラムを特定できる言語表現を生成する.
- 全体処理：対話相手から聴取した言語ラべルをもとにイメージを生成する。

6. 記憶事例: 一般的な言語ラベルと画像の組み合わせからなるデータを有する。このデータを活用することでモデルはタングラムに対してラべルを付与し，イメージからラベルを生成する。

## 3.2 送受信パイプライン

図 2 のアーキテクチャの全体像は大きいものであり，部分に分割したモデルの構築が有効である．特に本稿では，須藤らの分類のうち，全体処理に関する発話の送受を詳細化することを試みる。すなわち，送り手がタングラムからイメージを解釈し，そ

のイメージを言語化し，受け手が言語化されたイメージを復元するまでのプロセスである. 以下に各プロセスの概要を示す.

## 送り手の処理

1. タングラムの知覚：視覚モジュールを介し，各タングラムの形状から物体認識を行う。視覚モジュールの実装としては, Convolutional Neural Network (CNN) を想定する。しかし，タングラ么図形は多義性を意図して構成されおり, 通常の CNN による物体認識に困難が生じる可能性が存在する. 特に一般物体認識の CNN モデルに対しては，テクスチャバイアス（全体的な形状ではなく画像表面のテクスチャに影響された認識をおこなうこと）の存在が報告されている [10]. このバイアスは，テクスチャに分類の有効な手がかりが存在しないタングラム命名課題において，クリティカルな影響を生じさせると考えられる. よって, 本研究では, テクスチャバイアスを生じさせないデータセットとして.

ImageNet Sketch [11]を用い，白黒画像から 1000 のラベルを分類する CNNを新規に学習した。

2. イメージ検索 : タングラムの認識から物体の特徵を詳細化する発話を生成するためには，ラべルのイメージの具体化が必要である. この処理のために，本研究では過去に獲得した記憶からのイメージの復元を考える. 本研究のモデルの場合, 上記の CNN の学習に利用した画像デー タを過去の記憶として想定できる. この画像データから，CNN が出力したラべルを付与する画像セットを絞り込む2).そして，絞り込まれた画像からタングラムの形状と最も類似する画像を選択する. 画像の類似の計算方法として, 本研究では, AKAZE によって抽出される特徴点マッチング [12]を用いる。これにより， タングラムと形状が最もマッチする画像が検索され，ラベル付けの根拠がイメージとして具体化されると想定する。

3. 発話生成：イメージ検索によって得られた画像は, 図 2 のアーキテクチャのイマジナルモジュールに一旦格納される. そして，イマジナルモジュール内の画像に対して，発話モジュー ルがイメージキャプショニングを適用することで詳細な言語的なラベルを得る. 本研究ではこ

2）ImageNet Sketch は各ラベルに対して 50 枚の画像を用意している.
の処理に Vision transformer (ViT) [13]) と GPT-2 [5]をもちいた学習済み Vison Encoder Decoder モデル [14]を利用する.

## 受け手の処理

1. イメージ生成：送り手の生成した言語ラベルは，受け手の聴覚モジュールに格納される. 受け手モデルは格納された言語ラベルからイメー ジ生成を行う。言語ラベルからのテキスト生成には， Stable Diffusion [15] を利用する。画像生成モデルにテキストを入力する際，送り手のイメージ生成 (ImageNet Sketch) の利用に合わせ，受け取った言語ラベルの先頭に, “a monochrome sketch of"という文字列を付与する.

2. タングラムの同定 : AKAZE による特徵点マッチングを利用することで，生成された画像と類似するタングラム画像を同定し，結果をゴールモジュールに格納する。なお，この際，タングラムを 45 度単位で回転させ，合計で $48(6 \times 8)$ のタングラムのイメージとの比較を行う.

## 3.3 実行結果

既に述べたように，上記のパイプラインは，タングラム命名課題における処理の一部である. 実際の課題においては，上記のパイプラインが他の処理と組み合わされ, 反復的に適用されることで送り手と受け手の認知的枠組みがすり合わされていく.

本稿では，そのようなプロセスの初期状態を示すために， 3.2 のパイプラインの実行結果を検討した.図 3 はその一例である. 送り手が注目したタングラムに対し，Black Swan というラベルが出力された. そして, そのラベルと形状の類似している学習事例 （首が右方向に向けられた黒鳥）が検索され，その画像に対して "a black and white bird standing on top of a white bird"というキャプションが生成された.このキャプションに対し，受け手は，黒い鳥の上に白い鳥が乗ったイメージを生成した（白い鳥と黒い鳥の関係がキャプションとは逆転している)。この画像に対して同定されたタングラムは，生成されたイメージに含まれる 2 つの鳥のうち, 上側の鳥と対応付けられるものと見ることができる（右側にくちばしがあり，下部に足が配置される）.

上記のように本研究で提案するパイプラインは,抽象図形から言語的ラベルの生成，言語的ラベルから抽象図形の同定に至るまでのプロセスを可視化す

図 3 実行例.

ることに成功している。そして，それら一つ一つのステップは，既存の画像処理ライブラリや学習済み深層学習モデルを用いたものであり，一定の妥当性を有しているとみなせる。ただし，これらの処理には程度の差はあれノイズが混入し，処理がまとめられた際には，送り手が観察したタングラムと受け手が同定したタングラムが食い違うものとなった. すなわち，この事例は，タングラム命名課題におけるミスコミュニケーションの一例をモデル化したものとなっている.

上記のようなミスコミュニケーションが，提案したパイプラインにおいてどの程度の頻度で生じるのかを検討した。この検討において，送り手は，角度を 8 段階に変更した 6 種類のタングラムを観察し， それぞれに対して言語ラベルを生成した. 生成された合計 48 の言語ラベルに対し，受け手が同定したタングラムとの対応をカウントした. 図 4 は送り手が観察したタングラムと受け手が同定したタングラ么の間での混同行列を示す. 表中の数値から正解率を計算したところ 0.166 (8/48) となり，6クラス分類のチャンスレートと等しいものとなった

このように今回の実装は，標準で送り手と受け手の認識の齯䶣を生じさせるものとなった. もともとタングラム命名課題は，タングラムの多義性を利用し，コミュニケーションの開始時に十分なコモングラウンドが存在しない状況を形成することを意図したものである. その意味で，本研究は，この課題の前提を，複数の深層学習モデルの統合によってデモンストレートしたものとみなせる.

## 4 おわりに

本稿では，コモングラウンド形成の背後にある認知プロセスをシミュレーションする計算機モデルの構想を示した. なお，タングラム命名課題を深層学習によってモデル化した事例は既に存在する [16]. この先行研究に対して, 本研究は, 認知アーキテクチャに基づくモジュールの仮定に基づくことに特徴

図 4 送り手と受け手の混同行列.

がある．深層学習モデルに埋め込まれたサブシンボリックな知識構造を利用することで，タングラムの知覚から言語ラベルの生成，言語ラベルの聴取からタングラムの同定までの処理を試作した。試作した実行結果を検討することで，タングラム命名課題における送り手と受け手のミスコミュニケーションを表現した。

本稿において示された多義性を解消する手段は複数考えられる. まず，本研究で扱った複数の深層学習モデルは異なるデータセットから構成された。これらの整合を図ることで，送り手と受け手の一致率が向上する可能性がある．また，本研究の受け手モデルが同定したタングラムは，図 4 に示されるように一部（6 列目）に偏っている。このようなタングラムの同定に関する競合を対話相手とのインタラクションのなかで解消する仕組みが必要である．こういったノイズを含む状況でのコモングラウンドの調整は，対話理解を報酬とした強化学習によって解決できる可能性があり [17]，対話理解の報酬を発生させるためには，本研究ではモデルの詳細化ができなかった部分処理などのプロセスも必要になる．全体処理的な発話から受け手が部分処理を返すことで，両者の認識の一致を確かめることができるようになると考える. 先述の先行研究 [16] は事前学習されたモデルをタングラム課題のデータでファインチュー ニングすること，送り手のメッセージに部分処理の表現を付与することで，同定率が向上することを示している.

今後，上記の検討を進めることで，本稿で示したフレームワークの完成を目指す。そして，フレームワークに基づくモデルが完成することで，人間のコモングラウンド形成に対する理解が成し遂げられ，同時に人とコモングラウンドを共有する人工物の構築がなされると考える [18].

## 参考文献

[1] Herbert H Clark and Deanna Wilkes-Gibbs. Referring as a collaborative process. Cognition, Vol. 22, No. 1, pp. 1-39, 1986.

[2] David R Traum. A computational theory of grounding in natural language conversation. Technical report, Rochester Univ NY Dept of Computer Science, 1994.

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems, 2017.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[5] Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. Improving language understanding by generative pre-training. 2018.

[6] John E Laird. The Soar cognitive architecture. MIT press, 2019.

[7] John R Anderson. How can the human mind occur in the physical universe? Oxford University Press, 2007.

[8] 須藤早喜, 浅野恭四郎, 光田航, 東中竜一郎, 竹内勇剛. 推測的かつ暫定的な対話による共通基盤の形成過程. 電子情報通信学会和文論文誌 (D), Vol. 106, 。

[9] John E Laird, Christian Lebiere, and Paul S Rosenbloom. A standard model of the mind: Toward a common computational framework across artificial intelligence, cognitive science, neuroscience, and robotics. Al Magazine, Vol. 38, No. 4, pp. 13-26, 2017.

[10] Robert Geirhos, Patricia Rubisch, Claudio Michaelis, Matthias Bethge, Felix A Wichmann, and Wieland Brendel. Imagenet-trained cnns are biased towards texture; increasing shape bias improves accuracy and robustness. arXiv preprint arXiv:1811.12231, 2018.

[11] Haohan Wang, Songwei Ge, Zachary Lipton, and Eric P Xing. Learning robust global representations by penalizing local predictive power. In Advances in Neural Information Processing Systems, pp. 10506-10518, 2019.

[12] Pablo F Alcantarilla and T Solutions. Fast explicit diffusion for accelerated features in nonlinear scale spaces. IEEE Trans. Patt. Anal. Mach. Intell, Vol. 34, No. 7, pp. 1281-1298, 2011.

[13] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth $16 x 16$ words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929, 2020.

[14] Ankur Kumar. The illustrated image captioning using transformers. ankur3107.github.io, 2022.

[15] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In 2022 IEEE/CVF Conference on Computer Vision and
Pattern Recognition (CVPR), 2022.

[16] Anya Ji, Noriyuki Kojima, Noah Rush, Alane Suhr, Wai Keen Vong, Robert D. Hawkins, and Yoav Artzi. Abstract visual reasoning with tangram shapes. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, 2022.

[17] Atsumoto Ohashi and Ryuichiro Higashinaka. Adaptive natural language generation for task-oriented dialogue via reinforcement learning. Proceedings of the 29th International Conference on Computational Linguistics, p. 242-252, 2022.

[18] Roberto Dessì, Eugene Kharitonov, and Baroni Marco. Interpretable agent communication from scratch (with a generic visual processor emerging on the side). Advances in Neural Information Processing Systems, Vol. 34, pp. 26937-26949, 2021.


# データ拡張手法を用いたスペイン語文法誤り訂正

飯島 与喜 ${ }^{1} \mathrm{Tad}$ Gonsalves ${ }^{1}$
${ }^{1}$ 上智大学 理工学研究科 理工学専攻 情報学領域
t-iijima-2n3@eagle.sophia. ac.jp t-gonsal@sophia. ac.jp

## 概要

スペイン語の文法誤り訂正では，人の手によって訂正されたコーパスが限られ，英語と比較して使用できるデータが少ない. データ不足の問題を解決する方法としてデータ拡張手法がある。既存のデータ拡張手法ではランダムにデータを生成するため，コ一パスに収録されているスペイン語学習者から取得したデータとは全く異なるものになる。そこで，本研究ではコーパスから誤りパターンを抽出し, デー 夕に反映させることで，コーパスに収録されているスペイン語学習者の誤りを再現するデータ拡張手法を提案する。この手法によって訓練用のデータを生成し, 限られたデータで高性能なモデルを構築する.

## 1 はじめに

文法誤り訂正 (Grammatical Error Correction: GEC) はスペルや句読点, 文法的な誤りを検出して訂正する自然言語処理のタスクである.このタスクでは誤りを含む文（誤文）を GEC のモデルに入力し，その誤文に含まれる誤りを訂正した文（正文）を出力する. 本研究では，スペイン語の誤りを訂正する.

文法誤り訂正では, 主に誤文と正文をぺアとした学習者のコーパスを教師データとしてモデルを学習させる手法が用いられる．スペイン語の学習者コー パスには Lang8[1]と COWSL2H[2]があるが，これらのデータセットだけでは英語のコーパスと比較するとデータ数が少ない，そこで，本研究では文法誤り訂正固有のデータ拡張手法である人工誤り生成手法を用いて，より高性能なモデルを構築する. 人工誤り生成手法は単一言語データから誤文を生成する。生成した誤文と単一言語データの正文を組にして事前学習を行う. 事前学習をした後にファインチュー ニングする手法が有効であると[3]で報告されている.

また，人工誤り生成手法で単一言語データに誤り
を注入する際に，ランダムに誤りを注入するよりも学習者が犯した誤りに近いものを注入した方がより高性能なモデルを構築できると考えられる。そこで本研究では, 学習者コーパスから誤りパターンを抽出し，単一言語データに誤りを注入することで，スペイン語学習者の誤りを再現するデータ拡張手法を提案する．学習者コーパスから抽出した誤りパター ンを単一言語データに注入して誤りを生成することで，学習者コーパスに含まれる特定の品詞誤りや語形変化だけでなく様々な誤りを再現することができる. 誤りを注入する際にコーパス内の分布に従って誤りを生成することで，ランダムに誤り生成するよりも学習者が書いたものに近い文を得ることができる。また，誤りをコーパスから抽出する手法を用いることで，誤りの規則を定義する手間を軽減することが可能である.

第 3 章でデータ拡張手法の詳細を説明し, 第 4 章の実験でその有効性を確認するための実験設定について述べる. 第 5 章の結果では, 提案手法が既存研究[2]や[4]よりも高性能であった結果とデータ拡張手法の 1 文あたりの誤り率を変化させた場合のモデルの性能、誤りタグごとのモデル性能を検証した結果を示す。

## 2 関連研究

スペイン語文法誤り訂正の研究として Davidson ら[2]が行なったものがある.この研究では COWSL2H データセットを提案し, GEC モデルを学習させた結果を示している.スペイン語 GEC のベー スラインとして"Bi-directional LSTM encoder + LSTM decoder”のモデルを使用している. COWLS2H には，スペイン語の L2 学習者（第二言語としてスペイン語を学ぶ者）が書いたエッセイとそれを人間が訂正したものが含まれる。モデルの訓練に用いる際には，エッセイを 1 文ごとに分割し，誤文と正文のペアにしたものが用いられている. さらに， 1 文ごとに分割しぺアにしたものを訓練用データ，検証
用データ,テストデータの 3 つに分割して使用する.

また, Flachs ら[4]が行なった研究もある. この研究では人工誤り生成手法を用いている. 誤りを生成する際は[5]で提案された規則べースの生成手法を用いて挿入, 交換, 置換, 削除の操作を行い, 誤りを生成する. 置換の操作には Aspell Dictionary と Unimorph[6], またはそれら両方を用いた場合のモデル性能を比較している。スペイン語においては， Aspell Dictionary のみを使用した場合が最も高精度であった. さらに, ノイズの多いデータを活用方法についても言及している. WikiEdit[7], Lang8[1]の 2 つのデータセットを用いた場合で検証し, 事前学習の後これらのデータをファインチューニングしたモデルが最も性能が良いという結果が示されている.

WikiEdit は 4,871,833 文, Lang8 は 1,214,781 文が使用されている.

## 3 手法

本研究では提案するデータ拡張手法は, コーパスの誤りの抽出とデータへの誤りの注入の 2 段階に分かれている.

誤りの抽出には, 正文と誤文から訂正箇所と誤りタイプを取得できる ERRANT[8]というツールを用いる. ERRANT は英語用に作られたツールであるが， [2]で述べられている通りスペイン語でも問題なく使用できる. しかし, より正確に使用できるようにするために以下の項目について訂正を行った.
- ADJ:FORM を ADJ:INFL に変更
- Determiner-noun agreement に対応する DET:INFL の追加
- NOUN:POS $の$ 削除

ERRANT で誤文の誤り部分 (単語または文の一部の複数語) に 3 つの誤りタグ $\operatorname{Missing}(\mathrm{M})$, Unnecessary(U), Replacement(R)を付与し, 訂正箇所とともに誤りパターンとして抽出する. この誤りパターンから MUR それぞれの操作対象となる単語 （または文の一部の複数語）をその出現確率とともにノイズスキームへ格納した．各コーパスの MUR の割合は表 1 の通りである。

誤りの注入では, 抽出操作で獲得した誤りタグ MUR と注入操作 Delete, Add, Replace を対応させたノイズスキームを用いる. Delete と Replace の操作は操作対象の文中の単語の中でノイズスキームに格納された単語に対して行われる. Add の操作ではノイズスキームに格納された単語を確率に基づいて選出し, 任意の位置に挿入する.

表 1 各コーパスの MUR の割合

誤りの生成を行う際に 1 文あたりの誤り率と 1 文あたりの拡張数を設定できる. 1 文あたりの操作回数は 1 文あたりの誤り率と文の長さの積で決定する.

図 1 誤りタグと操作の対応

誤りパターンの抽出と誤りの注入操作は図 1 の通りに行われる。

図 2 データ拡張手法の概略図

ERRANT を用いて抽出した誤りパターンから構築したノイズスキームを用いて訓練用の誤文と正文のペアを作成する過程を図 2 に示す.

## 4 実験

## 4. 1 実験内容

まず, 既存研究 [4]で使用されている Aspell Dictionary を用いた手法と既存研究[2]の結果を比較した. 次に, 1 文あたりの誤り率を変化させた場合にモデルの性能にどのような影響があるかを検証し，誤りタグごとのモデルの性能についても検証した.

## 4. 2 データセット

事前学習には WMT News Crawl から抽出した $10,000,000$ の正文を用いた. 抽出したデータを拡張して誤文を生成し，誤文と正文を組にして訓練用デ一タとし，事前学習を行った。

ファインチューニングには GEC タスク用の誤文と正文が収録されている Lang8，COWSL2H を用いた. Lang8 にはスペイン語以外の言語が含まれるため, スペイン語のみを抽出し, Training と Validation に分割した. 本研究では Lang8 で使用可能な部分を用い，データ数はそれぞれ $189,190 ， 10,611$ とした. COWSL2H は訓練用データ，検証用データ，テストデータに分割した。それぞれデータ数は 10,071 , $1,000,1,000$ とした.

また，それぞれのデータについてデータクリーニングを行った。数字とスペイン語に使用される文字と記号以外の文字を削除し半角に変換した，単語と記号間を半角スペースで統一した。 さらに，URLなどの文字列を削除し, 連続記号をその記号 1 文字に変換した。

## 4. 3 データ拡張の設定

各操作の割合は GEC コーパスの Lang8 と COWSL2H から抽出したノイズスキームの各誤りタグの割合に従う. 1 文あたりの誤り率は[4]との比較を行うため 0.15 に設定した. 誤りを生成する際の候補の単語はコーパス中で 3 回以上誤っているものを使用した。

## 4.4 モデル

本研究では GEC を行う Encoder-Decoder モデルとして Transformer を用いた。具体的な設定として Vaswami ら[9]が定義した Transformer bigを使用した.実装は fairseq 0.12.2 で行った. また, 事前学習, フアインチューニングで設定したハイパーパラメータ
は表 2 と表 3 の通りである. ファインチューニング時には Early stopping を用いて検証損失が最も小さいモデルをテストに用いた.

表 2 事前学習時のハイパーパラメータ

表 3 ファインチューニング時の

## 4. 5 評価方法

本研究では, Precision, Recall, F0.5を評価手法として用いる. 既存研究[4] と [2]の結果と比較を行うために F0.5 を MaxMatch(M2) scorer[10]と ERRANT[8] の 2 通りの方法で算出した。

## 5 結果

## 5.1 既存研究との比較

既存研究[4](Aspell_10m)の結果と本研究の提案手法(Errant $10 \mathrm{~m})$ を用いた結果, 既存研究と提案手法を合わせて用いた結果 $(\mathrm{A}+\mathrm{E}-10 \mathrm{~m})$ について比較を行った結果を表 4 に示す. 全てのモデルを COWSL2H でファインチューニングした. + (L)は Lang8 を追加でファインチューニングしたことを表す.

また, 既存研究[2](Bi-LSTM+LSTM) との比較を行なった結果を表 5 に示す.ここでは，F0.5を ERRANT で算出した.

## 表 4 既存研究 [4]との比較

表 5 既存研究[2]との比較

表 4 と表 5 の結果からいずれの既存研究よりも本研究の提案手法を用いた場合の方が Precision, Recall, F0.5 の值が高い. 既存研究[4]ではファインチューニング時に本研究の提案手法よりも多くのデータを用いているが，提案手法はより少ないデータでより高い性能を実現している. 本研究ではファインチュー ニングに用いるデータと同質の誤りを事前学習用デ一夕に注入することでより良い結果を得ることができた.

## 5.21 文あたりの誤り率とモデル性能

提案手法で 1 文あたりの誤り率を変化させた結果を表 6 に示す.モデルは Errant_10m+(L)を使用した.

表 61 文あたりの誤り率とモデル性能

誤り率を大きくするほど Precision が低くなり， Recall が高くなった. F0.5は 0.15 の場合に最大になった.このことから 1 文あたりに注入する誤り数を増やすと誤りの検出精度は上がるが，検出した誤りを正しく訂正できなくなると考えられる．特に誤り率 0.2 の場合の Precision が比較的大きく低下していることから, 誤り率から算出される注入する誤り数が多くなりすぎることによって精度に悪影響を及ぼすと考えられる。また、F0.5 が最大となった誤り率 0.15 が提案手法において最適な值であった.

## 5.3 誤りタグごとのモデル性能

誤りタグごとのモデル性能を表 7 に示す. モデルは Errant_10m+(L)を使用した。

Recall に着目すると誤りの注入回数が多いほど誤りをより多く検出できると考えられる。 また, 誤りの注入回数は $\mathrm{U}$ よ $\mathrm{M}$ の方が多いのにも関わらず， F0.5 の値は M の方が低くなっている。これは Precision の值がUに比べ低いことが原因であるため,検出した誤りを正しく訂正できるよう，Mに対する操作 Delete を改善する必要がある。また, U に対する操作 Addについても誤りをより検出できるよう改善することでよりモデルの性能を向上させることができると考えられる。

## 6 おわりに

本研究では，スペイン語の文法誤り訂正において学習者の誤りを再現するデータ拡張手法を提案し,事前学習用データを拡張して学習を行うことで既存研究よりも高い性能を実現した。スペイン語のようなデータが少ない言語の文法誤り訂正においてデー 夕拡張手法の有用性を示すことができた。

本研究ではコーパスの誤りを抽出, 注入することでモデルの性能を向上させたが，今後はどのような誤りが性能に寄与するか, スペイン語特有の誤りがモデルの性能にどのように影響するかについて詳しい分析や検証が必要である. より詳細な分析を行うために本研究で使用しなかったスペイン語 ERRANT の誤りカテゴリ(ADJ, NOUN など)の認識性能を改良する必要がある. モデル性能の向上とともに今後取り組みたい。

## 参考文献

[1] Tomoya Mizumoto, Mamoru Komachi, Masaaki Nagata and Yuji Matsumoto. Mining Revision Log of Language Learning SNS for Automated Japanese Error Correction of Second Language Learners. In Proceedings of the 5th International Joint Conference on Natural Language Processing(IJCNLP), pp.147-155. Chiang Mai, Thailand, November 2011.

[2] Sam Davidson, Aaron Yamada, Paloma Fernández Mira, Agustina Carando, Claudia H. Sánchez Gutiérrez, and Kenji Sagae. Developing NLP Tools with a New Corpus of Learner Spanish. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pages 7238-7243, Marseille, France. European Language Resources Association. 2020.

[3] Jared Litchtarge, Chris Alberti, Shankar Kumar, Noam Shazeer, Niki Parmar, and Simon Tong. Corpora generation for grammatical error correction. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3291-3301, 2019.

[4] Simon Flachs, Felix Stahlberg, and Shankar Kumar. Data Strategies for Low-Resource Grammatical Error Correction. In Proceedings of the 16th Workshop on Innovative Use of NLP for Building Education Applications, pages 117-122, Online. Association for Computational Linguistics. 2021.

[5] Jakub Náplava and Milan Straka. Grammatical Error Correction in Low-Resource Scenarios. In Proceedings of the 5th Workshop on Noisy User-generated Text (W-NUT 2019), pages 346-356, HongKong, China. Association for Computational Linguistics. 2019.

[6] Christo Kirov, Ryan Cotterell, John Sylak-Glassman, Géraldine Walter, Ekaterina Vylomova, Patrick Xia, Mannal Faruqui, Sebastian Mielke, Arya McCarthy, Sandra Kübler, Davaid Yarowsky, Jason Eisner, and Mans Hulden. UniMorph 2.0: Universal morphology. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki,
Japan. European Language Resources Association (ELRA). 2018.

[7] Adriane Boyd. Using Wikipedia edits in low resource grammatical error correction. In Proceedings of the 2018 EMNLP Workshop W-NUT: The 4th Workshop on Noisy User-generated Text, pages 79-84, Brussels, Belgium. Association for Computational Linguistics. 2018.

[8] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic Annotation and Evaluation of Error Types for Grammatical Error Correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume1: Long Papers), pages 793-805, Vancouver, Canada. Association for Computational Linguistics. 2017.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, NeurIPS, pages 5998-6008. Curran Associates, Inc. 2017.

[10] Daniel Dahlmeier and Hwee Tou Ng. Better Evaluation for Grammatical Error Correction. In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 568-572, Montréal, Canada. Association for Computational Linguistics. 2012.