# AdGLUE: 広告言語理解ベンチマーク

張 培楠 ${ }^{1}$ 坂井優介 ${ }^{2}$ 三田 雅人 1 大内 啓樹 2,3 渡辺 太郎 ${ }^{2}$

1 株式会社サイバーエージェント 2 奈良先端科学技術大学院大学 3 理化学研究所

\{zhang_peinan,mita_masato\}@cyberagent.co.jp

\{sakai.yusuke.sr9, hiroki.ouchi, taro\}@is.naist.jp
## 概要

近年、インターネット広告における自然言語処理技術の応用が盛んに行われている。広告分野では、学術的によく使われるデータセットでは出現しない 表現も多く、文法的に誤った非文が許容されること もある。このような広告特有の言語現象に対処する 技術が必要とされるが、共通のタスクやデータセッ トがないため、分野全体の研究発展が妨げられてい る。そこで本研究では、広告特有の言語現象や性質 に対する言語理解を促進するため、5つのタスクか ら構成される広告分野特化の言語理解ベンチマーク AdGLUE を提案する。また、一般的な言語タスクや データセットとの違いを分析するため、主要な既存手法でベースライン実験も行った。

## 1 はじめに

近年、検索連動型広告（図 1)を含むインターネッ 卜広告市場の著しい成長 [1] に伴い、テキスト分類 モデルを使ったクリック率予測 [2] やニューラル生成モデルを使った広告文生成 $[3,4,5]$ など、自然言語処理技術の多くが広告分野で応用され始めてい る [6]。広告分野では、短文でユーザに商品の特徵 と魅力を伝え、購買行動などに繋げるよう訴求する 必要がある。そのため、使用される言語表現は一般的な文章とは異なることが多い。例えば、機能語や 部分的な内容語の省略や強調のために記号の使用、場合によっては文法的な誤りを含んだ非文が許容さ れることもある。例として、「マンションを売却し たい方は、今すぐ○○で無料で査定しませんか？」 という汎用的な表現は、広告特有の表現に言い換え ると「マンション売却／今すぐ無料査定」になる。 このような広告特有の表現は人間の理解を妨げるど ころか、注意を引くことに繋がることが広告心理学分野で報告されている [7]。

以上のような一般的な言語資源では存在しない

図 1 検索連動型広告に関連する要素と遷移の例

特徴を有しながらも、機械翻訳や自動要約などの分野と比較して、広告における自然言語処理の研究や 分析は少ない。その一因として考えられるのは、共通するタスクやデータセット、そしてそれらで構成 されるべンチマークの欠如である。共通ベンチマー クがあることによって、手法の比較が容易になり、実験の手順が明確化するため、研究の活発化が期待 できる。英語の一般的な言語理解を目指したべンチ マークとして GLUE [8] や SuperGLUE [9] などが挙 げられ、JGLUE [10] を始めとする多くの言語でも構築が進んでいる $[11,12,13,14]$ 。また、特定の分野 に特化したベンチマークも存在し、PLUE [15] はプ ライバシーポリシーのための言語理解ベンチマーク であり、BLURB [16] は生物医学分野におけるべン チマークである。しかし広告分野には特化したベン チマークが現状存在せず、一貫したデータセットな ども公開されていない。そのため、広告分野での研究の多くは独自のデータと指標で評価されており、横断的な比較が難しい状況になっている。また、広告データは配信プラットフォームを保有している一部の企業にしか所持していないこともあり、それ以外の企業や学術機関からの利用が困難である。

以上のことから、我々は広告分野に特化した言語理解ベンチマーク AdGLUE (AdvertisinG Language Understanding Evaluation)を提案する。このベンチ マークでは、広告運用の手順を踏まえて、広告にお いて重要視される容認性や一貫性、魅力度などの理

表 2 広告容認性、広告一貫性、訴求表現認識タスクのデータ例。LPテキストは広告一貫性タスクでのみ使用される。 なお acceptable / not_acceptable と consistent/not_consistent はそれぞれ容認・非容認と一貫・非一貫を指している。

解に着眼して作られている。我々は一般的な言語理解と異なる広告特有の観点で 5 つのタスクを規定 し、対応するデータセットを構築した。データは 実際にインターネット上で掲載された広告であり、 それらに対して人手によるアノテーションを行っ た。また、一般的な言語タスクとの違いを分析する ため、提案ベンチマークに対して主要な既存手法で ベースラインで実験・分析を行った。1)

## 2 AdGLUE

AdGLUE は、表 1 のとおり広告容認性、広告一貫性、訴求表現認識、広告類似性、そして広告効果予測の 5 つのタスクから構成されている。本研究で使用される広告データはすべて実際にインターネッ ト上で掲載された検索連動型広告である。なお、広告効果予測以外の全データセット構築において、人手によるアノテーションが行われている。アノテー ション作業者はいずれも日本語母語話者であり、ガ イドラインの説明を受けた上で最大 2 回の訓練アノ テーションを経験している。より詳細なデータセッ 卜情報は付録に示す。

## 2.1 広告容認性

広告容認性タスクは、表 2 に示すように、ある文 を広告としてみた際に容認できる表現か、容認・非容認の 2 值ラベルを推定するタスクである。な お、推定結果は正解ラベルとの Accuracy で評価す る。インターネット広告において、ほとんどの媒体 は表示領域を確保するための文字長制限が設けられ ている2)ため、広告文は限られたスペースや少ない

1）作成されたデータセットは一般公開し、オンラインからア クセスできる評価プラットフォームを提供する予定である。

2）例えば Google レスポンシブ広告ではタイトルに全角で最大 15 文字の制限を設けている。文字数で読者に印象付ける必要がある。そのため、広告文を制作する際には、人間が読み取れる範囲で あえて文法を崩したり圧縮したりすることがある。一方で、過度な圧縮は読者の誤解を招いたり、意味理解を妨げる可能性もある。これは CoLA [17] など 文法的に正しいかどうかを判断する一般的な言語容認性の考え方とは異なる。このように、読者の正確 な意味理解の可否を広告容認性として定め、広告運用の現場においても人手で確認するステップが存在 する。そこで我々は広告自動生成モデルによって生成された広告文に対して、広告運用と同じ基準で広告容認性のアノテーションを行った。アノテーショ ン結果の一部を表 2 に示す。例えば 1 行目の「マン ション売却／今すぐ無料査定」は述べている意図を 問題なく読み取れるため「容認される」が、2 行目 の「エンジニアの転職／土日の求人多数」は「土日 の求人多数」の意味が不明なため「容認されない」結果となっている。

## 2.2 広告一貫性

広告一貫性タスクは、表 2 に示すように、広告文 と広告文に紐づくランディングページ（LP）テキ ストが一貫しているか、一貫・非一貫の 2 值ラベル を推定するタスクである。なお推定結果は正解ラべ ルとの Accuracy で評価する。検索連動型広告には URLが紐づいており、図 19ようにクリックするこ とでその URL 先の Web ページである LP に遷移す る。LPには広告文で言及した商品の詳細情報が掲載されているが、その情報と広告文で述べられてい る内容に齯䶣が生じる場合は顧客の信用を失うな ど大きな損害が発生する。そのため、LPにある商品内容と広告文内での表現の一貫性は重要である。我々は LP テキストとして Webページの HTMLにあ
表 3 広告類似性タスクのデータ例

入力文 1 すっぽん黒酢にセラミド䩀沢配合

例 1 入力文 2 すっぽん黒酢に贅沢セラミドまで 類似度 5.00

入力文 1 ご予算に合わせて贈り物を検索

例 2 入カ文 2 お得な割引商品は最大 $40 \% \mathrm{OFF}$類似度 2.33

る meta タグの description 要素を使用し、紐付い ている広告文と矛盾が存在するかどうかを人手でア ノテーションした。アノテーション結果の一部を表 2 に示す。例えば 1 行目の広告文は「マンション売却／今すぐ無料査定」だが、対応する LP テキスト は「一户建ての査定は○○におまかせ！」で、「マン ション」ではなく「一戸建て」について言及してい るため「一貫していない」と判断できる。

## 2.3 訴求表現認識

訴求表現認識タスクは、表 2 に示すように、広告文がどのような訴求軸を含んでいるのか、該当する 訴求ラベルをすべて推定するタスクである。なお推定結果は正解ラベルとの $\mathrm{F}$ 值で評価する。訴求と は、広告読者に対して、対象商品のメリットや魅力 を訴えかけるような表現のことである。商品によっ て関心を持つ人が異なるため、適切に訴求できるか が広告効果に大きく影響する。このタスクでは、村上ら [18] の訴求表現データセットを使用しており、 21 種類の訴求ラベルが 2,731 件の広告文に付与され ていある。3) データ例として、表 2 の 1 行目の広告文「マンション売却／今すぐ無料査定」に対しては、「無料査定」から訴求ラベルの「無料」「利便性」が、 2 行目の広告文「エンジニアの転職／土日の求人多数」に対しては、「求人多数」から訴求ラベルの「品揃え」が付与されている。本研究では村上らの研究 の doc-base タスクにならって、span ではなく文全体 を入力として考え、該当する全ての訴求ラベルを推定しその $\mathrm{F}$ 値を評価する。

## 2.4 広告類似性

広告類似性タスクは、表 3 に示すような広告文ぺ アがどれくらい広告的に類似しているのか、 $[1,5]$ の範囲を持つ実数値を類似度として推定するタス クである。類似度は 1 に近づくほど低く 5 に近づく ほど高く、推定結果は正解類似度とのピアソン相関係数およびスピアマン相関係数 [19] で評価する。

3）先行研究では大分類と小分類からなる構造だが、本タスク では小分類のみを使用する。表 4 広告効果予測タスクのデータ例

$\begin{array}{ll}\text { 業種 } & \text { 金融 } \\ \text { キーワードローン }\end{array}$

タイトル 1 【No.1】カードローン比較サイト

タイトル 2 とにかく急ぎで借りたい方必見

タイトル 3 即日融資安心カードローン

説明文 1 周囲に内緒で借りるカードローン。24 時間スマホ 完結カードローンランキング。免許証のみで申込 OK

説明文 2 初めての方も安心・コンビニATM で借入 OK なの 品質スコア 82.3 で便利・22 時迄の申込で最短即日融資が可能。

STS-B [20] などの一般的な文間類似度は意味の近さ を評価するが、広告類似度では言及対象の商品の同一性（商品のカテゴリ、商品内容）と訴求の同一性 （訴求軸、訴求内容）に関する評価を行う。例えば 表 3 の例 1 の文ぺアはどちらも同じ商品について言及しており、かつ訴求も同じであることから類似度 は最も高い 5.00 である。一方で、例 2 では商品につ いては同じカテゴリについて言及している可能性を 持つが、訴求が異なるため類似度は 2.33 と低いこと がわかる。より詳細なアノテーション方法について は付録に示す。

## 2.5 広告効果予測

広告効果予測タスクは、表 4 に示すように、キー ワードや広告文などの情報から広告そのものの品質 スコアを推定し、その結果を正解スコアとのピアソ ン相関係数およびスピアマン相関係数で評価する夕 スクである。入力となる情報は大きく分けて 3 種類 あり、「業種」「広告文」そして「キーワード」であ る。「業種」は株式会社サイバーエージェント内で 定めた広告の業界種別であり、合計で 4 カテゴリ存在する。「広告文」は広告そのものを異なる表現や 文長で述べたテキストであり、「タイトル」と「説明文」の 2 種類存在する。4）「キーワード」は当該広告 に関連する検索キーワードのことであり、同一広告文に対して複数存在することもある。表 4 の例では 「カードローン」がキーワードとして設定されてい るが、同じ広告文で「カードローン 比較」といった キーワードの例も他に存在する。「品質スコア」は 広告配信実績値をもとに算出した 1 から 100 の範囲 を取る実数値で、高いほど高品質である。また、公開にあたって一部の情報を秘匿化加工している。秘匿化処理の詳細については付録で述べる。

4）「タイトル」は全角で最大 15 文字で「説明文」は全角で 最大 30 文字である。なお、「タイトル 3 」と「説明文 $2 」 は$空であることも許容されている。
表 5 学習済み言語モデルによる AdGLUE の評価結果

## 3 AdGLUE を用いたモデル評価

本節では、自然言語処理における代表的な分類・回帰モデルを用いて、構築したベンチマークの評価実験を行う。実験結果を通して、提案ベンチマーク の有用性や今後の課題について分析する。

## 3.1 実験設定

ベースラインモデルは日本語版 BERT [21]、 RoBERTa [22]、多言語モデルとしてXLMRoBERTa [23] を用いて、以下のようにタスクの 種類に応じて fine-tuningを行った。
- 広告容認性、広告一貫性特殊トークン [SEP] で広告文とLPを接続した文字列を入力として [CLS]トークンに対する分類問題を解く。
- 訴求表現認識 村上ら [18] の Doc-Based Model と 同じく広告文でマルチラベリング問題を解く。
- 広告類似性、広告効果予測広告類似性タスク では文ぺアを、広告効果予測タスクでは業種・ キーワード・広告文を [SEP] で接続し、[CLS] トークンに対する回帰問題を解く。なお、広告効果予測タスクの秘匿化に使用された [MASK_*] トークンは語彙に追加して学習を行った。

検証用データが配布されていないデータセット は学習用データの 2 割を検証用データとした。八イ パーパラメータ等の実験の詳細は付録に示す。

## 3.2 結果と分析

表 5 に各言語モデルによる AdGLUE の実験結果 を示す。モデルごとの性能評価を以下にまとめる。

・広告一貫性タスクでは東北大 BERT $_{\text {BASE }}$ が最高值であったが、他との差は軽微であった。
- 全体的に RoBERTa、XLM-RoBERTa モデルが高 い值である。要因として両モデルは大規模 Web クロールデータ CommonCrawl [24]を用いて学習している。CommonCrawl には砕けた表現の 文章や広告文が多く含まれているため、広告文 の特徴をうまく捉えることができ、結果的に Wikipedia のみで学習している BERT モデルよ りも高い値となったと考えられる。
- 東北大 BERT $_{\text {BASE }}$ (char) は全体的に低く、広告文に対して文字単位の処理が不適切とわかる。
- 全体的に BASE モデルよりパラメータの大きい LARGE モデルのほうが值が高いことから、パ ラメータ数の増加は有効であることがわかる。

・広告類似性タスクは AdGLUE 内では高いもの の、日本語の文間類似度タスクである JSTS [10] と比べると低い。単純な比較はできないが、広告ドメインでの表現と一般的に使用される表現 が異なることを示唆しており、より詳細な分析 を必要である。
- 広告効果予測タスクでは Wikipedia のみで学習 された東北大 BERT $_{\text {LARGE }}$ が最も高い值であり、 CommonCrawl で学習された他モデルを上回っ ている。この原因まだ特定できておらず、これ からの課題としたい。

また、今回実験に用いた学習済み言語モデル群は、学習データや単語分割などの条件が統一されていな い。そのため、条件を統一した実験を行い、広告理解に最適な単語分割の粒度を明らかにすることが望 ましいが、この点は今後の課題とする。

## 4 おわりに

本稿では広告言語理解ベンチマーク AdGLUE を 提案し、タスク設計とデータセット構築について説明した。また、各タスクの性質や一般的な言語理解 との違いを分析するため、構築ベンチマークで現在主要なアプローチでベースラインで実験した。実験結果から現状で調查不足な点や未網羅な課題点が発見され、それらを今後の改善につなげていきたい。

## 謝辞

本研究は株式会社サイバーエージェントと奈良先端科学技術大学院大学の共同研究により実施した。

## 参考文献

[1] 株式会社 CARTACOMMUNICATIONS, 株式会社 D2C, 株式会社電通, 株式会社電通デジタル. 2021 年 日本の広告費 インターネット広告媒体費 詳細分析, 2022. https://www. dentsu.co.jp/news/release/2022/0309-010503.html.

[2] Yanwu Yang and Zhai Panyu. Click-Through Rate Prediction in Online Advertising: A Literature Review. Information Processing \& Management, Vol. 59, No. 2, p. 102853, 2022.

[3] Konstantin Golobokov, Junyi Chai, Victor Ye Dong, Mandy Gu, Bingyu Chi, Jie Cao, Yulan Yan, and Yi Liu. DeepGen: Diverse Search Ad Generation and Real-Time Customization. In EMNLP 2022: Industry Track, 2022.

[4] Haonan Li, Yameng Huang, Yeyun Gong, Jian Jiao, Ruofei Zhang, Timothy Baldwin, and Nan Duan. CULG: Commercial Universal Language Generation. In NAACL-HLT 2022: Industry Track, 2022.

[5] Hidetaka Kamigaito, Peinan Zhang, Hiroya Takamura, and Manabu Okumura. An empirical study of generating texts for search engine advertising. In NAACL-HLT 2021: Industry Papers, pp. 255-262, 2021

[6] 村上聡一朗, 星野翔, 張培楠. 広告文自動生成に関する最近 の研究動向. 人工知能学会全国大会論文集, Vol. JSAI2022, pp. 1P5GS601-1P5GS601, 2022.

[7] Taifeng Wang, Jiang Bian, Shusen Liu, Yuyu Zhang, and Tie-Yan Liu. Psychological advertising: Exploring user psychology for click prediction in sponsored search. In KDD 2013, p. 563-571, 2013.

[8] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In ICLR 2019, 2019.

[9] Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. Superglue: A stickier benchmark for general-purpose language understanding systems. Advances in neural information processing systems, Vol. 32, , 2019.

[10] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese General Language Understanding Evaluation. In LREC 2022, 2022

[11] Sungjoon Park, Jihyung Moon, Sungdong Kim, Won Ik Cho, Ji Yoon Han, Jangwon Park, Chisung Song, Junseong Kim, Youngsook Song, Taehwan Oh, Joohong Lee, Juhyun Oh, Sungwon Lyu, Younghoon Jeong, Inkwon Lee, Sangwoo Seo, Dongjun Lee, Hyunwoo Kim, Myeonghwa Lee, Seongbo Jang, Seungwon Do, Sunkyoung Kim, Kyungtae Lim, Jongwon Lee, Kyumin Park, Jamin Shin, Seonghyun Kim, Lucy Park, Alice Oh, Jung-Woo Ha, and Kyunghyun Cho. KLUE: Korean Language Understanding Evaluation. In NeurIPS 2021: Systems Datasets and Benchmarks Track, 2021.

[12] Liang Xu, Hai Hu, Xuanwei Zhang, Lu Li, Chenjie Cao, Yudong Li, Yechen Xu, Kai Sun, Dian Yu, Cong Yu, Yin Tian, Qianqian Dong, Weitang Liu, Bo Shi, Yiming Cui, Junyi Li, Jun Zeng, Rongzhao Wang, Weijian Xie, Yanting Li, Yina Patterson, Zuoyu Tian, Yiwen Zhang, He Zhou, Shaoweihua Liu, Zhe Zhao, Qipeng Zhao, Cong Yue, Xinrui Zhang, Zhengliang Yang, Kyle Richardson, and Zhenzhong Lan. CLUE: A Chinese language understanding evaluation benchmark. In COLING 2020, pp. 4762-4772, 2020.

[13] Hang Le, Loïc Vial, Jibril Frej, Vincent Segonne, Maximin Coavoux, Benjamin Lecouteux, Alexandre Allauzen, Benoit
Crabbé, Laurent Besacier, and Didier Schwab. FlauBERT: Unsupervised language model pre-training for French. In LREC 2020, pp. 2479-2490, 2020.

[14] Yaobo Liang, Nan Duan, Yeyun Gong, Ning Wu, Fenfei Guo, Weizhen Qi, Ming Gong, Linjun Shou, Daxin Jiang, Guihong Cao, Xiaodong Fan, Ruofei Zhang, Rahul Agrawal, Edward Cui, Sining Wei, Taroon Bharti, Ying Qiao, Jiun-Hung Chen, Winnie Wu, Shuguang Liu, Fan Yang, Daniel Campos, Rangan Majumder, and Ming Zhou. XGLUE: A new benchmark datasetfor cross-lingual pre-training, understanding and generation. In EMNLP 2020, pp. 6008-6018, 2020.

[15] Jianfeng Chi, Wasi Uddin Ahmad, Yuan Tian, and Kai-Wei Chang. PLUE: Language Understanding Evaluation Benchmark for Privacy Policies in English. arXiv preprint arXiv:2212.10011, 2022.

[16] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Transactions on Computing for Healthcare (HEALTH), Vol. 3, No. 1, pp. 1-23, 2021.

[17] Alex Warstadt and Samuel R. Bowman. Grammatical analysis of pretrained sentence encoders with acceptability judgments. CoRR, Vol. abs/1901.03438, , 2019.

[18] Soichiro Murakami, Peinan Zhang, Sho Hoshino, Hidetaka Kamigaito, Hiroya Takamura, and Manabu Okumura. Aspect-based analysis of advertising appeals for search engine advertising. In NAACL-HLT 2022: Industry Track, pp. 69-78. ACL 2022, 2022.

[19] David Freedman, Robert Pisani, and Roger Purves. Statistics (international student edition). Pisani, R. Purves, 4th edn. WW Norton \& Company, New York, 2007

[20] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo Lopez-Gazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In SemEval2017, pp. 1-14, 2017.

[21] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT 2019, pp. 4171-4186, 2019.

[22] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[23] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In ACL 2020, pp. 8440-8451, 2020.

[24] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. CCNet: Extracting high quality monolingual datasets from web crawl data. In LREC 2020, pp. 4003-4012, 2020.

[25] Joseph L. Fleiss. Measuring nominal scale agreement among many raters. Psychological Bulletin, Vol. 76, No. 5, pp. 378-382, 1971.

[26] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In ACL 2020: System Demonstrations, pp. $38-45,2020$.

図 2 広告効果予測タスクの品質スコアの分布密度

表 7 広告容認性と広告一貫性のラベル分布

 & 15,099 & 850 & 15,949 & 8,708 & 620 & 9,328 \\

表 8 広告類似性のラベル分布。 $x$ は各値を表す。

表 9 訴求表現認識のラベル付与数

表 10 実験に使用したハイパーパラメータ。複数值があ るものは最適値を学習データのみで探索し選択している。

## A 付録

アノテーションガイドラインアノテーションは図 3 のように 商材と訴求の 2 軸での一致度合いで判断される。村上ら [18] の 訴求タイプの定義に基づいたアノテーションを依頼した。仕様書には各訴求タイプごとに説明文と例文を提示している。商材 や訴求表現が一部存在しない広告文は、それ以降の要素が広告文 に含まれていれば該当表現が存在したとして扱い、含まれてい なければ存在しなかったとして扱う。広告文内の固有名詞など について不明の場合は適宜 Web 検索を許可した。また、データ セットは 3 人の非専門家のアノテータによって作成されており、 2 回の訓練フェーズを経て本番データでアノテートし、アノテー タ間の一致度合いは fleiss' kappa [25] で $\kappa=0.51$ であった。

図 3 アノテーションの方法。左の要素から順に一致して いるごとにスコアが 1 段階ずつ上がっていく。

広告効果予測のマスキング処理 直接的なクライアント名・ サービス名のマスキングを行うことを条件に広告主からデータ セットとして公開することを許可された。例文「[MASK_3] の仕事紹介サイト」ではクライアント名が [MASK_3] に置き換えられ ている。マスキング処理は 2 人のアノテータが手分けして行っ た。マスキング対象となったクライアント・サービス名は 24 個 であり、それぞれ [MASK_0] から [MASK_23] に置換した。

各データセットのラベル分布 表 7 に広告容認性、広告一貫性 のラベル分布、表 8 に広告類似性のラベル分布、表 9 に訴求表現認識のラベル付与数、図 2 に広告効果予測の品質スコアの分布密度を示す。

実験設定の詳細 各学習済み言語モデルの詳細を表 6、実験に用 いたハイパーパラメータを表 10 に示す。表 10 に記載されていな いパラメータは各言語モデルまたは Transformers の標準設定を使用している。実験は Hugging Face 社の Transformers [26] を使用し $た^{5)}$ 。

5）実装は Transformers の AutoModelForSequenceClassification に修正を加えている。Transformers のバージョンは 4.25.1。


# 要件に対する効果の生成を経由した法律分野の自然言語推論

チェジョンミン 1,2 本多右京 $1,2,3$ 渡辺太郎 1 乾健太郎 2,4
1 奈良先端科学技術大学院大学 2 理化学研究所
3 株式会社サイバーエージェント 4 東北大学
choi.jungmin.ce6@is.naist.jp, honda_ukyo@cyberagent.co.jp
taro@is.naist.jp, kentaro.inui@tohoku.ac.jp,

## 概要

法律分野における自然言語推論（NLI）は，前提 （法律）と仮説（法的問題に関する記述）の間の含意関係を予測するタスクである。一般的な NLIに対 する現在の state-of-the-art である，事前学習済みの 言語モデルを用いた手法は，法律分野においてはそ れほど有効でない。これは、前提と仮説の抽象度の 違い，ならびに法律文の特殊性によるものと考えら れる. 本研究では，法律文が，原則として要件と効果によって構成されるという特性に着目し，NLI の タスクをより容易なサブタスクに分解することに よってこの問題に対処し，既存手法を上回る性能を 得た.

## 1 はじめに

自然言語推論 (NLI) とは，前提文と仮説文のペア が与えられたとき，それらの関係を，前提が仮説を 包含する場合は含意, 仮説が前提に反する場合は矛盾，どちらの関係も成立しない場合は中立 (neutral) に分類するものであり, 自然言語処理の中心的な課題の一つであるといえる。法律分野における，この タスクの最も自然な形態は，「法律問題に関するあ る言明が法律に照らして正しいかどうかを判定す る」というものであるが，これは法曹資格を審査す る司法試験の一部を構成するものであり，法律家の 仕事を自動化するシステムの開発のためには不可欠 といえる.法律分野に特有の NLI の難しさは，アノテーショ ンのコストが高いためにデータが不足しがちで，モ デルに法的概念の意味や具体例を学習させにくいと いうところにある.

最近の研究では, Transformerベースの事前学習済 み言語モデルによって，前提と仮説のベクトル表現 を求め，これを線形変換によって分類するものが主流になっている $[1,2]$.

われわれは，法律分野の文章の特性を利用した，根本的に異なるアプローチを提案する。まず，法律文は要件と効果で構成される，という点に注目す る. 法律に関する仮説も，要件に対応する箇所（以下，単に要件部という）と効果に対応する箇所（以下，単に効果部という）で構成される. 人間が法律文を現実の状況に適用する際には，1）事実に適合す る要件を法律文から選び，2) その効果を特定し，事実にあてはめて具体的な効果部を導出する，という 過程を辿る。そこでわれわれは，モデルの学習にお いても，このように多段階の手順を踏むことで学習 が容易になるという仮説を立てた。すなわち，タス クを，1) 仮説の要件部に対応する法律要件を特定， 2) 法律効果を仮説の設定にあてはめて，仮説が前提 に含意されるような効果部を生成，3) 生成された効果部と仮説の効果部を比較，というサブタスクに分割して解く.

また，要件と効果の区別を考慮したデータ拡張も 行う.

提案手法が有効であると考えられる根拠は，以下 のようにまとめられる．11)生成された効果部と仮説 の効果部に焦点を絞ることで比較が容易になる，2)条文の論理構造に基づいた擬似データ作成によっ て, 複数のルールから, 状況に適合するルールを選 ぶという問題にモデルを習熟させることができる， 3) 事前学習済みの言語モデルが保有している世界知識（腕時計は動産にあたる，など抽象的な概念と具体物の関係）を使うことができる。

さらに，生成された結果部は，モデルの予測の説明ととらえることもできる。なぜなら，モデルは仮説の要件部を受けて，法律に照らして適切と考え られる効果部を出力するよう学習しているからで ある。

本研究では, 日本の司法試験問題を元に作成され

[前提] 占有者がその占有を奪われたときは、占有回収の訴 えにより、その物の返還及び損害の賠償を請求することが できる。占有回収の訴えは、占有を侵奪した者の特定承継人に対して提起することができない。ただし、その承継人 が侵奪の事実を知っていたときは、この限りでない。 [仮説] B が海外出張のため 1 週間大学を留守にし ていた間に，C が甲を盗み出して現に所持している 場合， Bは，Cに対し，占有回収の訴えにより甲の返還を 求めることができる。 [Label] 1 (含意)

図 1 法律 NLI の例. COLIEE[3] タスク 4 より抜粋. 要件 は太字+青字，効果は下線+赤字で示している。

た日本語の法律 NLI データセットで実験を行った. その結果, 最先端の手法やベースラインと比較し て，大幅な性能の向上を確認した。

## 2 先行研究

法律分野の NLIにおいては，前提は法律、たとえ ば条文の部分集合であり，仮説はその法律に関連す る状況を記述し, その状況の法的帰結について述べ るものである．仮説が前提によって含意されている かどうか，すなわち，仮説が法律に照らして正しい かどうかを予測することが具体的なタスクとなる。

一般的な NLI に関して大きな成功を収めた， BERT[4] など事前学習モデルによるベクトル表現を 分類するという手法は，そのままでは，法律分野の データに関してそれほどの性能を示さないことが報告されている [3]. その原因は, 法律文書に使われ る抽象的な語彙と，一般的な語彙の乘離により，モ デルが事前学習した知識を適用することが難しい こと, 法律分野のデータが不足していることにある と考えられる. 近年の法律分野の NLI 研究におい ては，ベクトル表現の分類という一般的な枠組みを 踏襲しつつ，上述の問題を解決するための補助的な 工夫を行った手法が主流になっている. 現時点での state-of-the-art である [1] は，ドメインデータを補う ため，条文をそれ自身とぺアとして擬似正例，条文 とその否定形をぺアとして擬似負例を作成する。 [2] は，シソーラスを用い，各単語に対応する意味的力 テゴリ情報を付与し, 抽象的な概念と具体物の関連 をモデルに明示的に与えることで，前提と仮説の抽象度の差を緩和している. これらの手法は，いずれ も一定の有効性を示しているものの, 正解率は一般的な NLI データには遠く及ばず，改善の余地が大き いものとみられる.

図 2 提案手法の概要. (1) 前提 (一つまたは複数の条文) に含まれる要件から, 仮説の要件部と合致するものを同定する。(2) その要件に対応する効果を，仮説の設定に 合わせて書き換え，出力する。(2) 生成された効果と，仮説の効果部を比較し，含意例か矛盾例に分類する.

図 3 手法の手順. (1) 仮説を, 要件部と効果部に分ける. (2) encoder-decoder モデルを, 前提と仮説の要件部から導 かれる順当な効果部を出力するよう訓練する。 (3) encoder モデルと分類器を, 生成された効果と仮説の効果部を入力したとき，含意例であれば 1 を，矛盾例であれば 0 を 出力するよう訓練する.

## 3 提案手法

われわれは，効果部の生成と分類という二段階か ら成る手法を提案する。 提案手法の概要を図 2 に示 す.まず，仮説の要件部を受けて，前提から導かれ る順当な効果部を生成する。すなわち，もし含意例 であれば仮説の効果部となるべき系列を出力する. そして，生成された効果部が，実際の仮説の効果部 と一致するか否かを分類する。具体的には，以下の ようにモデルを学習させることを目指す.1）前提 に含まれる複数の要件から，仮説の要件部に合致す るものを見つける，2）前提の中から対応する効果 を見つけ、仮説の状況に当てはめて具体的な効果を 生成する、3）実際の仮説の効果と比較する. 手法 の詳細な手順については、図 3 を参照されたい.

## 3.1 効果部の生成

生成モデル $P(c \mid p, h)$ は, 前提 $p$ と仮説の要件部 $h$ を与えれ，そこから導かれる効果部 $\hat{c}$ を生成す る.まず、各仮説を要件部と効果部に分割する. 厳
密な分割のルールを同定することはできないが，検証データでは、ほとんどの場合、最後のカンマの後 のどこかで分割されていることがわかる. そこで、最後のカンマ以降の全てのトークンで分割し, それ ぞれを例として扱う，というヒューリスティックを 用いる. 仮説中にカンマが存在しない少数の場合に おいては, 最後から 8 番目のトークンから分割を開始する。

## 3.2 分類

生成の学習が終わった後, 全ての例に関してモデ ルに効果部を生成させる. そして, 生成された効果部と仮説の効果部を連結して一つの系列とし, べク トル表現に変換したものを，線形変換による分類器 で含意と矛盾に分類する.より形式的にいえば， $\hat{c}$ と $c$ という 2 つの入力が与えられたとき, 分類モデ ル $P(y \mid c, c)$ によってラベル $y$ を予測する. これが可能であると考えられる根拠は次のようにまとめら れる. モデルは, 生成の学習の際, 含意例のみを用 いているため, どのような例についても，「含意例 として妥当な効果部」を生成するはずである. した がって，実際に含意例であれば生成された効果部と 仮説の効果部が類似し, 矛盾例であれば相違してい ると期待される. 短い系列である効果部同士を比較 するだけで分類できるため, 問題をより簡単な形に 落とし込めているといえる。

## 3.3 データ拡張

提案手法は，事前学習済み言語モデルの知識を利用することで，データ不足の影響を緩和することを 想定しているが, 法律分野で使用される語彙は通常 の語彙とは大きく異なるため，ドメインデータをな るべく多く学習しなければならないことに変わりは ない. そこで，条文から擬似的な事例を作成する。 [1] は，各条文を個別の規範に分割し、各規範を前提，それ自身を仮説にして含意例を作成し，他方で 各規範を前提，その否定を仮説として矛盾を作成す る.この擬似データの目的は, モデルに文とその否定の違いを理解させることにあるが，われわれはさ らに，モデルに複数の規範から仮説に対応する一つ の規範を選んで効果部を生成させるように擬似デー タを設計する. ここでは，2つの要件効果ペアが接続詞によって連結された条文に注目する.1の例で 説明する．前提中の条文の一つは，「占有回収の訴 えは、 $[. .$.$] 提起することができない。」と，「その承$継人が [...] この限りでない。」という二つの規範か ら成る.この条文を前提とし，規範の内の一つ，た とえば，「占有回収の訴えは、 $[. .$.$] 提起することがで$ きない。」を仮説として含意例ができる. 他方で，こ の条文と，規範の効果「占有を侵奪した者の特定承継人に対して提起することができない。」と「占有 を侵奪した者の特定承継人に対して提起することが できる。(「この限りでない」を書き下した1) $)$ 」を入 れ替え，「占有回収の訴えは、占有を侵奪した者の 特定承継人に対して提起することができる。」とし た偽の規範は矛盾例を成す.もう一方の規範を使っ ても同様のことがいえる.2)

## 4 実験

COLIEE ワークショップ [3] において提供された 法律 NLI データセットを使用する. ${ }^{3)}$ 4) . 図 1 のよう に，前提は一つまたは複数の民法の条文であり，仮説は前提に照らして真偽が定まる一つの言明であ る. ラベルは含意または矛盾の二值であり，中立は 存在しないことに注意されたい. 元の訓練データと テストデータは，それぞれ 806 例と 81 例から成る.本実験では，元の訓練データを 81 例の検証データ と 725 例の訓練データにランダムに分割した. 回答欄の指示などのノイズを除去すると，前提および仮説を連結した平均の文長は約 120 トークンである. 680 例の擬似データは，テキスト生成と分類学習の 両方に使用する。

COLIEE にしたがい，正解率を主たる評価指標と して採用する.また，分析のために精度，再現率， F1 スコアも併記する。

生成モデルとして，一般的な日本語コーパスで事前学習した T5 モデル゙)を使用する。

以下の手法を試す。まず，これまでの state-of-theart である [1]を再現し，これを“Aoki”と表記する。

1）この書き下しは，[1] の提供する辞書を使用して行った.

2）われわれの手法では，このように，「ただし」を含む条文 しかデータ拡張に使用しないため，作成される擬似例の数は 680 となり，[1]の 3,351 例を大きく下回る．しかし，前提中 に複数の規範が含まれ，仮説に直接関係するのはそのうちの 一つ，という性質は法律 NLI特有であり，このような例を集中的に学習することが特に重要であると考えられることか ら，本研究ではこれを採用した.

3）データセットは 2021 年度コンペティションのタスク 4 に 使用されたものである

4） COLIEE データセットでは，人物は A，B のように記号で 表されている，日本語の T5 トークナイザはこの記号を語彙 として持っていないため，人物名をよくある日本の姓に置き 換えた。

5) https://github.com/sonoisa/t5-japanese
表 1 テストデータにおける手法別のスコア. スコアは 10 回の試行の平均. カッコ内は標準偏差. Aoki は [1] の 報告, Aoki† は本論文著者らによる再現

また，[1] と同じアーキテクチャで，擬似データの み提案手法に置き換えた実験を行い，これを“Aoki w our aug"とする. “T5 baseline 1” は, [5] の手法に したがい，前提と仮説を単に連結して T5 に入力 し，含意であれば「はい」，矛盾であれば「いいえ」 を出力するように訓練するという手法である。“T5 baseline 2" は, 生成の学習をスキップし, 前提と仮説を直接 T5 の encoder に入力することを除けば，提案手法と同じである. “T5 baseline 1,2 ” に関しても， われわれのデータ拡張手法と [1] のデータ拡張手法 を試し，それぞれ，“w Aoki’s aug”, “w our aug”を付 け加えて示す. 最後に, 提案手法とほぼ同じだが,分類段階のエンコーダーとして, T5 ではなくBERT を用いる手法である “TG w BERT” の実験を行う.

提案手法は “TG (Ours)” と表記し，データ拡張を 全く行わないものを “TG w $\backslash$ o aug”, [1] の擬似デー タを使ったものを “TG w Aoki's aug”と表記する。 ハイパーパラメータについての詳細は B に示す.

## 4.1 結果

表 1 は 10 回の試行の平均値と標準偏差を示す.提案手法は, 他の手法と比較して, 最も高い精度と 正解率を達成した。“T" と “T5 baseline 2”では提案手法のデータ拡張の方が効果が高く, “Aoki”では [1] のデータ拡張の方が高かった. “T5 baseline 1” で はデータ拡張による有意な差は見られなかった. 提案手法のデータ拡張は, 要件と効果という法律文書 の論理構造をモデルが学習するよう設計されてい
るため，要件に対する効果の生成を行う提案手法の アーキテクチャと組み合わさったとき最も効果を発揮するのは期待通りの結果である。他の手法では,前提に含まれる規範のうちどれが仮説に関連してい るかを明示的には学習しないため，提案手法のデー 夕拡張が奏功しなかったと考えられる。

いずれのデータ拡張を採用するにせよ，提案手法 は “T5 baseline 1” と“2”を上回る性能を見せ，提案手法の成功が $\mathrm{T} 5$ に負うものではないことを示した. “T5 w BERT” は “Aoki” より高い性能を示している.前者が後者と違う点は, 前提・仮説の代わりに生成 された効果部と仮説の効果部を BERT に入力するこ とのみであり, このことから, 生成によって効果部 の比較に問題を収斂させることが有効であることが 確認できる.

## 4.2 分析

表 2 に示した例のように, 提案手法の生成は期待 に沿った挙動を見せている. 38 件の含意例のうち，細部まで仮説と意味的に等しい効果部を生成するこ とに成功した例は 27 件であった. 失敗した 11 件に おいては，1）前提と仮説の間の概念をの関連性を認識するために外部知識を必要とする，例えば，所有物を贈り物として受け取った人は「特別承継人」で ある等，2) 仮説中に 3 人以上の人物が登場する，と いう特徴が見られた. 43 件の矛盾例のうち, モデル が仮説の効果部と明らかに相違する効果部を生成す ることに成功した例は 35 件あった. 失敗した 8 件 においては，1) 法律用語としても日常用語としても 使われるがその意味が全く異なる語彙が含まれる， 2) 要件部が，逆接または順接の接続詞で終わってお り，接続詞に正しく続くような効果部を生成するよ う誘導されてしまう, という特徵が見られた。

## 5 おわりに

本研究では，仮説を要件部と効果部に分割し，前提に基づき，要件部に対する効果部を生成すること を経由して，含意関係を予測する手法を開発した。 これは予測の性能を向上させるとともに，予測のた めの説明を提供するものであり，NLIにとどまらず，質問応答タスクへの発展の可能性を示している.

## 謝辞

貴重なデータを提供していただいた COLIEE 運営者の皆様に感謝いたします. 実験に関しては Tohoku NLP グループの皆様に有益な助言をいただ きました. 感謝いたします.

## 参考文献

[1] Yasuhiro Aoki, Masaharu Yoshioka, and Youta Suzuki. Data-augmentation method for bert-based legal textual entailment systems in coliee statute law task. The Review of Socionetwork Strategies, Vol. 16, pp. 175-196, 2022.

[2] Mi-Young Kim and Juliano Rabelo. Bm 25 and transformerbased legal information extraction and entailment. In ICAIL/COLIEE, 2021.

[3] Juliano Rabelo, Randy Goebel, Yoshinobu Kano, Mi-Young Kim, Masaharu Yoshioka, and Ken Satoh. Summary of the competition on legal information extraction/entailment (coliee) 2021. In ICAIL/COLIEE, 2021.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[6] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

## A 生成の結果

 & Fの承諾が必要である。 & 矛盾 \\

## B ハイパーパラメータ

TG， TGw $\backslash$ o aug， TG w Aoki’s aug に関しては，最適化手法として Adam[6]，損失関数として cross-entropy loss を用い る. 学習率は，生成では 1e-4，分類では 1e-5 と設定する。 バッチサイズは生成では 16, 分類では 32 である.

T5 baseline 1 に関しては，最適化手法として Adam，損失関数として cross-entropy lossを用いる。学習率は，1e-4. バッ チサイズは 64.

T5 baseline 2，T5+BERT に関しては，最適化手法としては Adam，損失関数として cross-entropy loss を用いる. 学習率 は，生成では 1e-4，分類では 1e-5 と設定する。 バッチサイズは，生成では 16，分類では 32 である.

[1] の再現では, [1] で報告されている通りのハイパーパラメータを用いた. 最適化手法は Adam, 損失関数は cross-entropy loss, 学習率は 1e-5, バッチサイズは 12 である.

## C アンサンブルによる予測

[1] はアンサンブルでの予測の結果を報告しているため, 本研究でも同様のアンサンブルを行う. 10 回の試行を行い, その全ての組み合わせに関して，ロジットの算術平均を取ることでアンサンブルを作る。検証データで予測の正解率が 上位 3 位のアンサンブルを ensemble $1 ， 2 ， 3$ と名づけ，テストデータでの正解率を示す. アンサンブルに関しても TG が最も高い性能を示している.

表 3


# Test-time Augmentation for Factual Probing

Go Kamoda $^{1}$ Benjamin Heinzerling ${ }^{2,1}$ Keisuke Sakaguchi $^{1,2} \quad$ Kentaro Inui $^{1,2}$
${ }^{1}$ Tohoku University ${ }^{2}$ RIKEN
go.kamoda@dc.tohoku.ac.jp benjamin.heinzerling@riken.jp
\{keisuke.sakaguchi, kentaro.inui\}@tohoku.ac.jp

## Abstract

Factual probing is a method for checking if a language model "knows" certain world knowledge facts. A problem in factual probing is that small changes to prompts can result in large output changes. Previous work aimed to alleviate this problem by optimizing prompts via text mining or finetuning. However, such approaches are relationspecific and do not generalize to unseen relations types. Here, we propose to use test-time augmentation (TTA) as a relation-agnostic method for reducing sensitivity to prompt variations by automatically augmenting and ensembling prompts at test time. Experiments show that, while TTA reduces overconfidence in incorrect generations, accuracy increases only in few cases. Error analysis reveals the difficulty of producing high-quality prompt variations as the main challenge for TTA.

## 1 Introduction

Pre-trained language models (LMs) such as BERT [1] and T5 [2] implicitly encode world knowledge from the training corpus in their parameters. Petroni et al. [3] demonstrated that world knowledge can be retrieved from a masked LM via cloze-style prompts, e.g., "The capital city of Alaska is [MASK]."

However, since small changes to the prompt can lead to drastic output changes [4] it is difficult to distinguish whether the model did not learn a fact during pre-training or if it did, but does not output the correct answer with the given prompt. Subsequent work aimed at finding better prompts for factual probing, typically by employing supervised learning to find an optimal input token sequence of tokens for a given relation $[5,6,7]$. Since these approaches require supervision for each relation, they do not generalize to unseen relation types, and hence are not practically appealing.

Figure 1 With (right) and without (left) TTA for factual probing. The orange components are added in our method. The Augmenter automatically augments the original prompt. The aggregator takes the generations from all prompts as input and outputs one generation with the highest score.

In this paper, we apply the idea of test time augmentation (TTA) to the factual probing task. TTA is a method used in the field of computer vision, which augments input images through simple operations (flipping the image, changing the contrast, etc.) at test time. The augmentations are helpful in covering overconfident and incorrect outputs. Krizhevsky et al. [8] used test-time augmentation for ImageNet classification, and subsequent work in the field of computer vision $[9,10,11]$ utilizes test-time augmentation to get better performance in accuracy or robustness. The motivations are common with factual probing tasks; we also want language models to be robust to wordings and be less overconfident. To apply TTA to the task, an augmenter and an aggregator are added to the stream of the model prediction (Figure 1). First, the input prompt is automatically augmented by the augmenter. The augmented prompts are then individually fed to a model. The aggregator will aggregate the model's output to determine the final result. We 1) evaluated the result's exact match accuracy and investigated the impact of the number of augmented prompts on the accuracy and 2) inspected the change in the
confidence of the generations.

Our results showed that the greater the number of augmented prompts, the better the performance when implementing TTA. TTA was also effective at reducing the number of overconfident and incorrect outputs. In terms of accuracy, TTA was only effective in a few cases. We analyzed the cause of this to be the poor quality of augmented prompts declines the accuracy of the model without TTA. ${ }^{1)}$

## 2 Setup

## 2.1 Dataset

We constructed a dataset of 12,500 relational facts from wikidata. Each fact is composed of a subject, a relation, and an object. We filtered out facts with multiple objects to collect unique facts. To reduce the bias of the distribution of objects, we adopted truncated sampling to select 500 instances per predicate. We provided a human-made prompt template for each relation (e.g., "What is the capital city of \{subject $\}$ ?”).

## 2.2 Augmenter

We used three types of prompt augmentations. The first type is synonym replacement, which replaces words in the input prompt with a synonym. For instance, the word "buried" was replaced with "inhumed" by this type of augmentation ${ }^{2)}$. Candidate synonyms are provided from GloVe [12] embedding or WordNet [13]. The second augmentation method we used is back-translation. We used French, Russian, German, Spanish, and Japanese as the target language. The third augmentation method is stopwords-filtering.

From a single original input, 1 prompt is augmented by stopwords-filtering, and 4 prompts are augmented by each of the other methods, providing a maximum total of 29 augmented prompts.

## 2.3 Model

We ran experiments on the following pre-trained language models: Google's T5 for Closed Book Question Answering (small, large, 3b, 11b)[14], Google's FLAN models (small, xl)[15], and T0_3B model from Big Science[16].

Models decode with beam-search where the beam size

1) https://github.com/cl-tohoku/TTA4FactualProbing

2) Prompt \#7 in table 5 in appendix

Figure 2 The relation between the number of prompts and the average relative effect of TTA. A relative effect of 1.0 means no change in accuracy between with and without TTA.

is fixed to 10 and return generated sequences with scores. Scores are in the order of log-likelihood (negative), and the exponentiated scores are in the order of probability.

## 2.4 Aggregator

We aggregate generations by taking the sum of generation probability.

$
\begin{gathered}
s\left(y^{\prime} \mid x, r\right)=\sum_{i=1}^{K} P_{\mathrm{LM}}\left(y^{\prime} \mid p_{i}\right) \\
y=\operatorname{argmax}(s(\cdot \mid x, r))_{y^{\prime}}
\end{gathered}
$

The model output with generation probabilities $\left(P_{\mathrm{LM}}\right)$ for all augmented prompts $\left(p_{i}\right)$ will be fed into the aggregator to choose one final prediction. The aggregator recalculates the generation score $(s)$ by taking the sum of the generation probabilities of identical generations (Eq.1). The final prediction of an object ( $y$ ) for the fact with subject $x$ and relation $r$ is the one with the highest score (Eq.2).

## 2.5 Evaluation Metric

We measure the effect of TTA by the relative difference of exact match accuracy. To prevent division by zero, a constant of 1 is added to both the numerator and the denominator (Eq.3). The metric judges correct only if the final generation outputted is identical to the gold label provided in the dataset. Evaluation on flan models is an exception, and we adopt case-insensitive match accuracy.

$
\text { relative effect }=\frac{(\# \text { corrects w } / \text { TTA })+1}{(\# \text { corrects w/o TTA })+1}
$

## 3 Results

By augmenting prompts, we got 9 types of prompts (1 original, 1 stopwords-filtering, 2 synonym replacement, 5

Table 1

} \\
& & Incorrect \\

\cline { 2 - 4 } TTA & Incorrect & 2.5 & 89 \\

Table 2 Confusion matrix of accuracy. (model: t5-11b)

back-translation). We evaluated all $511\left(=2^{9}-1\right)$ combinations of the 9 augmentation types for each model. Figure 2 shows relationships between the number of prompts and the average relative effect of TTA. As the number of prompts increases, the accuracy converges to a particular value, suggesting that the more augmentation we provide, the greater the accuracy gets. On the 15 -small model, TTA raised the model accuracy as expected. There was a small improvement on the T0_3b and t5-3b models. In other models, TTA could not increase the accuracy even when the original prompt is augmented into 30 prompts.

Table 1 and Table 2 shows the confusion matrix of the t5small model, which had the greatest increase in accuracy when applied TTA, and the t5-11b model which has the largest number of parameters out of all models we investigated. The tables compare the number of corrects/incorrect with and without TTA. Data for "with TTA" is the accuracy after aggregating all 30 prompts.

## 3.1 Positive Effects

Table 3 shows one example of TTA increasing the accuracy on the t5-11b model. The model generated an incorrect label from the original prompt but was able to cover it up by generating the gold label from some of the augmented prompts. This is an ideal behavior when applying TTA to the factual probing task.

Confidence One of the aims to apply TTA was to reduce the number of overconfident and incorrect generations. In this section, we investigate the effect of TTA on the confidence of the model.

In our method, the aggregator re-ranks generations by calculating the sum of generation probability for all identical generations for each fact instance. The confidence of

Figure 3 Precision-recall curve when changed confidence threshold (model: t5-11b). Low recall means a high confidence threshold.

the aggregator can be expressed by the ratio of the score to the final output and the sum of the calculated scores (Eq.4).

$
\text { confidence }=\frac{\text { score }_{\text {final output }}}{\sum_{\text {candidates }} \text { score }}
$

After we calculated the confidence, we put the rankings of the confidence into bins of size 50 without considering whether the generation was correct or incorrect. We express $\operatorname{bin}_{i}(1<i<250, i \in \mathbb{N})$ as the bin with the $i^{t h}$ highest confidence, \#corrects $i$ as the number of correct generation in $\operatorname{bin}_{i}$, and \#incorrects ${ }_{i}$ as the number of incorrect generation in $\operatorname{bin}_{i}$. When we treat $i$ as a confidence threshold, precision and recall can be defined by Eq. 5 and Eq.6.

$
\begin{array}{r}
\text { Precision }_{i}=\frac{\sum_{j=1}^{i} \#^{i} \text { corrects }_{j}}{\sum_{j=1}^{i} \text { \#corrects }_{j}+\sum_{j=1}^{i} \text { \#incorrects }_{j}} \\
\operatorname{Recall}_{i}=\frac{\sum_{j=1}^{i} \# \text { corrects }_{j}}{\sum_{j=1}^{250} \# \text { incorrects }_{j}}
\end{array}
$

Figure 3 shows the calculated precision-recall curve for $i$ in the range $1-250$. Without TTA, the model precision was relatively low when the confidence threshold was high (= when the recall was small). This means that the model is outputting incorrect generations with high confidence. After applying TTA, the precision of the left side of the figure improved, indicating that TTA effectively reduced overconfident incorrect generations. In addition, the precision rose monotonically as the confidence threshold increased. This suggests that confidence can work as a convenient parameter to control model precision.

## 3.2 Negative Effects

When the original prompt elicited the gold label but the aggregation result outputs the incorrect label, the ac-

Table 3 Example of TTA improving performance. The gold label for this fact instance is "South America", and the aggregator returned " South America".

Table 4 Example of TTA degrading performance. The gold label for this fact instance is " Heidelberg ", but the aggregator returned

"Erlanden, Germany". The results of other prompts are in the appendix.

curacy declines. Table 4 shows an example of instances that caused the accuracy to decline. Only 9 out of 30 prompts are on the table, and others are in the appendix. The 30 prompts generated 18 unique generations as the generation with the highest score. 7 prompts generated "Erlanden, Germany", and 4 prompts generated "Heidelberg", the gold label.

When we look at the prompts in table 4 , not all augmented prompts keep the semantics of the original prompt. For example, prompt \#1 in the table replaced the word "Where" with "Accordingly", which is not a natural synonym. Prompt \#7 uses the word "inhume", which is a synonym of "bury", but the use is grammatically incorrect. Prompt \#15 is asking about a person whose name is "Hans-George Gadmer" and not "Hans-Georg Gadamer". The augmented prompt by back-translation with Japanese as the target language is hardly a paraphrase of the original prompt. Although the purpose of implementing TTA is to cover up incorrect generations by some prompts, expecting the behavior using numerous augmented prompts with low quality is a harsh setting. The augmented prompts are expected to maintain the semantic components of the original prompts while varying the syntactic structure or vocabulary. It is a crucial issue to produce paraphrases with high quality.

## 4 Conclusion

We applied the idea of test-time augmentation to the factual probing task on pre-trained language models to increase the model's accuracy and robustness. We used synonym replacement, back-translation, and stopwordsfiltering to create augmented prompts automatically. Out of the 7 models we investigated, TTA had a significant effect only on the t5-small model. On other models, TTA had a negative effect in terms of accuracy. The unsound effect of TTA is anticipated to result from the poor quality of automatically augmented prompts. We want to examine deeper into the quality of augmented prompts. Searching for a better method to produce high-quality paraphrases would also be indispensable.

In terms of confidence of the model, our results showed that TTA effectively reduced the number of incorrect outputs. In addition, results indicated that TTA enables confidence to be the parameter that could conveniently control the model precision.

## Acknowledgements

This work was supported by JST CREST Grant Number JPMJCR20D2, Japan, and JSPS KAKENHI Grant Numbers $21 \mathrm{~K} 17814,21 \mathrm{~K} 21343$, and $22 \mathrm{H} 00524$. We would like to thank the members of the Tohoku NLP for their frequent participation in discussions during the course of this research.

## References

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[2] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[3] Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu, and Alexander Miller. Language models as knowledge bases? In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2463-2473, Hong Kong, China, November 2019. Association for Computational Linguistics.

[4] Boxi Cao, Hongyu Lin, Xianpei Han, Fangchao Liu, and Le Sun. Can prompt probe pretrained language models? understanding the invisible risks from a causal view. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5796-5808, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[5] Taylor Shin, Yasaman Razeghi, Robert L. Logan IV, Eric Wallace, and Sameer Singh. AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4222-4235, Online, November 2020. Association for Computational Linguistics.

[6] Zhengbao Jiang, Frank F. Xu, Jun Araki, and Graham Neubig. How Can We Know What Language Models Know? Transactions of the Association for Computational Linguistics, Vol. 8, pp. 423-438, 072020.

[7] Zexuan Zhong, Dan Friedman, and Danqi Chen. Factual probing is [mask]: Learning vs. learning to recall. In North American Association for Computational Linguistics (NAACL), 2021.

[8] Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton. Imagenet classification with deep convolutional neural networks. In Proceedings of the 25th International Conference on Neural Information Processing Systems - Volume 1, NIPS'12, pp. "1097-1105”, Red Hook, NY,
USA, 2012. Curran Associates Inc.

[9] Guotai Wang, Wenqi Li, Michael Aertsen, Jan Deprest, Sebastien Ourselin, and Tom Vercauteren. Test-time augmentation with uncertainty estimation for deep learningbased medical image segmentation, 2018.

[10] Fábio Perez, Cristina Vasconcelos, Sandra Avila, and Eduardo Valle. Data augmentation for skin lesion analysis. 082018.

[11] Kazuhisa Matsunaga, Akira Hamada, Akane Minagawa, and Hiroshi Koga. Image classification of melanoma, nevus and seborrheic keratosis by deep neural network ensemble. 032017.

[12] Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, Doha, Qatar, October 2014. Association for Computational Linguistics.

[13] Chakaveh Saedi, António Branco, João António Rodrigues, and João Silva. WordNet embeddings. In Proceedings of the Third Workshop on Representation Learning for NLP, pp. 122-131, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[14] Adam Roberts, Colin Raffel, and Noam Shazeer. How much knowledge can you pack into the parameters of a language model? In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5418-5426, Online, November 2020. Association for Computational Linguistics.

[15] Jason Wei, Maarten Bosma, Vincent Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, and Quoc V Le. Finetuned language models are zeroshot learners. In International Conference on Learning Representations, 2022.

[16] Victor Sanh, Albert Webson, Colin Raffel, Stephen Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Arun Raja, Manan Dey, M Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma, Andrea Santilli, Thibault Fevry, Jason Alan Fries, Ryan Teehan, Teven Le Scao, Stella Biderman, Leo Gao, Thomas Wolf, and Alexander M Rush. Multitask prompted training enables zero-shot task generalization. In International Conference on Learning Representations, 2022.

Table 5 Example of TTA declining the accuracy. The gold label for this fact instance is " Heidelberg ", but the aggregator returned

"Erlangen, Germany ". The results of other prompts are in the appendix.

## Appendix

## Augmentation Methods

Synonym Replacement We use a python library "TextAttack". For synonym replacement using wordnet, we use WordNetAugmenter provided in the library. For synonym replacement using GloVe embedding, we use the transformation method WordSwapEmbedding to create an augmenter.

Back-translation We first translate the original prompt to 8 candidates in the target language. Each candidate is then translated back into 8 candidates in the source language, getting 64 back-translated prompt candidates in total. We adopt the round-trip probability as the score of the backtranslated prompt candidates and select 4 candidates using the aggregation method mentioned in section 2.4. For translations, we used Marian MT models ${ }^{3}$ ). The Marian MT models occupy roughly the same memory size as the t5-small model.
Stopwords-filtering This method drops stopwords and diacritics from the original prompt. We use a python library "Texthero" for the processing.

## Aggregator

Counting the number of appearances in the generations is one method of aggregation. We did not use count-based aggregation because the possibility of having multiple generations with the same counts is high. The phenomenon is predicted to occur more when we make the model output more sequences for each prompt. In addition, this method cannot take confidence into account as all generations by beam-search are equally weighted.

## Result

Table 5 shows the result of augmented prompts that we did not display on table 4.

3) https://github.com/Helsinki-NLP/Opus-MT


# 共想法による話し言葉・書き言葉における修辞機能の特徵 ーテーマとの関係に着目して一

田中 弥生 ${ }^{1}$ 小磯 花絵 1 大武 美保子 ${ }^{2}$
1 国立国語研究所 2 理化学研究所
\{yayoi,koiso\}@ninjal.ac.jp mihoko.otake@ riken.jp

## 概要

高齢者の認知的健康につながる会話支援手法であ る「共想法」による談話を対象とした分析から，談話のテーマによって用いられやすい修辞機能の種類 に差が見られたことを受け，本研究では，同テーマ の小作文においても同種の偏りが見られるかを検討 した. 分析の結果，テーマに深く関わる修辞機能に ついては談話と小作文に共通した偏りが見られたの に対し，語る／書く状況の違いに起因すると見られ る修辞機能の使用の違いも観察された。このことは 結果として共想法にもとづく言語使用により多様な 修辞機能の使用につながる可能性を示唆する.

## 1 はじめに

本発表は，「共想法」における話し言葉と書き言葉での修辞機能の使用の様相をテーマごとに確認 し，これまで話し言葉を対象として行ってきた検討 を書き言葉にも広げて異同を確認するものである。共想法は，高齢者の認知的健康につながる会話を確実に発生させることができるよう工夫を加えた会話支援手法 [1],[2] で， 1 対 1 や少人数のグループで 行う. 設定されたテーマに沿って，準備した写真な どを持ち寄り，参加者全員のもち時間を均等に決 めて，話題提供する時間 (独話)（以下「話題提供」） と，質疑応答する時間 (会話)（以下「質疑応答」）に 分けるという 2 つのルールに沿って行われる. この ように「話す」だけでなく「聞く」「質問する」「答 える」をバランスよく行うという環境において，言語機能を多角的に活用する効果があると考えられて いる。また，複数のテーマで共想法を重ねる中で，特定の修辞機能に偏らないバランスのとれた発話が なされることも重要であると考えられる。

修辞機能の確認には，修辞機能分析の分類法 [3] を用いる。修辞という語は技巧的な意味合いで用い
られるが，本研究では修辞機能を「話し手書き手が 発信する際に，言及する対象である事態や事物，人物等を捉え表現する様態を分類し概念化したもの」 と定義する。修辞機能分析では，修辞機能ととも に，脱文脈度が特定される．文脈や脱文脈という用語は研究分野によって使われる意味が異なるが，本研究では脱文脈度を，「発話がコミュニケーション の場「いま・ここ・わたし」にどの程度依存してい るか」の程度を表す概念とする。

これまで，共想法の中核ともいえる「話題提供」 と「質疑応答」の談話を修辞機能と脱文脈化の観点 から分析してきた [4][5][6]. このうち田中ほか [6] では，「話題提供」と「質疑応答」の分析から，テー マによって修辞機能の使用に特徴があり，設定する テーマを調整することで特定の修辞機能に偏らず多様な修辞機能の使用につながる可能性のあることが 分かった。しかし共想法では，帰宅後にそのテーマ について 200 字程度の要旨（以下「小作文」）にまと めるという課題を実施する場合がある。

そこで本発表では，同じテーマの書き言葉である 「小作文」でも話し言葉と同様の修辞機能が用いら れるか否かを確認する。共想法は，単なる雑談とは 異なる点で認知的健康につながる活動とされてい る. 多様な修辞機能の使用が認知的健康によりつな がるとすれば，グループで実施する「話題提供」等 の談話後に書く「小作文」の修辞機能の使用が「話題提供」などと同じか否かを確認することは，共想法における小作文活動の役割を確認するとともに， テーマ設定の検討への知見となると考えられる。

## 2 分析対象と分析方法

## 2.1 分析対象

本発表では，共想法の 1 グループ 4 名のメンバー による「好きなもの」「近所の名所」「新しく始める

こと」の 3 テーマについての「小作文」と独話の 「話題提供」を分析の対象とする。

## 2.2 分析方法

修辞機能分析の分類法によって，1. 分析単位と なるメッセージ (概ね節) に分割してその種類から分析対象を特定し, 2. 発話機能, 時間要素, 空間要素 を認定し，その組み合わせから，3. 修辞機能の特定 と脱文脈度の確認を行う。

## 2.3 分析対象の特定

分析単位の「メッセージ」は，概放に相当し，「主節」(単文と主節)，「並列」(主節以外で節の順番 を変更することが可能な並列節，従属度の低い従属節),「従属」(従属度の高い従属節),「定型句類」(相桘や定型句，述部がなく復元ができないものや挨拶 など) に分類する．基本的に「主節」と「並列」をこ の後の分類対象とする.

## 2.4 発話機能・時間要素・空間要素の認定

「主節」及び「並列」と認定されたメッセージにつ いて, 発話機能 (提言・命題) ・時間要素 (述部の時制: 現在 - 過去 - 未来意志的 -未来非意志的 - 仮定 .習慣恒久) ・空間要素 (述部に対する主体や主題: 参加 - 状況内 - 状況外・定義)を認定する. 表 1 に示し たように, これらの組み合わせから, 修辞機能と脱文脈化指数が特定される．時間要素は「いま」から の時間的距離を，空間要素は「ここ・わたし」から の空間的距離を示す.いまここわたしに近い修辞機能【行動】の脱文脈化指数が [01] で最も低く, 空間的にも時間的にも遠い【一般化】 [14] が最も高い.

表 1 発話機能・時間要素・空間要素からの修辞機能と脱文脈化指数の特定

 \\

2 名の作業者によってアノテーションを行い，判断が分かれたものは筆者の 1 人が決定した.

## 2.5 予想される特徴

「話題提供」は話し言葉で「小作文」は書き言葉で あるが，聞き手，読み手を想定したものである点は 共通しており，基本的にはテーマに特徴的な修辞機能が共通して用いられることが予想される。その一方で，話し言葉と書き言葉というモードの違いによ り，「話題提供」と「小作文」とでは異なる修辞機能 の使用が見られる可能性も考えられる.

## 3 分析結果

表 2 に，「話題提供」と「小作文」のテーマごとの 修辞機能の出現頻度を示す.

表 2 各テーマの修辞機能と脱文脈化指数の出現頻度

テーマと修辞機能との関係を調べるために，対応分析を行った ${ }^{1)}$. 分析には R の corresp 関数を用い た.「話題提供」の結果を図 1 に「小作文」の結果 を図 2 に示す。

図 1 から「話題提供」の特徴として以下のことが わかる.

・3つのテーマの間に【説明】[13]が位置してお り，いずれのテーマも共起している.

・テーマ「好きなもの」では【自己記述】[07]お よび【観測】 [08] と共起している.

・テーマ「近所の名所」では【状況外回想】[10] と共起している.

・テーマ「新しく始めること」では【状況内回想】[03] と【計画】[04] と共起している.

図 2 から「小作文」の特徴として以下のことがわ

1）出現頻度がほとんど出現しない修辞機能は除外した（「話題提供」では 10 以下，「小作文」では 5 以下).

図 1 「話題提供」の修辞機能の対応分析結果 (図ではテーマを略して＜名所＞のように表示) かる.

・テーマ「好きなもの」では【状況内回想】[03] と【自己記述】[07] と共起している.

・テーマ「近所の名所」では【説明】 [13] と【状況外回想】[10] が共起している.

・テーマ「新しく始めること」では【観測】[08] と共起し，【計画】[04]とも関わりが見られる.

## 4 考察

本節では，テーマによる修辞機能の使用の特徴 と, 話し言葉書き言葉というモードによる違いの 有無を検討する． 3 節でわかった各テーマの話し言葉・書き言葉に特徴的な修辞機能を表 3 にまとめた.

表 3 から，どのテーマにおいても，話し言葉であ る「話題提供」と書き言葉である「小作文」に共通 する修辞機能が見られることが分かる. このこと は，テーマに特徴的な修辞機能がモードによらず見 られることを意味している。その一方で，話し言葉 のみ，あるいは書き言葉のみに見られる機能も存在 していることが分かる. このことは, 共想法の中核

図 2 「小作文」の修辞機能の対応分析結果 (図ではテーマを略して＜名所＞のように表示)

ともいえる「話題提供」等の話し言葉とは異なる修辞機能が「小作文」で用いられ，結果として多様な 修辞機能の使用につながる可能性を示唆する.

以下では，「話題提供」と「小作文」における修辞機能使用の異同について見ていく.

## 4.1 モード共通の修辞機能

いずれのテーマでも，モードに関わらず共通して みられた修辞機能は，そのテーマとの親和性の高い ものであった. 例えばテーマ「好きなもの」では，自分の好きなものを伝えるために自然に使われるで あろう【自己記述】[07]がモードに共通してみら れた。

1)（話題提供）あの，常に持ち歩いてる感じです ね.

〔発話機能：命題 \& 時間要素：習慣恒久(常に持ち歩 いてる感じですね) \&空間要素 : 参加 ( $\phi=$ 私は) ] $\rightarrow$ 【自己記述】[07]

2)（小作文）どこに行くにも自家用車を利用して いる.

〔発話機能: 命題 \& 時間要素: 習慣恒久 (利用して いる) \&空間要素 : 参加 $(\phi=$ 私は $)] \rightarrow$ 【自己記述】[07]

「近所の名所」では，【状況外回想】 [10]と【説明】 [13] が共通してみられた. 名所という個人的ではな いものを表現し，説明する修辞機能である。

3) (話題提供) 近所の方が皆さん, 清正公さんっ

ていってまして，

〔発話機能：命題 \& 時間要素 : 習慣恒久(いってまし

て) \& 空間要素 : 状況外 (近所の方が)】 $\rightarrow$ 【説明】

[13]

4) (小作文）文京区役所のそばに小石川源覚寺と 言うお寺があります.

〔発話機能: 命題 \& 時間要素: 習慣恒久(ありま す) \&空間要素 : 状況外 (お寺が)】 $\rightarrow$ 【説明】[13]

5)（話題提供）お化け屋敷みたいのがありました けど，

〔発話機能：命題 \& 時間要素 : 過去 (ありました) \&空間要素: 状況外 (お化け屋敷みたいのが)】 $\rightarrow$ 【状況外回想】[10]

6) (小作文) 3 歳ごろまで水戸藩邸で暮らしていた

〔発話機能: 命題 \& 時間要素: 過去 (暮らしてい た) \&空間要素: 状況外 $(\phi=$ 徳川慶善公は) $] \rightarrow$【状況外回想】[10]

「新しく始めること」では，決意や予定を表現す る修辞機能として【計画】[04] がモードに関わらず 共通してみられた。

7) (話題提供) 行けるとこは行ってみたいなと 思って，思ってます。

〔発話機能: 命題 \& 時間要素: 未来意志的 (行ってみ たいな) \&空間要素 : 参加 $(\phi=$ 私は) $\rightarrow$ 【計画】 [04]

8) (小作文) 最近始めたボーリングを体力の続く 限り続けようと思いました.

〔発話機能 : 命題 $\&$ 時間要素 : 未来意志的 (続けよ う) \&空間要素 : 参加 $(\phi=$ 私は) $\rightarrow$ 【計画】[04] このように，モードに関わらずテーマによって使用される修辞機能に偏りがあることがわかった．共想法によりできるだけ多様な修辞機能の使用を促す ためには，修辞機能との親和性を想定してテーマを 選ぶことも重要であろう.

## 4.2 「小作文」に特徵的な修辞機能

「小作文」に特徴的であったのは，テーマ「好きな もの」における【状況内回想】 [03] と「新しく始め ること」における【観測】[08] である.「新しく始 めること」の【観測】 [08] は出現頻度は高くないた め，「好きなもの」の【状況内回想】[03]について 確認していく．以下がその例である。

9) (小作文) 同級生の従兄弟と一緒に作ったのが オーディオの始まりだった.〔発話機能：命題 \& 時間要素：過去（始まりだっ た) \&空間要素 : 状況内 (作ったのが) 〕 $\rightarrow$ 【状況内回想】[03]

10) (小作文）父親の形見として約 20 年間金時計を 使っていましたが，

〔発話機能 : 命題 \& 時間要素 : 過去 (使っていまし た) \& 空間要素 : 参加 $(\phi=$ 私は) 〕 $\rightarrow$ 【状況内回想】[03]

自分の好きなものについて述べる際に，そのもの との出会いや，過去の思い出などを語るようであ る.ここで例にあげた「小作文」の筆者の「話題提供」での修辞機能を確認すると，次のように【観測】[08]を使用していることが分かる.

11) (話題提供)この写真はですね，今，毎日使って る，えー，ラジオなんですけども，。

〔発話機能：命題 \& 時間要素：習慣恒久(ラジオな んですけども) \&空間要素 : 状況内 (この写真は) ]

$\rightarrow$ 【観測】[08]

12）（話題提供）まずこちらが腕，腕時計なんです けど，

〔発話機能：命題 \& 時間要素 : 習慣恒久(腕時計なん です) \&空間要素 : 状況内 (こちらが) 〕 $\rightarrow$ 【観測】 [08]

この事例から，「好きなもの」というテーマにおい ては，「話題提供」では目の前で示している写真にう つっているものについて語ることが特徴的で，「小作文」はその目の前の写真という文脈から離れた時空を語ることが特徴的であると言えるだろう。.この ことは，「話題提供」が話し言葉で，「小作文」が書 き言葉であるというモードの違いに関わることでは あるが，グループで写真を見ながら行われる「話題提供」という場の性質と，活動後に帰宅して一人で 書くという場の性質によるものとも考えられる。

## 5 おわりに

共想法における「話題提供」と「小作文」では， モードによらずテーマに共通して使用される修辞機能がある一方，異なるものもあることがわかった. このことは，共想法において話し言葉のみならず書 き言葉の活動も行う事によって多様な修辞機能の使用につながる可能性を示唆している. 本発表では 1 グループ 4 名の 3 テーマによる分析であった. 今後他のグループや他のテーマでの分析を行い，修辞機能の観点からの検討を加えていく予定である.

## 謝辞

本研究は JSPS 科研費 JP19K00588, JP18KT0035, JP20H05022, JP20H05574，JP22H00544，JP22H04872 JST 研究費 JPMJCR20G1, JPMJPF2101, JPMJMS2237 の助成を受けたものです. 共想法に参加頂いた方に 感謝申し上げます。また，国立国語研究所のプロ ジェクト「多世代会話コーパスに基づく話し言葉の 総合的研究」によるものです.

## 参考文献

[1] M. Otake-Matsuura, S. Tokunaga, K. Watanabe, M. S. Abe, T. Sekiguchi, H Sugimoto, T Kishimoto, and T Kudo. Cognitive Intervention Through Photo-Integrated Conversation Moderated by Robots (PICMOR) Program: A Randomized Controlled Trial. Frontiers in Robotics and AI, Vol. 8, , 2021. Publisher: Frontiers.

[2] 大武美保子. 介護に役立つ共想法: 認知症の予防と回復のための新しいコミュニケーション. 中央法規出版, 2012.

[3] 田中弥生. 修辞機能と脱文脈化の観点からの日本語談話分析. 博士論文, 東京大学大学院総合文化研究科, 2022.

[4] 田中弥生 - 小磯花絵 - 大武美保子. 共想法談話の脱文脈化観点からの検討. 言語処理学会第 27 回年次大会発表論文集, pp. 569-573, 2021.

[5] 田中弥生・小磯花絵 ・ 大武美保子. 脱文脈化の観点か ら見た共想法に基づく高齢者談話の分析. 国立国語研究所論集, Vol. 22, pp. 137-155, 2022.

[6] 田中弥生・小磯花絵・大武美保子. 共想法談話のテー マと修辞機能の関連についての分析. 言語処理学会第 28 回年次大会発表論文集, pp. 1439-1443, 2022.


# A Statistical Analysis of English in Contemporary J-pop: Time Series of Lyrics and Identity, 2012-2021

David Calica Mariko Takahashi ${ }^{1}$
${ }^{1}$ Faculty of International Studies, Setsunan University
ddcalica@gmail.com mariko.takahashi@ilc.setsunan.ac.jp
}

\begin{abstract}
This paper analyzes the amount and variety of English within contemporary Japanese popular music (J-pop) over time and across a variety of artist identity factors. First, this study identified the quantity and variety of English tokens in the annual top 50 best-selling J-pop singles from 2012-2022. Over 70\% of songs analyzed contained English lyrics, but songs on average had only 15\% of total tokens in English. The average yearly amount of English increased by 6 percentage points from 2012 to 2022. Artist gender, K-pop affiliation, and group/solo status were all statistically significant with respect to amount of English in the songs.
\end{abstract
## 1 Introduction and Background

Mixing English in the lyrics of songs in the local language is a phenomenon that has been widely observed in many countries (Moody, 2020). This use of English has been considered as an indication of bilingual creativity, and various functions have been identified. For example, Chan (2009) pointed out that mixing English in Cantonese popular songs achieved functions such as highlighting part of the lyrics and producing rhyming. Luk (2013) added that English in the lyrics was also used for language play through phonological and semantic crossover between English and Cantonese. Indeed, researchers have claimed that code ambiguation, or the construction of messages in two languages at the same time, is a prime example of creative use of English in popular songs of Asia including Korea (Lee, 2022) and Japan (Moody \& Matsumoto, 2003; Moody, 2006). Another function of using English in popular songs has been to construct and project the intended identities of the singers (Benson, 2013; Kachru, 2006; Jin \& Ryoo,
2014; Stanlaw, 2021).

Previous studies on this issue have primarily taken a qualitative approach to analysis. As such, Takahashi and Calica (2015) integrated a quantitative aspect and conducted an analysis of $100 \mathrm{CD}$ singles that sold the most in Japan in 2013. The study selected gender, which had been one of the topics discussed in relation to Japanese popular music (e.g., Cogan \& Cogan, 2006; Toth, 2008), as a potential factor contributing to the use of English. The analysis showed that more than $70 \%$ of the songs contained English in their lyrics and that male performers used English statistically at a higher proportion than female performers. In addition, younger male performers used more English in their lyrics compared to older male performers. The study then pointed out that English in Japanese popular songs (J-pop) fulfilled both referential and affective functions.

However, it remains to be seen if the use of English in J-pop has fluctuated over time. There is limited research tracing the change of the lyrics of popular songs from a quantitative perspective. One such example includes a study by Anglada-Tort, Krause, and North (2021), which utilized machine learning techniques to analyze the transition of gender distribution of popular songs and its relation to the content of the lyrics, but did so within a native-English UK context. As statistical research on English within musical contexts where English is not an official language is even more limited, this study aims to describe and analyze the use of English in top Japanese popular songs in the period of 2012 to 2021 by using a statistical approach.

## 2 Methodology

First, the 50 best-selling CD singles were identified for each year from 2012 to 2021 based on the Oricon
annual chart . Second, for each of the 500 songs, lyrics were prepared in the text file format. Third, MeCab was used for dividing lyrics into tokens (http://taku910.github.io/mecab/). Each file was then checked manually to correct errors resulting from sentence fragments, colloquial expressions, and unique use of words. Fourth, AntConc (Anthony, 2020) was used for generating a word list and counting the number of tokens and types for each song. Finally, the number of English and Japanese tokens and types were calculated based on the word list.

Each song was tagged with its Oricon list year, what Oricon rank the song was listed at, whether the song was performed by a male or female lead singer, whether the song was performed by a group or solo artist, and whether the song was produced by a Korean company (K-pop). For purposes of this paper, Korean-based songs as published in Japan and listed on the Oricon top 50 are tagged as "K-pop".

For statistical analysis, each song's token, type, year, and artist factor data was input into Excel and $\mathrm{R}$ and analyzed for summary statistics. Finally, a multi-factored linear regression model was created using percent of each song's tokens as the dependent variable and artist factors and year as the independent variables.

## 3 Results and Analysis

We analyzed a total of 500 songs, spanning 10 years. $61 \%$ of songs were performed by a male-lead, $94 \%$ of songs were sung by a group of $2+$ members, and $8 \%$ of songs were categorized as K-pop.

Most of the songs contained some English, but overall English was low within each song when compared with native Japanese (see also Figure 10 in Appendix).

73\% of the 500 songs contained English tokens. On average, $15 \%$ of tokens per song were English and 11\% of types per song were English. Songs ranged from 0 to $100 \%$ English, with $27 \%$ of songs containing 0\% English and $0.6 \%$ of songs containing $100 \%$ English.

Figure 3 shows a distribution of the songs based on the percentage of song tokens in English. Nearly two-thirds (61\%) of songs analyzed contain between $0 \%$ and $10 \%$ English, with the vast majority (94\%) containing less than 50\% English. Although English continues to play a significant role in conveying messages and musicality in contemporary J-pop, it overall remains a predominately minor language compared to native Japanese.

## 3.1 Trends over Time

Compared with Takahashi and Calica (2015) this paper tasked to answer how the use of English in J-pop has changed over time. To do so, we developed a time series calculating the average English usage year-over-year (see also Figure 11 in Appendix for \% of types over time).

Over the past 10 years, the amount and variety of English has increased over time. Both tokens per song and types per song increased, as denoted by the significantly positive slope trendline. In 2012, songs on average had $12 \%$ of tokens as English, while in 2021, songs on average had $18 \%$ of tokens as English.

There is a $+6-7$ percentage points ( $\mathrm{pp}$ ) increase of English tokens and types between 2019 and 2020, which represents the largest year-over-year increase in the data. 2020 was a notable year for the music industry due to COVID-19 effects on global cultures and markets. In the next section, we note other localized effects such as gender and group factors in 2020 that also played a role in this English increase.

## 3.2 Gender as Related to English

In Takahashi and Calica (2015), performer gender was found to be a significant factor in understanding the use of English in 2013 songs. This trend continues when looking across the 2012-21 timeframe.

Male performers used a higher percentage and higher variety of English in their songs, with the average male song having +10 pp more English and +8pp more types. It was theorized in Takahashi and Calica (2015) that a prototypical J-pop male image is constructed through a variety of factors, potentially including heavier English usage. Given a higher statistical usage, it does appear that the modern J-pop male image remains more strongly tied with English usage.

The relationship between male gender and English is relatively consistent over time, as in Figure 6. Both genders have increased their English usage over time.

There is variation for the gender-English distribution, particularly in 2018-2020. 2018 is the first year observed where the female average usage was equal to or higher than the male average usage. This is primarily due to the increase in female K-pop groups, such as TWICE, appearing in the Oricon top 50 for the first time. As will be noted in the next section, Korean-based groups provide a significant increase of English usage in
Japanese music. For example, if TWICE were excluded from the data, the average female Japanese English token percentage in 2018 would drop from $13.5 \%$ to $10.3 \%$, which would be lower than the male average of $12.8 \%$.

As noted in section 3.1, 2020 provided major changes to the J-pop landscape. In addition to global COVID-19 effects, many new male groups entered the top lists with increased English usage. For example, new male groups such as SixTONES, Snow Man, and JO1 debuted and reached the top 50 with 6 songs, with a combined average of $51 \%$ English tokens. These new songs replaced staple female groups such as the " 48 -groups" (AKB48, NMB48, etc.), which had a drop from the top 50 lists, going from an average of 11 songs in the top 50 between 2012-2019 to 8 in 2020.

## 3.3 Korean and Groups Factors

K-pop has had a significant effect on English usage in Japanese music, with many Korean-based groups hitting the top 50 charts. As noted in section 3.2, TWICE for example helped increase the amount of English in Japanese music in 2018. K-pop groups, while they hold a minority of top 50 song slots, do provide a significant increase in English usage and variety.

The average Oricon listed Korean-based song has +19pp more English tokens and +14pp more types than a Japanese-based song. Similarly, being part of a group versus being an individual performer is linked to English usage. The average group has +10pp more English usage and +6 pp more English types.

## 3.4 Factor Significance

To statistically test each factor's significance with respect to English usage, we utilized a multi-factored linear regression model and tested whether each factor has statistically significant predictive effects. For this model, we regressed each song's English token percentage with respect to the song's year, performer gender, group/solo category, K-pop category, and 1-50 rank.

 & K-pop + Rank \\

Year, gender (male), group, and K-pop flags all had a positive and statistically significant effect with respect to English usage by song. Rank was a factor which had no statistical effect, meaning that English is not correlated with how highly the song was ranked in the top 1-50 (See Appendix for details).

Based on the independent linear regression model, the significant linear estimates are greater than 0 and can be additive. For example, all else equal, a male K-pop group song will on average have +39pp more English than a female, non-K-pop solo artist song.

## 4. Discussion

English continues to carry significant purpose for lyrical construction within Japanese popular music, as it is statistically significant and remains the highest non-Japanese language to appear in top 50 Oricon for 2012-2021. Over time, English slowly has begun to increase in usage and variety, making it an even stronger portion of the Japanese music scene. Like many other fields, 2020 in particular had a pronounced effect on J-pop and English in J-pop, including the debut of high English-using groups.

English usage is also significantly linked to the musical performer identity, as it is associated with gender, group/solo distinction, and being Korean-based vs. non-Korean-based. However, this statistical identity based on lyrics is a constructed or presented image from the artist. Further research, such as audience testing, could help understand how such a language-based image is perceived from the audience's perspective.

## 5. Conclusion

Within this study, we statistically analyzed the use and variety of English in Japanese popular music lyrics. While English had broad usage across songs and was present in $73 \%$ of songs, it remained limited in terms of average amount (15\% of tokens per song) and average variety (11\% of types per song).

English has increased in usage from 2012 to 2021, with the average tokens per song increasing by 6 percentage points. English was also on average higher in songs from male artists, group performers (vs solo), and K-pop artists.

We look forward to further monitoring English in J-pop, especially as we encounter new structural changes. For example, new groups like Snow Man, which uses an average of over 50\% English per song, have helped increase usage overall. We could potentially see English grow from a strong minority language presence to an even more pronounced and integral unit of Japanese musical communication.

## References

Anglada-Tort, M., Krause, A. E., \& North, A. C. (2021). Popular music lyrics and musicians' gender over time: A computational approach. Psychology of Music, 49(3), 426-444. https://doi.org/10.1177/0305735619871602

Anthony, L. (2020). AntConc (Version 3.5.9) [Computer Software]. Tokyo, Japan: Waseda University. Available from https://www.laurenceanthony.net/software

Benson, P. (2013). English and identity in East Asian popular music. Popular music, 32(1), 23-33.

https://doi.org/10.1017/S0261143012000529

Chan, B. H. S. (2009). English in Hong Kong Cantopop: language choice, code-switching and genre. World Englishes, 28(1), 107-129.

https://doi.org/10.1111/j.1467-971X.2008.01572.x

Cogan, B., \& Cogan, G. (2006). Gender and authenticity in Japanese popular music: 1980-2000. Popular Music and Society, 29(1), 69-90.

https://doi.org/10.1080/03007760500167313

Jin, D. Y., \& Ryoo, W. (2014). Critical interpretation of hybrid K-pop: The global-local paradigm of English mixing in lyrics. Popular Music and Society, 37(2), 113-131.

https://doi.org/10.1080/03007766.2012.731721

Kachru, Y. (2006). Mixers lyricing in Hinglish: Blending and fusion in Indian pop culture. World Englishes, 25(2), 223-233.

https://doi.org/10.1111/j.0083-2919.2006.00461.x

Lee, S. (2022). Typology of English-Korean code ambiguation: Bilingual creativity in the Korean context. English Today. Advance online publication. https://doi.org/10.1017/S0266078422000116

Luk, J. (2013). Bilingual language play and local creativity in Hong Kong. International Journal of Multilingualism, 10(3), 236-250.

https://doi.org/10.1080/14790718.2013.808200
Moody, A. J. (2006). English in Japanese popular culture and J-Pop music. World Englishes, 25(2), 209-222.

https://doi.org/10.1111/j.0083-2919.2006.00460.x

Moody, A. (2020). English in Asian popular culture. In K. Bolgon, W. Botha, \& A. Kirkpatrick (Eds.), The handbook of Asian Englishes (pp. 763-786).

Wiley-Blackwell.

https://doi.org/10.1002/9781118791882

Moody, A., \& Matsumoto, Y. (2003). "Don't touch my moustache": Language blending and code ambiguation by two J-pop artists. Asian Englishes, 6(1), 4-33.

https://doi.org/10.1080/13488678.2003.10801106

Stanlaw, J. (2021). Using English as identity markers in Japanese popular music: J-pop and beyond. In E. L. Low \& A. Pakir (Eds.), English in East and South Asia (pp. 198-211). Routledge.

https://doi.org/10.4324/9780429433467

Takahashi, M., \& Calica, D. (2015). The significance of English in Japanese popular music: English as a means of message, play, and character. Proceedings of the 21st Annual Meeting of the Association for Natural Language Processing, 868-871.

https://www.anlp.jp/proceedings/annual_meeting/2015/in dex.html

Toth, C. (2008). J-Pop and performances of young female identity: Music, gender and urban space in Tokyo. Young, 16(2), 111-129.

https://doi.org/10.1177/110330880801600201

## Appendix


# 新型コロナウイルスに関する新聞報道
## の時系列変化の日中米比較

\author{
童 樺 ${ }^{1}$. 森川美 幸 ${ }^{2}$ $\cdot$ 榎 本 美 香 ${ }^{2}$
}

## 概 要

本研究では、日中米三国の新型コロナウイルスに関 する新聞報道が時系列的な変化を明らかにする。分析 1 では、諸国いずれも報道数はコロナの蔓延状況 と密接な関係があることを示す。分析 2 では、諸国各時期のキーワードの出現頻度を算出し、各時期で 取り上げられるトピックを自国内、国際、経済三つ に分けて分析する。分析 3 では諸国各時期で報道内容 の情感の違いを明らかにする。これらの分析を通じ て、中日米三国の新型コロナウイルスに関する報道量や中心的な話題の変化を示し、それらが時間の経過に伴ってどのように変遷するかを明らかにする。

1 はじめに

2019 年末, 中国武漢市から報告された原因不明肺炎は, 新たなコロナウイルス（以下コロナ）が原因 であることが判明した。2021 年 1 月 30 日、 WH 0 は「国際的に懸念される公衆衛生上の緊急事態」を、3 月 11 日には「パンデミック」の宣言をした $[1]$ 。各国 がコロナの流行に影響を受ける中、社会の不確実性 は増加し、国民の情報欲求は高まる［2]。諸国の報道機関はコロナに関することを大きく取り上げるよ うになる。本研究では、各国の報道の関心の中心と その時系列的変化を明らかにする。

## 2 先 行研究

酒（２００１）は、コロナ報道中に、中国への差別的報道、たとえば人種的差別、情報格差、経済格差、教育格差に関する報道が含まれていたとする［３］

また、星野（（２０２２）は日本国内の新聞社間でコロナ に関する新聞社説を構成するトピックの時系列変化 や新聞社ごとのトピックの偏りを分析し、新聞は多様な側面に言及していることを明らかにした［４］。

は Twitter で日本国内の 1 例目の感染者が確認され た 9 週間でコロナに関する投稿を関連語や共起ネッ トワークを分析した。SNS 投稿内容から，コロナの 感染拡大は人々のウイルス感染への不安に加え、報道内容や社会情勢の不安定さによる不安や疲労感、 ストレスを生じさせていた実態を示唆している。 ただし、これらの研究はコロナに関する日本国内の 報道だけを分析しており、日本以外の諸国でどのよ うな報道がなされたのかは分からない。

## 3 方 法

本研究は各国を代表すると考えられる新聞紙を対象とする。次に、本論文では、日本、中国、米国を 対象とするっこれは、この三つの国は世界三大経済大国であり、経済的にも政治的にも世界に与える影響力が大きいと考えられる。新聞紙の選択には対象国から『 NEW YORK T IMES』、『読売新聞』、『人民日報』を選択した。データべースに基づいて、2020 年 1 月 1 日 から 2022 年 6 月 30 日まで、コロナ関連の 記事を収集する。日本語では「新型コロナウイル ス」をキーワードとしてデータベースの検索を行

う。中国は「新冠肺炎」、米国は’coronavirus，と いうキーワードで検索する。

次に、日本の新聞紙の特性を鑑みて、中立性を保つ ている『読売新聞』を用いる。中国は『人民日報』、米国は『 NEW Y O R K T I E S』が全国紙であるた めこれらを用いる。取得した記事のテキストを Excel でデータベース化する。次に、自然言語処理を用 い、それぞれの新聞紙のトピック解析を行う。

## 4 分 析 1

2020 年 1 月 1 日 から 2022 年 6 月 30 日ま で、各データ ベースでキーワード検索を行った記事数を抽出する

各国いずれも2020 年の報道量は感染の蔓延に伴い増加している。日本は分析した全期間を通じて、この 傾向にある。一方、中国と米国は、その後感染者数 の増加やロックダウンが生じても、報道が減少す る。このことは、中国や米国においいては、時間の経過とともにコロナに対する関心が薄れていったこと を伺わせる。

## 5 分 析 2

抽出した関連記事を形態素解析する。日本語専用の MECAB、中国語専用の JIEBA、英語専用のNLTKを用い てそれぞれ形態素解析を行う。

これらのツールを用い形態素解析し、各時期の単語出現頻度を求める。単語の出現頻度数が多くても、 あまり意味が無い単語（たとえば、接続助詞など） は、重み付けを行い除外する。重み付けは「 $\mathrm{t} \mathrm{fidf}$」という計算式を用いる。この計算式は主に文書検索やレコメンデーションに使われている（一色政彦 2021 ）［9］。単語ランクの並び順は頻度と重み付け 両方とも前 10 位で表示される。

図 4 読売新聞トピック

図 5 人民日報トピック

city

図 6 NYTトピック

日中米いずれも 2020 年初めの段階では、中国に関 するトピックが取り上げられている。2021 年になる とワクチンに関するトピックが盛り上がる。

日本の新聞報道の特徴は、初めの段階で中国の感染状況に対するトピックが多く、少し経つと、自国内 の国民生活や社会保障などに関するトピックが増え る。一方で、国際社会に関する言及は少ない。

中国の新聞報道の特徴は、WHO や他の国に関する国際連携のトピックが多い。時間が経過すると、感染状況より経済面に関する言及が増える。一方で、自
国内の国民生活に関するトピックは見られない。米国の新聞報道は初期段階で中国とその政府機関に 対する関心が多く、自国内の感染状況より他国に注目している。後期では、国民生活や国際旅行に関す ることに関心が高くなっていく。一方で、経済面に 関する言及は見られない。

## 6 結 論

本研究を通じて、日中米の新型コロナウイルスに 関する新聞報道は様々な違いがあることが分かっ た、各国のマスメディアは初期の段階では感染者数 やロックダウンなどに関する話題が多くなるという 共通点がある。しかし、時間の経過とともに、政治 ・経済・国際情勢など各国間の関心の有りようが変 わっていくことが明らかになった。


# ニューラル分類器の予測の解釈に基づく 集団に特徴的なテキスト表現の抽出: アメリカ人を例に

渡邊 幸暉 村脇有吾 黒橋禎夫
京都大学大学院情報学研究科
\{k-watanabe, murawaki, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

本研究では、ある集団に特徴的なテキスト表現を その他の集団との比較により抽出する手法を提案す る。提案手法は、 2 種類のテキストを識別する分類器を訓練したうえで、ニューラルネットの説明手法 に基づいて、分類器の予測に貢献する入力テキスト 中の表現を特定する。具体例としてアメリカの文化 や歴史を背景とした表現に取り組み、データセット の構築や評価実験を行う。

## 1 はじめに

人々の言語使用は、国や社会階層といった自身が 属する集団の文化を反映していると考えられる。そ の性質を解明することで、例えば異文化コミュニ ケーションの支援といった応用が期待できる。

この研究課題への有力な取り組みは、異なる集団 が産出したテキスト同士の比較を通じて差異を解明 するというもので、対照研究あるいは比較研究とよ ばれる [1]。こうした対照研究は、主に社会言語学 を中心としたいわゆる文系の研究者によって進めら れてきた。例えば、ウェブ、新聞記事、聖書といっ た様々な言語資料を比較することで、異なる集団が 用いるテキスト表現の違いを明らかにできる [2]。

従来研究のうち人手による事例分析は、客観性を 担保するのが難しい。また、対象テキストが数十件 から数百件程度にとどまるなど、規模にも限界があ る [3]。コーパスに基づく分析は客観性の問題を改善するが、人手によるアノテーションを必要とする 場合はやはり規模に限界がある。自動分析を行う場合も、単語のような断片的で言語的に表層的な手が かりしか扱えないという課題が残る。

本研究ではこれらの対照研究の課題を解決する ために、説明可能な AIを応用した手法を提案する。
(3) r/NoStupidQuestions $\cdot$ Posted by u/MossLover6465 22 days ago Guys, who is Uncle Sam?

I ain't American and kinda hear about him a lot. Is he a fictional character or he existed at some point?

MrLongJeans $\cdot 22$ days ago

Uncle Sam means the government, like I owe Uncle Sam a third of my paycheck in taxes. He is usually personified in the I Want You recruiting poster from WW2:

図 1 Reddit でのやりとりの一部

出典 : https://www.reddit.com/r/NoStupidQuestions/ comments/z7h6fs/guys_who_is_uncle_sam/

提案手法はデータ駆動型の取り組みにより客観性と 規模性を確保するとともに、近年のニューラルネッ トの強力な文脈処理能力を活用することで、従来の 自動分析では扱うのが難しかったような長いテキス 卜表現を探索的に抽出する。ニューラルネットは高 い性能の代償としてその振る舞いがブラックボック ス化することが問題視されているが [4]、その解決策として説明可能な AI の研究が盛んに進められて いる [5][6]。本研究のキーアイデアは、その成果を 応用し、ニューラルネットが異なる集団による 2 種類のテキストをどのような手がかりを用いて識別し たかを解釈することを通じて、テキスト間の差異の 原因を表現レベルにまで絞り込むことである。

提案手法の具体的な適用事例としてアメリカ人に 着目する。アメリカは第二次世界大戦以来超大国と され [7]、特に冷戦後は唯一の超大国であるとされて いる [8]。国際社会におけるアメリカの存在感は著 しく、文化、経済、科学技術などの分野で他の国々 がアメリカを追随する形で世界が発展している。

こうした背景のもと、アメリカ国内のコンセンサ スが世界のコンセンサスであるかのような言動が見 られることがある。具体的には、アメリカ以外の国 の人がいる場でも、アメリカ人にしか理解できない ような表現が使われてしまう。図 1 は、英語圏の才

ンライン掲示板 Redditで、アメリカ人ではないとい う投稿者がよく耳にするという“Uncle Sam”という 人物について尋ねている様子を示す。この例では、 “Uncle Sam” は特定の人物を指す言葉ではなく、ア メリカ合衆国政府を意味する熟語であることが説明 されている。

このようにアメリカの文化や歴史を背景とする表現を本研究ではアメリカニズムとよぶ (表 A.1)。ア メリカニズムを抽出して提示することにより、アメ リカ以外の国の人に対して意図せずアメリカニズム を使用してしまう事態を回避し、より円滑なコミュ ニケーションが可能になることが期待される。

本研究では、アメリカ人が書いた文と他の英語圈 の国の人が書いた文を比較することで、アメリカニ ズムを抽出する。クローリングによるデータセット 構築、Reddit が SNS であることを利用した対象の効果的な絞り込み、BERT に基づく強力なニューラル 分類器の訓練を行ったうえで、説明手法の適用によ り表現の抽出を行う。抽出例を人手で分析したとこ ろ、実際にアメリカニズムが抽出できていることが 確認できた。

## 2 関連研究

提案手法の基本的なアイデアは Harust ら [9] に由来する。Harust らは英語表現のなかには母語話者に 特徴的なものがあると仮定し、英語母語話者による テキストと第二言語話者によるテキストを比較す ることでそのような表現を抽出した。まず、Reddit の投稿から作成した話者国籍別の英文データセッ ト [10]を利用して、入力されたテキストが英語母語話者のものか第二言語話者のものかを識別する 分類器を作成した。この分類器に対して、説明手法 の1つである contextual decomposition [11]を適用し、分類器の出力スコアに対する入力テキスト中の各表現の貢献を近似的に求めた。このスコアを当該フ レーズの母語話者らしさとみなし、スコアの高いフ レーズを母語話者に特徵的な英語表現の候補とし ている。この分類器の訓練には complementary-label learning [12]を応用した手法が使われており、通常 の2つのラベルに加え、「どちらとも言えない」と いう特殊ラベルが導入されている。

Harust らは言語的な興味から英語母語話者と第二言語話者を比較したのに対し、本研究は文化的な観点からアメリカ人とその他の英語圈の人を対照す る。また、Harust らは分類器をLSTM を用いて構築
MortimerDongle $\cdot 26$ days ago

媐United States of America

Is testing homes for radon and installing vent fans for it uncommon?

\ $\oiint$ Reply Give Award Share Report Save Follow

図 2 Reddit で国籍を表明するタグが使用されている例投稿者がアメリカ国籍であることが表明されている 出典 : https://www.reddit.com/r/AskEurope/comments/ z81amu/comment/iycx57x/

表 1 構築したデータセットの国籍の内訳

したのに対して、本研究はより強力な BERTを用い るなど、様々な点で手法に改良を加えている。

## 3 データセットの構築と絞り込み

## 3.1 データセットの構築

Harust ら [9] は話者国籍別の英語テキストとして Reddit に由来するデータセット [10]を用いた。この データセットは、Reddit 内の一部のコミュニティで 投稿者が自らの国籍をタグ (flair、図 2)で表明して いることを国籍判別の手がかりとして利用してい る。原著者らの目的は、母語識別タスク (例えば英文の書き手がドイツ人であることを判別するなど) だが、アメリカやその他の英語圈の国が収録されて おり、本研究の目的にも利用できる。

このデータセットには投稿本文とその国籍ラベル のみが収録されている。しかし、例えば、Redditが SNS であり、投稿者同士が関係を持っていることを 利用すれば、より高品質にアメリカニズムが抽出で きるかもしれない。こうした動機に基づき、本研究 では独自に Reddit のクローリングを行った。

本研究では、アメリカと、比較対象として英語圏 のその他の 3 力国を対象とした。先行研究 [10] と比較すると、国籍判別の手がかりをを拡大している。投稿者が用いるタグは自由記述だが、先行研究は国名のみに着目していた。これに対し、本研究ではア メリカ国内の州名やその他の地名1)も利用した。こ うしたタグの使用者はより内向きでアメリカニズム を表出する可能性が高いと期待できる。 データセット構築結果を表 1 に示す。州名や地名
 というものもあった。

図 3 分析対象の絞り込みの手順

のタグも利用してことにより、アメリカ国籍の投稿者の投稿を多く収集できていることが分かる。

## 3.2 分析対象の絞り込み

一般に、ある集団の話者が産出したテキストに 必ずその集団に特徵的な表現が出現するとは限ら ない。この問題に対処するために、Harust ら [9] は、母語話者と第二言語話者という 2 つのラベルに加 えて、「どちらとも言えない」という特殊ラベルを 導入し、特徴的な表現が出現しないテキストを吸収 させていた。この目的のために complementary-label learning という機械学習手法を応用していた。

Harust ら [9] はこの 3 值分類器に説明手法を直接適用していたが、本研究ではまず 3 值分類器を使っ て分析対象となるデータを絞り込んだうえで、改め て 2 值分類器を訓練する (図 3)。処理段階を段階的 に行うことで、例えば次節で示すように、Reddit の 特性を利用したデータの質の改善が容易になる。

## 3.3 投稿者同士の関係の利用

Reddit の SNS としての特性は、データの質の改善 に貢献し得る。例えば、アメリカ人同士での交流が 中心の投稿者は、他の国の人との交流が多いアメリ カ人よりもアメリカニズムを表出する可能性が高 い。そこで、投稿者が自分と異なる国籍の投稿者に 対する返信の割合を手がかりとして利用する。具体的には、投稿者に対して国際性スコアを付与する。

投稿者の国際性スコア $=$

その投稿者が自身と異なる国籍の人に返信した数返信先のうち、タグによって国籍が分かっている数 この国際性スコアは、絞り込み用の分類器に追加の 特徵量として与える。

実験では、表 1 のアメリカと、アメリカ以外の国 をまとめたその他の国の識別を行った。分類器と しては BERT [13]を用い、各ラベル 900 万文ずつを

図 4 sampling and occlusion algorithm $の$ 実行例四角で囲われた部分がランダムに変更された文中の語を 表す。

ここでは簡単のため 3 文に対する出力の平均としている。

使って訓練を行った。結果を表 A. 2 に示す。国際性 スコアを付加することで、「どちらとも言えない」 に分類された割合が減った2)にも関わらず、正しく 分類できた割合が増えている。したがって、国際性 スコアは絞り込みの精度向上に貢献していると判断 できる。

図 1 や表 A. 1 で示したアメリカニズムの具体例に ついて、絞り达み前後での登場頻度の変化を表 A. 3 に示す。特に登場回数が数千程度の例については、絞り込みにより、アメリカラベルのテキストにより 偏って出現するようになったことが確認できる。

## 4 分類器の説明手法を使った各表現 のアメリカらしさの評価

## 4.1 分類器の説明手法の利用

本研究で用いる分類器の説明手法は、分類器の出力に対して、入力テキストのどの部分が強く貢献し たかを明らかにする。本研究では、絞り込み後の データを用いて、アメリカとその他の国を識別する 2 値分類器を訓練している。したがって、分類器が アメリカラベルを予測した際、その予測に強く貢献 した大力文中の表現が、アメリカらしい表現、すな わちアメリカニズムであるとみなせる。

テキストの分類器の説明手法は複数提案され ているが、本研究では sampling and occlusion (SOC) algorithm [14]を利用する。ある表現を分析対象とし たとき、原文中のその表現をパディングトークンで 置き換えて再分類を行うと、もとの出力スコアから の差分をその表現の貢献と見なせる。ただし、この スコアの差分はその表現の前後の文脈によって変化 する。SOC は、この文脈依存性を取り除くために、文脈中の語をランダムに変更した場合を考慮して、当該表現の評価値を求める (図 4)。実験では、1つ

の大力に対して 20 文のサンプリングを行った。

## 4.2 分析対象となる表現の取り出し

分類器の説明手法を利用するためには、分析対象 となる表現を指定する必要がある。Harust らは入力文中ののすべての 5-gram までを分析の対象として いたが、これでは明らかに意味をなさない表現が対象に含まれる、長さが 6 以上の表現は分析の対象に できないなどの問題点がある。

そこで、本研究では文に対する句構造解析を適用 し、その結果を用いて表現を取り出す。具体的に は、句構造解析によって得られた構文木の各頂点に ついて、その子孫となる単語列を一つの表現として 利用する。Harust らの手法と比べて、明らかに意味 をなさない表現が含まれない、長さが 6 以上のもの も取り出せるなどの利点がある3)。

## 4.3 既知のアメリカニズムを用いた分析

アメリカニズムの抽出は探索的なタスクであり、定量的な評価自体が挑戦的な課題である。そのた め、まずは簡易的な評価として、既知のアメリカニ ズムを含む文に対する提案手法の振る舞いを調査 した。

説明手法を適用する 2 值分類器としては BERTを 用い、アメリカとその他の国の各ラベル 900 万文を 用いて訓練した。注目する表現に対して、そのアメ リカラベルへの貢献度から他の国のラベルへの貢献度を引いたものを評価値として用いる。この評価値 が正であればアメリカらしい表現、負であれば他の 国らしい表現であると評価されたことになる。

結果を表 A. 4 に示す。上の 3 例は図 1 や表 A. 1 で 見たアメリカニズムの例、一番下は他の国のラベル に含まれるイギリスに特徴的な表現の例である。実際の評価値はアメリカニズムの例に対して正、イギ リスに特徴的な表現で負となっていることが確認で きる。

## 4.4 抽出結果の人手評価

次に、提案手法が抽出した表現を人手で評価し た。 3.2 節で説明したデータセットのうち 250 万文 に対して、4.2 節で述べた手順で分析対象表現を列挙し、各表現に対して説明手法を適用して評価値を 求めた。各表現の頻度を集計し、10 回以上出現す

3）例えば "I owe Uncle Sam a third of my paycheck in taxes." とい う文の場合、5-gram までで表現を取り出した際の候補は 45 個になるのに対し、句構造解析を用いると 19 個となる。
る表現を対象としたところ、約 127,800 個の表現を 得た。このうち頻度上位 $1 \%$ から 100 個の表現をラ ンダムに選んで人手で評価した。長い表現のうちど の部分を抽出すべきかは判断が難しいため、アメリ カらしい表現が含まれていれば正解と判定した。な お、本論文の著者は全員が日本に住む日本語話者で あるため、見逃したアメリカニズムがある可能性は 否定できない。

調査の結果、100 個中 51 個がアメリカらしい表現であった。このうち、アメリカ国内の固有名詞が 2 個 (Buick や Grunhub)、アメリカ英語の綴り (イギ リス英語の favour や honour に対する favor や honor など)を含む表現やアメリカ的な言い回し (home improvement store や、イギリス英語の grocery shop に 対する grocery store) が 35 個であった。小切手の意味の check にはアメリカ英語であり、イギリス英語では cheque と綴るが、check という単語自体はイ ギリス英語でも用いられる。提案手法は writing a check という、check の語義が特定できる形の表現を 抽出しており、ニューラルネットの高い文脈処理能力がうかがえる。 51 個のうち残り 14 個が、アメリ カの文化や歴史を色濃く反映した、狭義のアメリカ ニズムと判断できるものであった (表 A.5)。この結果は、探索的用途において提案手法がアメリカニズ ムの効率的発見に利用可能であることを示唆する。

正解と判定しなかった 49 個のうち 7 個は college を含む表現だった。college とよばれる機関自体は英語圏に広く存在するが、Reddit 上ではアメリカの機関の存在感が大きく、他の国での用法を頻度上圧倒 した可能性がある。

## 5 おわりに

本研究では、ある集団に特徴的なテキスト表現を テキストの分類器の説明手法を活用して抽出する手法を提案し、その具体な適用事例として、アメリカ 人に特徴的な表現であるアメリカニズムを抽出し た。分析対象をアメリカに特徴的な表現が含まれる ものに絞り込むことで、アメリカニズムの出現頻度 に大きな偏りが発生して分析がしやすくなること を示し、実際の説明手法の適用で良好な結果が得ら れることを確認した。また、提案手法を実行した結果、評価值が高かったものからアメリカニズムを発見することに成功した。今後は、別の対象研究への 提案手法の適用などについても検討したい。

## 参考文献

[1] 井上優. 対照研究について考えておくべきこと. 一橋日本語教育研究, Vol. 3, pp. 1-12, 2015.

[2] 河正一. 社会言語学的調査の状況一言語行動に関 する日韓対照研究を中心に一. 計量国語学, Vol. 31, No. 8, pp. 572-588, 2019.

[3] 佐々木倫子. 言語の対照研究と言語教育. 日本語科学, Vol. 3, pp. 127-134, 1998.

[4] Yavar Bathaee. The artificial intelligence black box and the failure of intent and causation. Harvard Journal of Law \& Technology, Vol. 31, No. 2, pp. 890-938, 2018.

[5] Riccardo Guidotti, Anna Monreale, Salvatore Ruggieri, Franco Turini, Fosca Giannotti, and Dino Pedreschi. A survey of methods for explaining black box models. ACM Comput. Surv., Vol. 51, No. 5, pp. 1-42, 2018.

[6] Venessa Buhrmester, David Münch, and Michael Arens. Analysis of explainers of black box deep neural networks for computer vision: A survey. Mahine Learning and knowledge extraction 2021, pp. 966-989, 2021.

[7] William T. R. Fox. The Super-Powers; The United States, Britain, and the Soviet Union- Their Responsibility for Peace. New York: Harcourt, Brace and Company., 1944.

[8] Ian Bremmer. These are the 5 reasons why the U.S. remains the world's only superpower, 2015. https://time.com/ 3899972/us-superpower-status-military/.

[9] Oleksandr Harust, Yugo Murawaki, and Sadao Kurohashi. Native-like expression identification by contrasting native and proficient second language speakers. In Proceedings of the 28th International Conference on Computational Linguistics, 2020.

[10] Ella Rabinovich, Yulia Tsvetkov, and Shuly Wintner. Native language cognate effects on second language lexical choice. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 329-342, 2018.

[11] W. James Murdoch, Peter J. Liu, and Bin Yu. Beyond word importance: Contextual decomposition to extract interactions from LSTMs. In International Conference on Learning Representations, 2018.

[12] Takashi Ishida, Gang Niu, Weihua Hu, and Masashi Sugiyama. Learning from complementary labels. In Advances in Neural Information Processing Systems, 2017.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 2019.

[14] Xisen Jin, Zhongyu Wei, Junyi Du, Xiangyang Xue, and Xiang Ren. Towards hierarchical importance attribution: Explaining compositional semantics for neural sequence models. In International Conference on Learning Representations, 2020 .

## A 参考情報

表 A. 1 アメリカニズムの例

 & 形勢が逆転する様 \\

表 A. 2 絞り込み分類器の学習結果

 &  \\

表 A. 3 データの絞り込みによる、データ中のアメリカニズムの登場回数の変化 (括弧内は残存率)

表 A. 4 Reddit 上の実際の投稿文に対する、説明手法の適用結果

表 A. 5 分類器の説明手法による評価値が高かった表現から発見されたアメリカニズム

 &  &  \\


# 深層学習モデルを用いた双方向形態屈折の検証

深津聡世＊原田宥都＊大関洋平
東京大学大学院 総合文化研究科言語情報科学専攻
\{akiyofukatsu, harada-yuto, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

人間が形態処理を行うにあたって必要な知識は,規則か類推か，あるいはその両方かという議論は，言語学の形態論において現在も続いている.この議論は「過去時制論争 (Past Tense Debate)」と呼ばれ，近年ではニューラルネットワークを用いた形態処理のモデル化による検証が行われている. 本研究で は，その形態的な複雑さから過去時制論争において 重要とされる日本語動詞の屈折について，類推のモ デルである深層学習モデルを用いて，時制について 双方向の形態屈折の学習を行った. どちらの時制方向の処理にモデルがより適するかを検証した結果，訓練データのサイズや性質が結果に大きく影響する ことが示唆された.

## 1 はじめに

人間が形態処理を行う際に用いられているのは,規則的な処理なのか，類推的な処理なのか，あるい はその両方を用いた処理なのかということについ て, 言語学の形態論において長く議論されており, この議論は過去時制論争 (Past Tense Debate) と呼ば れる。その中でも重要な現象の一つとして, 日本語母語話者が実在語にある屈折パターンと同じよう に非実在語を屈折させることができない，という ものがあり，これは多くの研究で観察されている $[1,2,3,4]$. もし形態屈折の処理が規則的なもので あるならば，非実在語に対しても同じ屈折パターン を適用できるはずであるということから，この現象 は，形態処理が類推的であることの一つの証左とし て言及されてきた。これに対して Oseki ら [5]では，現在形から過去形の方向へ規則が派生する，という ことがそもそも自明ではなく, 日本語においては過去形から現在形への方向で規則が派生しているので はないかとの仮説を，自身の獲得研究での観察をも とに提案した. その仮説に基づき，規則べースのモ * 共同第一著者.
デルを用いて，非実在語の屈折を双方向（現在一過去，過去 $\rightarrow$ 現在）に検証したところ，規則べースの モデルは過去形から現在形への方向により適して いることが様々な評価尺度から示された.この結果 は, 日本語動詞の屈折処理は, 過去形から現在形へ の方向においては規則的である，ということを示唆 する.

そこで本研究では，類推に基づくモデルである深層学習モデルを用いて，日本語動詞の屈折を双方向 （現在 $\rightarrow$ 過去，過去 $\rightarrow$ 現在）に学習させた. 複数の 実験設定を用意することで，類推べースの深層学習 モデルがどちらの時制方向の処理により適している のかを複数の実験設定で検証した。

## 2 先行研究

過去時制論争は, Rumelhart ら [6] が類推ベース のモデルを提案し, 彼らのモデルに対し Pinker ら [7] が問題点を指摘したことで始まった. 最近で は，Kirov ら [8] が当時最先端のモデルであったアテ ンション付きリカレントニューラルネットワーク （RNN）を形態屈折課題に応用したことで議論が再燃している $[9,10]$.

一方で，日本語研究においては，母語話者は規則 を用いないとする立場が一般的である。表 1 は，動詞の屈折パラダイムを示したものである．現在形の 語幹末音には 11 個の子音と母音が存在し，それぞ れが異なる屈折パターンをもつ. 先行研究では，日本語母語話者がこの屈折パターンに則って動詞を屈折できないことが報告されている $[1,2,3,4]$.

しかしながら，これらの先行研究では，英語と同様に日本語動詞が現在形から過去形へ屈折するこ とが前提とされており，これは再検討が必要な点で ある. Oseki ら [5] は，言語獲得の観察から過去形が 屈折の基底形であると仮定し，規則ベースのモデル $[12,13]$ を用いて非実在語を用いる形態屈折課題で ある wug テスト [14]を双方向（現在形一過去形と過去 $\rightarrow$ 現在）で行った. 実験の結果，人間の正答率は
表 1 日本語における動詞の屈折パラダイム. 形態素境界 は [11]による分析に基づく.

現在 $\rightarrow$ 過去方向よりも過去 $\rightarrow$ 現在方向の方が高く, また，モデルと人間の相関も過去 $\rightarrow$ 現在方向の方が 高かった. さらに，現在 $\rightarrow$ 過去よりも過去 $\rightarrow$ 現在方向の方がモデルの複雑性の評価がより単純であるこ ともわかった。このことから, Oseki ら [5] は過去 $\rightarrow$現在方向では規則による処理，現在 $\rightarrow$ 過去方向では 類推による処理が行われている可能性があると考察 している。その場合，類推べースのモデルである深層学習モデルの精度は過去 $\rightarrow$ 現在方向より現在 $\rightarrow$ 過去方向の方がより高くなると予測される.

## 3 方法

## 3.1 深層学習モデル

過去時制論争において，ニューラルネットワーク は類推的な処理を行うモデルとして位置付けられる が，近年の形態屈折を扱う深層学習モデルには複数 のアーキテクチャが存在する．複数のモデルで実験 を行うことで，モデルの種類がどのように結果に影響を及ぼすかを確認するために，本研究では，形態屈折を扱うモデルとしてよく用いられる以下の 2 種類で実験を行った。

アテンション付き RNN 形態屈折は, 機械翻訳 と同様に系列変換課題として扱うことができるた め，機械翻訳の分野で登場したアテンション付き RNN[15] はそのまま Kann ら [16] によって形態屈折 に応用されている. その後 Kirov ら [8] によって英語における動詞の形態屈折に応用され，この文献が 過去時制論争の再燃のきっかけとなった. 本研究で
は Kirov ら [8] のアテンション付きRNN を再実装 し，日本語動詞の屈折のために用いている.

Transformer 形態論の研究において，これまで アテンション付きRNNを用いるのが主流となって いたが，近年になり Transformer[17] を用いた研究が 行われている $[18,19]$. これらの研究では，モデル の縮小化やハイパーパラメータの設定など，文処理 よりもデータ数の少ない形態処理を Transformer で 扱うための提案が行われており，これらの工夫に よって Transformer でもアテンション付き RNN の性能を超えることができるようになった．本研究で は， Wu ら [18] の実装を用いて実験を行っている. これは 4 層のエンコーダ-デコーダ層と 4 つのセル フアテンションヘッドからなる，小さいモデルサイ ズの Transformer である.

## 3.2 データセットの作成

本研究では，実在語のデータセットと非実在語の データセット（wug）の２種類を用意した. 実在語 のデータセットについては 2 つのコーパスから動詞を抽出し，それらの動詞を 2 種類の文字表記に変換したものを実験に用いた.この節では，動詞の抽出方法とそれらの文字表記の変換方法について述 べる.

## 3.2.1 動詞の抽出

本研究では，2 種類のコーパス (京都大学テキス トコーパス，IPA 辞書）から抽出した動詞をもとに 現在形と過去形のペアを作成した。これらのコーパ スから抽出された動詞を合わせ重複を除いた結果， 5,502 個の現在形と過去形のペアが得られた. また，実在語で訓練したモデルのテストデータとして，非実在語（wug）のデータセットも用意した。これに より，規則ベースのモデルで実験を行った Oseki ら [5]との結果の比較が可能になる.

以下に各データセットの概要を示す.

京都大学テキストコーパス 京都大学テキスト コーパス [20] は，1995 年に出版された毎日新聞と 社説，それぞれ 2 万文に対して，形態素解析システ ム JUMAN，構文解析システム KNPで自動解析を行 い，人手で修正が加えらたものである。このコーパ スからは約 1,300 個の動詞が得られた。

IPA 辞書 IPA 辞書は，情報処理振興事業協会 （IPA）で設定された IPA 品詞体系（THiMCO97）に 基づいて作成された日本語の形態素解析用辞書であ

る [21]. 動詞を抽出した結果，約 5,300 個の動詞が 得られた。

wug 動詞 wug テストには, Oseki ら [5] で作成 された 64 個の wug 動詞を用いた.これらの動詞の 「語根」は，Suski[22]の動詞コーパスから抽出した 動詞 1,269 個から CV 音節を抽出し, 無作為に $2 \supset$ の CV 音節を繋げることで，基底形となる現在形と 過去形がそれぞれ 32 個作成されている. ただし, $\mathrm{n}$ で終わる語根を持つ実在動詞は「死ぬ (shin-u)」の みであることから，語根が $\mathrm{n}$ で終わる現在形 2 個は データセットから除いた。

## 3.2.2 文字表記

本研究では，動詞を 2 種類の文字表記に変換し実験を行った. 1 つは，アルファベットに変換したも のであり (以下, latin), この変換には, Pykakasi1 ${ }^{11}$ を 用いた。もう 1 つは，アルファベット表記をさらに 国際音声記号に変換したものであり（以下，IPA）, この変換には phonemizer (espeak)2)を用いた。

## 3.3 実験設定

実在語のみを用いた条件では，訓練データとテス トデータを 8:2 の割合で分割した. さらに，実在語 で訓練したモデルを用いて，wugテストを行った.正解の判定は, 実在語によるテストの場合は実在語と一致する屈折形を正解とし, 非実在語を用い た wug テストの場合は，実在語から予測される可能な屈折形をすべて正解とした（例えば，wug 動詞 kuhan-da に対する正解は kuham-u または kuhab-u).正答率は, 5 回の試行の平均を算出した. 各モデル のハイパーパラメータの設定を以下に示す.

アテンション付き RNN アテンション付き RNN のハイパーパラメータについては, Kirov ら [8]の実験設定を参照し, 設定を合わせている. 学習時の最適化アルゴリズムには AdaDeltaを用い, 単語の埋め 込み次元数は $300 ， L S T M$ のサイズは 100 に設定し た. バッチサイズは 20 で実験を行った.

Transformer Transformer のハイパーパラメータ は $\mathrm{Wu}$ ら [18] の実験を踏襲し, 埋め込み次元数は 256 に設定し, 学習時の最適化アルゴリズムには Adam を用いた. ただし, バッチサイズは本研究と 同等のデータ数での検証を行った Ma ら [19] の実験 を参照し， 32 に設定した。

1) https://codeberg.org/miurahr/pykakasi

2) https://github.com/bootphon/phonemizer?ref=morioh. com\&utm_source=morioh.com

## 4 結果

本研究では，2 種類のモデル，2 種類の表記，2 種類のテストデータセットを用いて，双方向（現在 $\rightarrow$過去，過去 $\rightarrow$ 現在）形態屈折の検証を行った.

はじめに，実在語のみを用いた検証の結果を以下 に示す.

表 2 実在語を用いた双方向形態屈折課題の結果

 &  \\

実在語のみで検証を行ったところ，4 条件中 3 条件で過去 $\rightarrow$ 現在方向の方が正答率が高い結果となっ た. 現在 $\rightarrow$ 過去方向でより正答率が高かったのは IPA 条件の Transformerのみだった. モデル間で正答率に差があり，実在語条件では，すべての条件 においてアテンション付き RNN の方が正答率が高 かった.

次に，実在語で訓練したモデルを用いてwug テ ストを行った. 表 3 はその結果である. 末行には Oseki ら [5] の研究で報告された人間の正答率を提示 している.

表 3 双方向 wug テストの結果

 \\

アテンション付き RNN & IPA & 81.16 & $\mathbf{9 4 . 4 4}$ \\

Transformer & IPA & $\mathbf{9 2 . 4 4}$ & 92.27 \\

wug テストを行った結果, 4 条件中 2 条件で現在 $\rightarrow$ 過去の方が正答率が高かった. 過去 $\rightarrow$ 現在方向 より現在 $\rightarrow$ 過去方向の方が正答率が高かったのは Transformer だった. モデル間でも正答率の差があ り，IPA 表記で過去 $\rightarrow$ 現在方向に訓練・テストした 条件を除いてすべての条件で Transformer のほうが アテンション付き RNNより正答率が高かった.

実験の結果，8 条件中 5 条件において現在 $\rightarrow$ 過去方向の方が過去 $\rightarrow$ 現在方向よりも正答率が高くな ることがわかり，仮説は支持されなかった. アテン ション付きRNNを用いて，様々なデータセットの
条件を設定し検証を行った深津ら [23] の研究では， データセットのサイズに比例して正答率が高くなる 結果が得られたことから，モデルの結果が訓練デー タの影響を受けていることが示唆された. そこで，追加の検証として，すべての条件において現在 $\rightarrow$ 過去方向よりも過去 $\rightarrow$ 現在方向においてより正答率が 高かったアテンション付きRNNを対象に, kyodai データのみ，ipadic のみのデータセットを作成しモ デリングを行った（表 4 ）.

表 4 より小さなデータセットで訓練されたモデルによる 双方向 wug テストの結果

 &  \\

kyodai のみ & IPA & $\mathbf{8 6 . 0 0}$ & 80.00 \\

ipadic のみ & IPA & 92.66 & $\mathbf{9 4 . 3 8}$ \\

追加検証を行った結果， 4 条件中 3 条件において，過去 $\rightarrow$ 現在方向よりも現在 $\rightarrow$ 過去方向でモデルの正答率がより高くなることがわかった。

## 5 考察

## 5.1 データサイズによる影響

本研究では， 8 条件中 5 条件で現在 $\rightarrow$ 過去方向よ り過去 $\rightarrow$ 現在方向の方が正答率が高い結果が得られ た. このことから, 現在一過去方向の形態屈折がよ り類推ベースのモデルに適しているという仮説は支持されなかった.

しかしながら，より小さなデータサイズでモデリ ングを行った追加の検証では, 4 条件中 3 条件で現在 $\rightarrow$ 過去方向の方が過去 $\rightarrow$ 現在方向よりも高い正答率となった. 本研究では，5,502 個の動詞を用いて 検証を行ったものの, 子どもが形態屈折の獲得時に 聞くと思われる動詞の数はもっと少ない. 例えば，英語の動詞屈折を規則ベースのモデルを用いて検証 した Yang[24] の研究では, 子どもの自然発話コーパ スである CHILDES[25] から動詞の抽出した 1,042 個 の動詞を用いている。そのため，限られたデータで 学習する場合には, 現在から過去の方向に学習する ほうが類推的処理を行うのにより適している可能性 がある.

## 5.2 データの質による影響

より小さなデータサイズでモデリングを行なった 追加の検証において，正答率は， kyodai $(\mathrm{n}=1,300)>$ ipadic-kyodai $(\mathrm{n}=5,502)>$ ipadic $(\mathrm{n}=5,300)$ の順に高く なっており, kyodai を含むデータセットの方が含ま ないものより, 正答率が高い. このことから，デー タサイズだけではなくデータの質も学習に影響を与 えていることが示唆された。

例えば，モデルの正答率に影響を与えた要因とし て，訓練データに含まれる語彙の違いが挙げられ る. kyodai は毎日新聞のデータに基づく京大テキス トコーパスから抽出したものであり，より日常的な 語彙で構成される. 一方, ipadic は形態素解析辞書 から抽出したものであり, 中には複合語（例：「明か 乙暮らす」）や古語（例：「掻き暗す」），あまり使わ れない語彙 (例:「こんがらがる」の類語である「こ んぐらがる」）などが含まれる。このように，ipadic に比べ kyodai にはより日常的に用いられる基本的な 動詞が含まれていることもモデルの正答率に影響を 与えたと考えられる。

これらを踏まえて, 今後の研究では, CHILDES コーパスなどをもとに，より基本的な動詞を含すサ イズの小さいデータセットを作成し検証を行うこと が必要である.

## 6 おわりに

本研究では，過去 $\rightarrow$ 現在方向よりも現在 $\rightarrow$ 過去方向での処理が類推べースのモデルにより適している と予想し実験を行ったものの，その予想を完全に支持する結果は得られなかった. 一方で，サイズの異 なるデータを用いて行った追加実験では仮説が支持される結果となった. このことから, 訓練データ のサイズや，含まれる語彙の種類は仮説検証に大き く影響する要素であると考えられる，今後は，言語獲得研究における知見を活かしながら，実験設定や データセットの内容をより細かく統制することで，実際に人間が形態処理を行う際の条件に近いモデリ ングを目指す.

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受 けたものです。また，Transformerを用いた実験を行 うにあたり, 東京大学大学院の吉田遼氏にご協力い ただきました. 感謝申し上げます.

## 参考文献

[1] Timothy J Vance. An introduction to Japanese phonology. State University of New York Press, Albany, NY, 1987.

[2] Timothy J Vance. A new experimental study of Japanese verb morphology. Journal of Japanese Linguistics, Vol. 13, pp. 145-166, 1991.

[3] Terry Klafehn. Properties of Japanese Verbal Inflection. PhD thesis, University of Howai'i, August 2003.

[4] Terry Klafehn. Myth of the wug test: Japanese speakers can't pass it and English speaking children can't pass it either. Proceedings of the 37th Annual Meeting of the Berkeley Linguistics Society, pp. 170-184, 2013.

[5] Yohei Oseki, Yasutada Sudo, Hiromu Sakai, and Alec Marantz. Inverting and modeling morphological inflection. Proceedings of the 16th Workshop on Computational Research in Phonetics, Phonology, and Morphology, pp. 170-177, August 2019.

[6] David E. Rumelhart and James L. McClelland. On learning the past tenses of English verbs. In David E. Rumelhart, James L. McClelland, and CORPORATE PDP Research Group, editors, Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Vol. 2: Psychological and Biological Models, Vol. 2, chapter On Learning the Past Tenses of English Verbs, pp. 216-271. MIT Press, 1986.

[7] S Pinker and A Prince. On language and connectionism: analysis of a parallel distributed processing model of language acquisition. Cognition, Vol. 28, No. 1-2, pp. 73-193, Mar 1988.

[8] Christo Kirov and Ryan Cotterell. Recurrent neural networks in linguistic theory: Revisiting Pinker and Prince (1988) and the past tense debate. Transactions of the Association for Computational Linguistics, pp. 651$665,2018$.

[9] Maria Corkery, Yevgen Matusevych, and Sharon Goldwater. Are we there yet? Encoder-decoder neural networks as cognitive models of English past tense inflection. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3868-3877, July 2019.

[10] Kate McCurdy, Sharon Goldwater, and Adam Lopez. Inflecting when there's no majority: Limitations of EncoderDecoder neural networks as cognitive models for German plurals. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1745-1756, July 2020.

[11] Bernard Bloch. Studies in colloquial Japanese I inflection. Journal of the American Oriental Society, Vol. 66, No. 2, pp. 97-109, April-June 1946.

[12] Adam Albright and Bruce Hayes. Modeling English past tense intuitions with Minimal Generalization. Morphological and Phonological Learning: Proceedings of the 6th Workshop of the ACL Special Interest Group in Computational Phonology (SIGMORPHON), pp. 58-69, July 2002.

[13] Adam Albright and Bruce Hayes. Rules vs. analogy in
English past tenses: a computational/experimental study. Cognition, Vol. 90, No. 2, pp. 119-61, Dec 2003.

[14] Jean Berko. The child's learning of English morphology. Word, Vol. 14, No. 2-3, pp. 150-177, August 1958.

[15] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473, 2014.

[16] Katharina Kann and Hinrich Shültze. Single-model Encoder-Decoder with explicit morphological representation for reinflection. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 555-560, August 2016.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[18] Shijie Wu, Ryan Cotterell, and Mans Hulden. Applying the transformer to character-level transduction, 2020.

[19] Xiaomeng Ma and Lingyu Gao. How do we get there? evaluating transformer neural networks as cognitive models for english past tense inflection. In Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1101-1114, Online only, 2022. Association for Computational Linguistics.

[20] Sadao Kurohashi and Makoto Nagao. Treebanks: Building and Using Parsd Corpora, Vol. 14, chapter Building a Japanese parsed corpus while improving the parsing system, pp. 249-260. Kluwer Academic Publishers, 2003

[21] 浅原正幸, 松本裕治. ipadic version 2.7.0 ユーザー ズマニュアル, 2003. http://manual. freeshell.org/ chasen/ipadic-ja.pdf.

[22] Peter M. Suski. Conjugation of Japanese Verbs in the Modern Spoken Language. P. D. and Ione Perkins, 1942.

[23] 深津聡世, 原田宥都, 関澤瞭, 田村鴻希, 大関洋平. 深層学習モデルによる日本語動詞の双方向形態屈折の 検証. 日本言語学会第 165 回大会予稿集, pp. 193-199, 2022.

[24] Charles Yang. The Price of Productivity. MIT Press, 2016.

[25] Brian MacWhinney. The CHILDES project: Tools for analyzing talk. Erlbaum, New Jersey, 1991.