# Large Pre-trained Language Models with Multilingual Prompt for Japanese Natural Language Tasks

Haiyue Song ${ }^{1,2}$ Raj Dabre $^{2}$ Chenhui Chu $^{1}$ Sadao Kurohashi ${ }^{1}$
${ }^{1}$ Kyoto University ${ }^{2}$ NICT
\{song, chu,kuro\}@nlp.ist.i.kyoto-u.ac.jp raj.dabre@nict.go.jp
}

\begin{abstract}
Pre-trained Language Models (PLMs) with in-context learning have achieved impressive performance on various English Natural Language Understanding (NLU) and generation tasks. However, applying PLMs to languages other than English is still a challenge. This is because the training data used for pre-training contains a huge percentage of English data and a significantly lower percentage of data in other languages. To alleviate this problem, we propose a multilingual prompt approach, where we provide the input in the target language as well as in English, the latter of which is obtained by Neural Machine Translation (NMT). We experimented on six Japanese datasets and achieved SOTA performance in two of them.
\end{abstract
## 1 Introduction

In recent years, the world knowledge from the huge-scale training data and the generalization ability from the hugescale model have enabled the PLMs to show promising performance on a wide range of Natural Language Processing (NLP) tasks [1, 2, 3]. This data-driven approach has especially shown promising results on English tasks [4]. It even shows better than the fine-tuning methods with a few-shot in-context learning setting [5]. Although the high generalization ability enables the PLMs to deal with NLP tasks in other languages, a performance gap exists between them and the same tasks in English. This phenomenon is largely due to the lack of training data in the target language $[3,6]$.

To alleviate the data distribution mismatch problem between the training data and testing data, increasing the percentage of non-English data in the training set is a trivial yet efficient approach. However, the disadvantages include the high cost of data collection and cleaning, the data scarcity for low-resource languages, and the drop in performance of

Figure 1: Overview of the proposed method.

English tasks [6]. Having English play the role of the intermediary is another effective way. This includes translating the non-English inputs into English [7], translating the English training data to the target language [8], or showing a few English examples as context to adjust the domain [4].

In this work, we solve the data distribution mismatch problem in PLMs with a novel multilingual prompt approach (See Figure 1). We first translate the input in the target language into English and feed them into PLMs. In this way, the prompt provides both accurate information in the original input and information in English that can be processed by the model without language mismatch.

We conducted experiments on the JGLUE benchmark that contains 5 language understanding tasks [9] and on the KWDLC dataset [10] for the Japanese word segmentation task. Compared with fine-tuning methods based on BERT variants, the proposed multilingual prompt approach based on a GPT-3 model achieves SOTA performance on the sentiment classification and Japanese word segmentation datasets and comparable performance on most of the rest datasets. Ablation studies show the importance of using multilingual rather than Japanese only or English only inputs. Analysis with examples further reveals how the English references help.

Figure 2: Prompt format with multilingual examples and the query.

## 2 Related Works

As the scales of PLMs increase (e.g., BERT series [1, 11], T5 model [2], and the GPT series [12, 4]), few-shot in-context learning without back-propagation to update the model parameters becomes possible [13]. The in-context learning approach makes it extremely practical, where the model can be applied to entirely new tasks requiring only a minimal amount of annotation.

To solve the non-English NLP tasks, multilingual PLMs approaches (e.g., mBERT [1], mT5 [14], and XGLM [6]) attempt to collect more balanced data from more than one hundrad languages and solve tasks in language other than English directly. Other attempts to alleviate the data distribution mismatch problem of PLMs pre-trained on unbalanced data include fine-tuning based methods [15, 16], translation-based methods [7, 8], and zero-shot methods [4], which require less computation. Multilingual input is also a common method in multilingual MT [17, 18].

## 3 Methods

We first briefly define the notations of the task, prompt, and output. We then explain the proposed multilingual prompt with a few-shot in-context learning method.

## 3.1 Notations

We define the parameter in the PLM as $\theta$. For each task $T$, we define the dataset as $D$. The prompt of the PLM is defined as $P$, where $P=\left[P_{\text {task }}, P_{\text {examples }}, P_{\text {query }}\right]$ is a concatenation of three parts as presented in Figure 2.
- The task explanation part $P_{\text {task }}$ provides the information of the task and the format of input and output of each data examples. It varies with the task.
- The example part $P_{\text {examples }}$ provides $N$ examples. Each example $E_{i}$ consists of two parts, the question part $Q_{i}$ and the correct answer $A_{i}$.
- The query part $P_{\text {quer }}$ provides the question $q$ at the inference time without the answer.

We call a setting zero-shot if the $P_{\text {examples }}$ is empty ( $N=$ $0)$, few-shot if $N$ is a small number. We keep $N<10$ in all few-shot experiments. The output is defined as $y$; for different tasks $T$, the set of possible output values differs.

## 3.2 Multilingual Prompt

We keep the target language Japanese across the experiments. For all the texts $t_{J a}$ in $P_{\text {examples }}$ and $P_{\text {query }}$, we apply a high-quality machine translation tool Textra ${ }^{1)}$ to translate it into a English text $t_{E n}$. We then combine $t_{J a}$ and $t_{E n}$ to form a multilingual text $t_{M i x}$. We then replace $t_{J a}$ with $t_{M i x}$ to generate the multilingual $P_{\text {examples }}$ and $P_{\text {query }}$ as shown in Figure 2.

In the zero-shot multilingual prompt setting, the output of the PLM $y=f(P \mid \theta)$ tends to be multilingual, and we only keep the Japanese part as a prediction. In the few-shot setting, the output will be in the correct format following the $P_{\text {examples }}$. Note that we use English for $P_{\text {task }}$ across all the experiments.

Table 1: Results on the JGLUE benchmark. Bold represents the best performance except for Human. Blue represents the best setting among the proposed methods.

} & \multirow{2}{*}{} & \multicolumn{2}{|c|}{ JSTS } & \multirow{2}{*}{} & \multicolumn{2}{|c|}{ JSQuAD } & \multirow{2}{*}{} \\

Table 2: Results on the KWDLC dataset for the Japanese word segmentation task. Bold means the best performance.

## 4 Experimental Settings

## 4.1 Datasets

We use five datasets from the JGLUE benchmark [9], including 1) MARC-ja, a text classification dataset, 2) JSTS, the Japanese version of the semantic textual similarity dataset, 3) JNLI, the Japanese version of the natural language inference dataset, 4) JSQuAD, the Japanese version of reading comprehension dataset, and 5) JCommonsenseQA, the Japanese version multiple-choice commonsense Question Answering (QA) dataset.

Additionally, we add a Japanese word segmentation task to verify whether the English translation will still help for

the task that requires Japanese syntax information processing ability. We test on the KWDLC dataset [10], which is segmented by Jumanpp [22] and revised by experts.

The evaluation metrics keep the same with the previous work $[9,19]$, using accuracy for multi-choice tasks, Pearson and Spearman for the ranking task, Exact Match (EM) and F1 for the QA task, precision, recall, and F1 for the word segmentation task.

## 4.2 Model Settings

PLM We run experiments on a publicly available pretrained language model GPT-3 Codex (175B) $)^{3)}$ with temperature as 0, top $p$ as 1 , frequency penalty as 0 , presence penalty as 0 , and max tokens as 200.

MT Model We use a publicly available MT tool Tex$\mathrm{Tra}^{4)}$ with the general Japanese to English model.

Few-shot We manually select $N<10$ examples from the train set that cover all types of output labels. For the MARC-Ja dataset, we use 2 examples with positive labels and 2 with negative labels. For the JSTS dataset, we use 10 examples with labels from 0.0 to 5.0 in a roughly uniform distribution. We use 6 examples for JNLI, 5 examples for JSQuAD, 5 for JCommonsenseQA, and 7 for KWDLC. For the JSQuAD dataset, in the case that there are multiple correct labels, we show the first one in $P_{\text {examples }}$.

 &  \\

Figure 3: An example from the MARC-Ja dataset where multilingual prompt helps.

 &  \\

Figure 4: An example from the KWDLC dataset where multilingual prompt helps.

Baselines For the JGLUE benchmark, we compare with the fully supervised methods fine-tuned on Tohoku BERT, ${ }^{5)}$ NICT BERT base, ${ }^{6)}$ Waseda RoBERTa, ${ }^{7)}$ and XLM RoBERTa models [23]. For the KWDLC dataset, we compare it with a previous unsupervised method based on BERT [19]. We added existing tools MeCab [20] with ipadic dictionary and KyTea [21] as references. Note that the KWDLC is originally segmented by Jumanpp [22] therefore the F1 score using Jumanpp is near 1.0.

## 5 Experimental Results

## 5.1 Main Results

Tables 1 and 2 show the results of the JGLUE benchmark and KWDLC dataset correspondingly. The proposed methods show SOTA performance on the text classification dataset and Japanese word segmentation dataset. The performance is also comparable to the fine-tuned methods on two QA datasets. However, we found that the performance is worse on the tasks JNLI and JSTS that require reasoning ability. We can observe that the fine-tuned methods outperform humans on these two tasks.

The few-shot methods gave higher scores than the zeroshot ones on all the tasks, showing the effectiveness of in-context learning. We found the improvement from both better output format and adaptation to the task domain.

5) huggingface.co/cl-tohoku/bert-base-japanese-v2

6) alaginrc.nict.go.jp/nict-bert/index.html

7) huggingface.co/nlp-waseda/roberta-base-japanese
The multilingual prompt outperforms the Japanese or English only prompt on most tasks. We assume that it is due to less distribution mismatch between the testing and training data.

## 5.2 Case Analysis

We gave two cases where the multilingual prompt leads to correct prediction. Figure 3 provides a text classification example, where the object is implicit and omitted in the Japanese text. However, in the translated text, the phrase but I liked it is completed, and the object information becomes explicit, which helps the model to give the correct prediction. Figure 4 illustrates another case from the word segmentation task. The names of the province (Anhui, Shandong. . .) are given as separate English words in the translation, which provides word boundary information and helps to segment Japanese words correctly.

## 6 Conclusion and Future Work

In this work, we proposed a multilingual prompt approach to better apply the PLMs to non-English tasks. The prompt contains the original input in Japanese and the translated input in English, which alleviates the data distribution mismatch problem. We experimented on six Japanese datasets and achieved SOTA performance on two of them. Future work includes adding Chain-of-though (CoT) [5], a cross-lingual version of the few-shot retrieval method [24], and a web-searching method [25].

## Acknowledgement

This work was supported by JSPS KAKENHI Grant Number JP21J23124. Part of the work was done during an internship at NICT.

## References

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[3] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners, 2020.

[4] Genta Indra Winata, Andrea Madotto, Zhaojiang Lin, Rosanne Liu, Jason Yosinski, and Pascale Fung. Language models are few-shot multilingual learners. In Proceedings of the 1st Workshop on Multilingual Representation Learning, pp. 1-15, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[5] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models, 2022.

[6] Xi Victoria Lin, Todor Mihaylov, Mikel Artetxe, Tianlu Wang, Shuohui Chen, Daniel Simig, Myle Ott, Naman Goyal, Shruti Bhosale, Jingfei Du, Ramakanth Pasunuru, Sam Shleifer, Punit Singh Koura, Vishrav Chaudhary, Brian O'Horo, Jeff Wang, Luke Zettlemoyer, Zornitsa Kozareva, Mona Diab, Veselin Stoyanov, and Xian Li. Few-shot learning with multilingual language models, 2021.

[7] Tim Isbister, Fredrik Carlsson, and Magnus Sahlgren. Should we stop training more monolingual models, and simply use machine translation instead?, 2021.

[8] 吉越卓見,河原大輔, 黒橋禎夫. 機械翻訳を用いた自然言語推論データセットの多言語化. 第 244 回自然言語処理研究会, 2020.7.3

[9] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[10] 萩行正嗣, 河原大輔, 黒橋禎夫. 多様な文書の書き始めに対 する意味関係タグ付きコーパスの構築とその分析. 自然言語処理, Vol. 21, No. 2, pp. 213-247, 2014.

[11] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[12] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019

[13] Damai Dai, Yutao Sun, Li Dong, Yaru Hao, Zhifang Sui, and Furu Wei. Why can gpt learn in-context? language models secretly perform gradient descent as meta-optimizers, 2022.

[14] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A massively multilingual pre-trained text-to-text transformer. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 483-498, Online, June 2021. Association for Computational Linguistics.

[15] Bo Zheng, Li Dong, Shaohan Huang, Wenhui Wang, Zewen Chi, Saksham Singhal, Wanxiang Che, Ting Liu, Xia Song, and Furu Wei. Consistency regularization for cross-lingual fine-tuning. In Proceedings of the 59th Annual Meeting of the ACL and the 11th IJCNLP (Volume 1: Long Papers), pp. 3403-3417, Online, August 2021. Association for Computational Linguistics.

[16] Zhaojiang Lin, Andrea Madotto, Genta Indra Winata, Peng Xu, Feijun Jiang, Yuxiang Hu, Chen Shi, and Pascale Fung. Bitod: A bilingual multi-domain dataset for task-oriented dialogue modeling, 2021.

[17] Raj Dabre, Fabien Cromieres, and Sadao Kurohashi. Enabling multi-source neural machine translation by concatenating source sentences in multiple languages. In Proceedings of Machine Translation Summit XVI: Research Track, pp. 96-107, Nagoya Japan, September 18 - September 222017.

[18] Barret Zoph and Kevin Knight. Multi-source neural translation. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 30-34, San Diego, California, June 2016. Association for Computational Linguistics.

[19] 和田有輝也, 村脇有吾, 黒橋禎夫. セミマルコフ crf 自己符号化器による教師なし単語分割. 言語処理学会 第 28 回年次大会, 浜松, 2022.3.16.

[20] Takumitsu Kudo. Mecab : Yet another part-of-speech and morphological analyzer. 2005.

[21] Graham Neubig, Yosuke Nakata, and Shinsuke Mori. Pointwise prediction for robust, adaptable Japanese morphological analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[22] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Conference on EMNLP: System Demonstrations, pp. 54-59, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[23] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. CoRR, Vol. abs/1911.02116, , 2019

[24] Ohad Rubin, Jonathan Herzig, and Jonathan Berant. Learning to retrieve prompts for in-context learning. In Proceedings of the 2022 Conference of the NAACL:HLT, pp. 2655-2671, Seattle, United States, July 2022. Association for Computational Linguistics.

[25] Reiichiro Nakano, Jacob Hilton, Suchir Balaji, Jeff Wu, Long Ouyang, Christina Kim, Christopher Hesse, Shantanu Jain, Vineet Kosaraju, William Saunders, Xu Jiang, Karl Cobbe, Tyna Eloundou, Gretchen Krueger, Kevin Button, Matthew Knight, Benjamin Chess, and John Schulman. Webgpt: Browser-assisted questionanswering with human feedback, 2021


# ヒト脳における時間認識時の脳内状態の推定

1 須藤百香 4 小出（間島）直子 ${ }^{3}$ 浅原 正幸 2,4 山口裕人
4 久保 理恵子 2,4 西本伸志 1 小林一郎
1 お茶の水女子大学 ${ }^{2}$ 大阪大学 3 国立国語研究所 4 情報通信研究機構
[g1720523@is.ocha.ac.jp], [naoko-ko@nict.go.jp]
[masayu-a@ninjal.ac.jp], [hyamaguchi@nict.go.jp], [rkubo@fbs.osaka-u.ac.jp]
[nishimoto.shinji.fbs@osaka-u.ac.jp], [koba@is.ocha.ac.jp]

## 概要

近年, 脳神経活動の多点計測技術の発展や深層学習に代表される機械学習技術の高度化により，観測 したヒト脳内情報に対する解析や定量的理解を行う 研究が盛んになっている.このような背景を踏まえ て，本研究では被験者が DVDを視聴している際の 脳活動状態を計測し，動画の発話によって与えられ る言語刺激からヒト脳内における時間認識時の脳内状態を調査することを目的とする。

## 1 はじめに

"時間”という概念が，ヒト脳内にどのように存在 するのか，またはどの部位で処理されているのかと いう疑問に対する明確な解は未だに存在しない. 時間は物理現象として捉えられ, 我々が感覚的に感じ るものであったり，文章中に記述されている事象の 生起の順序関係から論理的に考えられたりと, 様々 な捉え方がある。近年, 深層学習や汎用言語モデル といった革新的な技術の発展により, 脳神経科学に おいて脳内情報処理を解明するためにそれらの技術が頻繁に利用されるようになっている. とくに， Yamins ら [1] によって視覚情報を処理する深層学習 モデルの層と脳内の視覚情報処理の階層的処理の 層の間に相同性があることが示されて以来，深層学習モデルを脳の機能を理解するための作業モデル として利用するようになっている，とくに，脳に与 えられる言語刺激を表現する際に，言語の特徴量を word2vec [2] や BERT [3], GPT-2 [4] などの汎用言語 モデルを用いて表現し利用されるようになってい る. Schrimpf ら [5] は脳活動データから単語の推定 を行う課題において，43 の汎用言語モデルを用いて その精度を検証し，該当タスクにおいてどの言語モ デルが脳活動を表現するのに適しているのかなどを調査している。このように汎用言語モデルと脳活動 データの対応関係をとることによりヒト脳内の様々 な特徵を解析することが可能になってきている。

このような背景を踏まえて，本研究では，自然言語文章中に表されている時間的概念がヒト脳内にお いて認識されている状態はどのようなものであるか を調査することを目的とする．自然言語文章から時間を識別する深層学習モデルを構築し，ヒト脳に与 えられる言語刺激から時間識別のための特徵量を抽出し，それを持って脳内状態を予測する。これによ り，時間識別の脳内状態の調査を試みる。

## 2 時間認識時の脳活動状態推定

## 2.1 研究概要

図 1 に研究の概要を示す.

図 1: 言語刺激による脳活動状態推定の概要

DVD 動画視聴時の脳活動データを fMRI を用いて 計測する．動画中の発話を文章に書き起こし，文の 意味を汎用言語モデル BERT [3] を用いてべクトル として表現し，それを言語の特徴量とみなす。言語 の特徵量から脳活動データを予測する符号化モデル （2.2 節参照）を構築し，言語刺激下の脳内状態を推定可能とし，その結果を可視化する。

## 2.2 符号化モデル

本研究における符号化モデル (Encoding model) の構築手法は，Naselaris ら [6] によるものを採用し た. 符号化モデルの構築方法として，ヒト脳への刺激となるデータから抽出した特徴量と刺激下の脳活動状態を線形回帰し, 計測脳活動パターンと予測脳活動パターンが近づくように重みを学習する。

## 2.3 被験者実験

被験者は日本人 4 名で，5 本の映画やドラマの DVDを自由視の指示のもと視聴した．映画やドラ マの内訳は 4 本が海外の映画またはドラマであり，残り 1 本は日本のアニメーションである. 海外映画 およびドラマとも日本語に吹き替えされたもので あり，被験者は日本語によって動画を理解してい る. 実験は，情報通信研究機構脳情報通信融合セ ンターにおいて実施され，上記 DVD データに関し て, 約 9 時間の動画視聴時の脳活動を磁気共鳴機能画像法 (functional magnetic resonance imaging:fMRI) を用いて脳内の血中酸素濃度依存型（BOLD:blood oxygenation level dependent）信号を観測したものであ る. 脳活動データは, 1 秒間隔で計測され, 時点毎 の観測ボリュームは $96 \times 96 \times 72(=663,552)$ ボクセ ルである.

## 2.4 時間識別深層学習モデル

DVD 視聴時に発話内に現れる時間概念を識別す るための深層学習モデルを構築する. これは，その 識別モデルの中間層に表される特徴量（表現ベクト ル）は，時間概念を識別するための表現になってい ると考えることができるため，その特徴量から符号化モデルにより推定した脳活動状態によって，時間概念を捉えるための脳内の特性を解明するためで ある．時間識別深層学習モデルが識別する時制は，「過去」「現在」「未来」「その他」の4つとなってい る. 使用したデータの具体例を表 1 に示す.

表 1: 書き起こし文と時制の対応

発話内容の特徵量は, 日本語用の NWJC-BERT [7]
を使用し，発話を構成する 1 文ごとに BERT の潜在 トークンである CLS の埋込べクトルを利用した. モデルの概要図を図 2 に示す.

図 2: 時間識別モデル概要図

## 3 実験

## 3.1 符号化モデル作成

2.4 節で説明した時間識別深層学習モデルを用い て，その中間層から時間識別のための特徴量を抽出 し，実際に観測された脳活動データとの回帰モデル を構築する. 図 3 にその概要を示す.

図 3: 符号化モデル作成の概要図

BERTにより表現した発話内容の特徴量から fMRI にて取得された脳活動データにより表現される脳内状態を推定するための符号化モデルとして, Ridge 線形回帰を採用する．また，訓練データと評価デー

タは観測した脳活動データの連続性を考慮して分割 し，訓練データに対する 5 分割交差検証を行うこと により，脳活動データのボクセル毎に最適な正則化項を決定した. 回帰モデルにより予測されたデータ と，実際に観測された脳活動データ (正解データ)を ピアソンの積率相関係数により評価を行う. またこ の際，帰無仮説「推定値と評価値には相関関係が存在しない」を仮定のうえ，各ボクセルごとに推定し た値に対し、 $p=0.05$ の下で両側検定，この仮説を 棄却した信用できるボクセルのみ使用している.

## 多段階ファインチューニング

本研究では，時間識別モデルの推定精度向上のた め，類似のタスクを学習したモデルを多段に転移 してモデルを洗練させていく転移学習手法である，多段階ファインチューニング（Multi-step fine-tuning） を適用した．今回は，目標タスクを DVD 視聴時の 発話内の時間概念の識別とし， 1 段階目に類似した 時間関係タスクとして, 日本語話し言葉コーパス内 の時間概念を識別するタスクで学習させたモデルを 採用し，2 段目にDVD 視聴時の時間概念識別のタス クを解いた。概要を図 4 に示す。

図 4: 多段階ファインチューニング

## 時間識別特徵量のみに基づく脳内状態予測

作成した時間識別モデルの最終層に近い上位層 の特徴量から事前学習済み BERT の埋め込みべク トルが入力される低層の純粋な言語特徴量を取り 除くと, 純粋に時間識別のための特徵量が得られる との考えから，それぞれの特徴量から推定された脳活動状態の差異を観測した. この際, それぞれの特徵量から個別に脳内状態を推定してしまうと，それ ぞれを共通の空間における比較にはならないため,双方の特徴量を合わせて回帰を行う, Banded Ridge Regression [8] を用い，それぞれの特徴量から予測さ れた脳内状態の差異をとれるようにした. 図 5 にそ の概要を示す.

図 5: 時間識別特徵量のみに基づく脳内状態推定

## 3.2 実験設定

## 使用データ

2.3 節での被験者実験によって取得された DVD 視聴時の脳活動データとその発話の書き起こしデー タ，および，日本語話言葉コーパスを傾聴した際の 脳活動データとその発話の書き起こしデータを用い る. 日本語話し言葉コーパスは，国立国語研究所・情報通信研究機構 (旧通信総合研究所) - 東京工業大学が共同開発した, 日本語の自発音声を大量にあ つめて多くの研究用情報を付加した話し言葉研究用 のデータベースである. 本研究では，ある一つの話題について一人が 600 700 秒ほどスピーチしてい るものを使用している.

## 時間識別深層学習モデル構築

2.4 節で説明した時間識別深層学習モデルを構築 する. モデルのパラメータを表 2 に示す。学習率や 最適化アルゴリズムは先行研究 [9]を参考に採用し ている.

表 2: 時間識別深層学習モデルのパラメータ

モデル構築に使用したデータは，5本の DVD 視聴 データの内，4本の動画を訓練データとして使用し，残りの 1 本を評価データとして構築した. 同じ動画 を訓練と評価データに分けないようにすることによ り，構築するモデルが過学習を起こさないように配慮した。

Mentalist

(a) DVD 発話からの脳内状態推定

Mentalist

(c) BERT 低層の純粋な言語特徴量からの脳内状態推定

GIS2

(b) 多段階ファインチューニング

Mentalist

GIS2

(d) 言語特徴量を除去した時間認識の脳内状態推定

（上位 500 ボクセル）

図 6: 実験結果

## 3.3 実験結果

図 6(a) にDVD の発話を時間識別モデルの入力と した際の時間識別特徴量からの予測脳活動状態を示 す. 図 6(b) に多段階ファインチューニングを行い脳内状態推定精度を向上させた際の予測脳活動状態を 示す. さらに，より詳細に時間識別領域についてみ るため，時間に関する特徴量から純粋な言語特徴量 を引いた際の予測脳活動状態を図 6(d) に示す.

## 3.4 考察

図 6(a)のDVD 発話データのみを用いて時間識別 モデル構築を行なった際には，予測脳活動で特徴的 な反応を見ることができなかったが，図 6(b) におい ては予測された領域の局在性が見えるようになり，後頭葉の部分に強い反応が見られた. この部分は主 に言語を司る部分だと言われており，反応としては 妥当であると言えるであろう。この結果から多段階 ファインチューニングを行うことで，モデルの精度 がより良くなり，予測脳活動の精度がよくなったこ とがわかった。また，時間識別モデルから得た特徴量から図 6(c) に示した BERT 低層の言語特徴量を引 いた図 6(d) においては, 全被験者を通して前頭前野 の反応がよく残る傾向となった. このことからこの 部分で何かしらの時間処理が行われている可能性が 考えられる。

## 4 まとめ

本研究は，ヒト脳内において自然言語文中に表さ れる時制がどの部位において処理がなされているか を解明することを目的とし，DVD 視聴時の時制を 伴う発話文を刺激として用い，予測した脳活動状態 から時間認識に特化した脳内部位を調査した。脳内状態を推定するためには，予測精度の高い符号化モ デルを作成する必要があり，深層学習モデル学習時 の多段階ファインチューニングにより予測精度が向上することが確認できた。これにより，時間識別深層学習モデルを通じて得られた時間識別のための特徴量から脳内状態を推定することで，時間認識をし ている部位の特定に努めた。実験を通じて判定され た脳内時間処理の部位については，映画内容や被験者により多少の違いがでたものの，前頭前野の位置 で反応がよく見らる傾向にあった. しかし，未だそ の部位が特定できたとは言い難い，今後は，脳内に おける時間処理の部位を詳細に解明するため，符号化モデルの改良や，実験データをより増やすことな どし，引き続き調査を進めていくつもりである.

## 謝辞

本研究は科学研究費補助金 (18H05521) の支援を 受けて実施されたものである. ここに謝意を表す.

## 参考文献

[1] D. L. K. Yamins, H. Hong, C. F. Cadieu, E. A. Solomon, D. Seibert, and J. J. DiCarlo. Performance-optimized hierarchical models predict neural responses in higher visual cortex. Proceedings of the National Academy of Sciences, pp. 8619 - 8624, 10/2014 2014.

[2] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26, pp. 3111-3119, 2013.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of NAACL2019, pp. 4171-4186, June 2019.

[4] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[5] Martin Schrimpf, Idan Blank, Greta Tuckute, Carina Kauf, Eghbal A. Hosseini, Nancy Kanwisher, Joshua Tenenbaum, and Evelina Fedorenko. The neural architecture of language: Integrative reverse-engineering converges on a model for predictive processing. bioRxiv, 2020.

[6] Thomas Naselaris, Kendrick N. Kay, Shinji Nishimoto, and Jack L. Gallant. Encoding and decoding in fmri. Neurolmage, Vol. 56, No. 2, pp. 400-410, May 2011.

[7] 浅原正幸, 西内沙恵, 加藤祥. Nwjc-bert: 多義語に対 するヒトと文脈化単語埋め込みの類似性判断の対照分析. 言語処理学会第 26 回年次大会発表論文集, pp. 961-964, 32020 .

[8] Tom Dupré la Tour, Michael Eickenberg, Anwar O NunezElizalde, and Jack L Gallant. Feature-space selection with banded ridge regression. bioRxiv, 2022.

[9] 耿晨婧, 程飛, KANASHIRO Pereira Lis, 浅原正幸, 小林一郎. 依存関係と文脈表現を用いた日本語時間関係識別. 人工知能学会全国大会論文集, Vol. JSAI2020, pp. 4Rin115-4Rin115, 2020.


# 一般性を考慮した言語処理モデルの Shortcut Reasoning $の$ 自動検出

原口大地 ${ }^{1}$ 白井清昭 1 井之上直也 ${ }^{1,2}$
1 北陸先端科学技術大学院大学 2 理化学研究所
\{s2110137,kshirai,naoya-i\}@jaist.ac.jp

## 概要

Shortcut Reasoning は言語処理モデルの非合理的 な推論であり，頑健性を損ねる主な原因とされて いる. 先行研究では，Shortcut Reasoningを発見し，低減させる試みが行われているが，それらの手法 は様々な問題点を抱えている。本研究では，推論 パターンとその一般性をモデルから抽出・計算し， Shortcut Reasoning を自動的に検出する手法を提案す る. 実験の結果，提案手法は既に明らかになってい る Shortcut Reasoning を検出できたことに加え，未知 のものを発見することにも成功した.

## 1 はじめに

近年，事前学習モデルをはじめとした自然言語処理モデルがあらゆるタスクで精度の向上を見せてい る。一方で，学習データ内の交絡あるいは疑似相関 (Spurious Features) [1, 2, 3] にモデルが依存すること で発生する，推論プロセスにおける非合理的な推論 (Shortcut Reasoning) が指摘されている $[4,5,6]$.

Shortcut Reasoning は，学習データと同じ分布 を持つデータ (Independent and Identically Distributed: IID) と比べて，異なる分布を持つデータ (Out of Distribution: OOD) の解析性能を下げる，すなわち頑健性を低下させることが懸念されている。

Shortcut Reasoningを発見・解消させようとする 試みは既に行われているが $[7,8,9]$, そこで提案さ れた手法は，(i) Shortcut Reasoning の形態について 事前に想定している，(ii) モデルの内部情報を考慮 していない，(iii)人手による判定を必要としてい るという制約を持っている。(i) は事前に想定した Shortcut Reasoning に対してのみ検証をするため，モ デルに潜在する未知のものを明らかにできない可能性がある。（ii)については，内部情報を使わない手法の多くが何らかの編集や特徴を加えた入力を作成
し，それに対する出力を分析することで，Shortcut Reasoning の存在を明らかにしようとしているが， この手法によって我々が知り得るのはモデルの出力のみであり，得られる情報には限度がある。(iii) に関しては，単純にコストがかかるのに加え，一見 Shortcut Reasoning に見えないような事例を見逃す可能性がある等の課題を抱えている.

以上の 3 つの課題の解決に取り組んだ研究 [10] は いまだ少数であり，十分な研究成果が得られていな いのが現状である。本論文は，最小限の仮定で，内部情報を利用しながら，人手での判定を必要とせず に自動的に Shortcut Reasoning を検出する手法を提案する．具体的には，モデルの推論プロセスにお ける規則性 (推論パターン) を抽出し，IID と OOD の入力に対する有効性を比較することで，Shortcut Reasoning の存在とその形態を明らかにする.

## 2 Shortcut Reasoning の検出

本節では，Shortcut Reasoning の検出に先立ち，推論パターン (2.1 項) とその抽出方法 (2.2 項), 一般性 (2.3 項)，Shortcut Reasoning の判定手法 (2.4 項)を定義し，これを踏まえて Shortcut Reasoning 検出の具体的な手順を説明する (2.5 項).

## 2.1 推論パターン

本研究では，ある入力に対するモデル $f$ の推論 プロセスにおいて，何らかのトリガー (Trigger) が特定のラベル (Label) の予測をもたらす規則を推論パ ターンと定義する。推論パターン $p$ は形式的に次の ように定義できる.

$
p \stackrel{\text { def }}{=} \text { Trigger } \xrightarrow{f} \text { Label }
$

以降，簡易な記法として $p=(t, l)$ と表す。 $t$ はトリ ガー， $l$ はラベルを表す.

## 2.1.1 推論パターンの分類

Shortcut Reasoning は学習データの Spurious Features によりもたらされるが，それらが推論パターンにお けるトリガーとラベルであることは，その推論パ ターンが Shortcut Reasoning であることの必要条件 といえる. したがって，推論パターンの定義におい て, Spurious Features の特徴を十分に考慮する必要 がある.

Pezeshkpour らは, Spurious Features には Granular feature (語彙的素性) と Abstract feature (抽象的素性) の 2 種類があると分類している [8]. 前者は, “Spielberg”のような予測と無関係な個別の単語であ る. 後者は，単語の重複 (Lexical overlap) のように表層的に現れない高次なパターンのことを指す.

この分類を推論パターンにも適用し, Granular featureをトリガーとする推論パターンを語彙的推論 パターン, Abstract feature をトリガーとする推論パ ターンを抽象的推論パターンとする．なお，抽象的推論パターンについては，この論文では扱わず，今後の課題とする. 以後，特に断りがない限り，「推論パターン」あるいは「p」は語彙的推論パターン を指すものとする。

## 2.1.2 語彙的推論パターンの定義

2.1.1 の分類より, 語彙的推論パターンのトリガー $t$ を単語の系列 $\mathbf{w}=\left.\{w_{1}, w_{2}, \ldots, w_{n}\right.\}$ で表す (式 (2)).

$
p_{\text {granular }} \stackrel{\text { def }}{=} \mathbf{w} \xrightarrow{f} \text { Label }
$

単語の系列である理由は，語彙的素性はある特定の 一単語ではなく, 複数単語の組み合わせ等の多様な 形態を持っていると想定し, それに対応するためで ある。

## 2.2 推論パターンの候補の抽出

推論パターンを抽出する手法として，新たに Input Reduction (IR)を導入する．IR では，式 (2)における トリガー $\mathbf{w}$ につて，ラベルの予測に必要となる最低限の単語の系列と考える。 また, Label はそれを 入力としたときの出力ラベルとする. これは，トリ ガーがある予測ラベルを引き起こすためだけに用い られた情報であることを保証するためである.

IR の大きな流れは以下の通りである。あるデー タセットすを入力として受け取った後，データセッ トの各インスタンス $(x, y)$ について，推論パターン の候補 $w=(\mathbf{w}, l)$ を抽出し, その集合 $C$ を出力する.

候補の抽出では，入力系列 $x$ が与えられたとき， $x$ に含まれる各単語に対して一つずつマスクをかける ([MASK] に置換する). マスクの数を増やしていき， それを入力をしたときの予測が変化するまで繰り返 す. 予測が変われば，その直前の系列をトリガーと する推論パターンの候補を得る。

しかしながら，ナイーブな実装ではマスクの組 み合わせが膨大になり計算量が負担となる。した がって，Integrated Gradient (IG)[11]を利用して，予測に対する重要度の低い単語順にマスクをかける (Algorithm 1).

## 2.3 一般性の計算

推論パターンを，推論における「パターン」と呼 ぶためには，一定の規則性が認められなければなら ない. そこで，推論パターンの一般性を計算する。

$C$ の $i$ 番目の推論パターン候補 $p_{i}=\left(\mathbf{w}_{i}, l_{i}\right)$ の一般性 $g_{i}$ を次のように計算する。Dとは別のデータ セット $D^{\prime}$ を用意し，トリガーの単語の系列 $\mathbf{w}_{i}$ を含 む事例の集合 $\left(x_{j}^{\prime}, y_{j}^{\prime}\right) \in E\left(\mathbf{w}_{i}\right)$ を $D^{\prime}$ から取得する. このとき，それぞれの事例に対する予測 $f\left(x_{j}^{\prime}\right)$ がラ ベル $l_{i}$ と一致する割合をその推論パターンの候補の 一般性とする。形式的には次のように定義する ${ }^{1)}$ :

$
g_{i} \stackrel{\text { def }}{=} \frac{\sum_{x_{j}^{\prime} \in E\left(\mathbf{w}_{i}\right)}\left[f\left(x_{j}^{\prime}\right)=l_{i}\right]}{\left|E\left(\mathbf{w}_{i}\right)\right|} \times 100
$

## 2.4 Shortcut Reasoning の判定

1 節より，推論パターンが Shortcut Reasoning であ ることの条件として，(i) IID の入力に対しては有効

に機能するが，(ii) OOD の入力に対しては有効では ないことの両方を満たしていることが挙げられる。

条件 (i) は，IID のデータセット $D_{\text {IID より抽出さ }}$ れた推論パターンが正しく正解ラベルを予測できて いれば，その条件を満たすことになる。条件 (ii) は， OOD のデータセット DOOD からトリガー $\mathbf{w}$ に合致 する事例の集合 $\left(x^{\prime}, y^{\prime}\right) \in E(\mathbf{w})$ を取得し，その予測 の多くが誤りであればその条件を満たすといえる. そこで， $E(\mathbf{w})$ と $D_{\mathrm{OOD}}$ における予測の F1 スコアの 差 $\Delta$ を計算し(式(4)), その差を推論パターンがどれ だけ OODでの予測に失敗しているかの指標とする。

$
\Delta \stackrel{\text { def }}{=} \mathrm{F} 1(E(\mathbf{w}), f)-\mathrm{F} 1\left(\mathscr{D O O D}_{\mathrm{OD}}, f\right)
$

したがって，ある推論パターン $p_{i}=\left(\mathbf{w}_{i}, l_{i}\right)$ が Shortcut Reasoning であるとは，そのトリガー $\mathbf{w}_{i}$ に 合致する $E\left(\mathbf{w}_{i}\right)$ について $\Delta_{i}$ が小さく, かつラベル $l_{i}$ に関する条件 (i)を満たすことと定義する. 形式的 には, Shortcut Reasoning の集合 $\tilde{P}$ は式 (5) のように 書ける。

$
\tilde{P} \stackrel{\text { def }}{=}\left.\{p_{i}=\left(\mathbf{w}_{i}, l_{i}\right) \in C \mid l_{i}=y_{i}, \Delta_{i}<0\right.\}
$

ここで， $y_{i}$ は推論パターン $p_{i}$ の抽出に用いた IID の データの正解ラベルである.

## 2.5 Shortcut Reasoning 検出の手順

手順は大きく分けて 3 つのステップから成る．ス テップ 1 では， D 補 $p_{i}=\left(\mathbf{w}_{i}, l_{i}\right) \in C$ を抽出する．ステップ2では，抽出された候補の一般性 $g_{i}$ を $D_{\mathrm{OOD}}$ を用いて計算し，一般性の高いものを推論パターンとして定義する。最後に，ステップ 3 では，推論パターンのうち，条件 (i, ii) に当てはまるものを Shortcut Reasoning と判定する(式 (5)).

## 3 実験

## 3.1 設定

Sentiment Analysis (SA) と Natural Language Inference (NLI)の2つのタスクを対象に，提案手法の実験を行 う. 提案手法が適切に Shortcut Reasoning を検出で きているかの検証に既知の情報を必要とするが，こ れらのタスクは先行研究によって Shortcut Reasoning の形態が報告されていることが採用の背景にある.

今回の実験では，Shortcut Reasoning の基準を $\Delta<-5$ と設定する．また，一般性の低い推論パター
ンをより正確に排除するために， $|E| \geq 100$ である推論パターンのみを分析の対象とする。

## 3.1.1 データセットと予測モデル

SA TweetEval [12] は Twitter に投稿されたツイー トにいくつかの情報がアノテーションされた英語の データセットである. sentiment はそのサブセットで あり，positive/neutral/negative の 3 つの極性クラスが ラベル付けされている。 MARC [13] は Amazon にお ける多言語の商品レビューと 5 段階の星の数による 評価がアノテーションされたデータセットである.今回は英語を使う．前処理として，5 段階の評価に 関して，星の数が 4 以上のレビューを positive， 3 を neutral，2 以下を negative とした.

NLI MNLI [14] は, premise と hypothesis の 2 つの 文に対し entailment/neutral/contradiction の 3 つのラ ベルがアノテーションされた NLI のデータセッ トである. contradiction がラベル付けされている 事例の hypothesis の多くに negation が含まれると いう Spurious Feature が明らかになっている [1]. ANLI [15] は MNLI 同様に 3 種類のラベルがアノ テーションされており，MNLIよりも複雑で難易度 の高い NLI のデータセットである.

本実験では，IID として TweetEval と MNLI，OOD として，MARC と ANLIを使用する。実験に使用し たデータセットの詳細を付録 A に示す.

予測モデルは, Huggingface で公開されている RoBERTa [16] ベースの fine-tuned モデルを使用する.詳細は付録 B に示す。

## 3.1.2 Input reduction の適用先

Input reduction の入力として, train (学習データ) と test (テストデータ)の 2 通りを用いる. 前者はモデ ルの傾向 (内部状態)を捉えた推論パターンが得られ ることを期待する。後者は，推論パターンを得るた めの最も直観的な手法である．本実験では，ランダ ムに選んだ 1,000 件のデータに IRを適用する.

## 3.2 結果

検出された Shortcut Reasoning に該当する推論パ ターンを表 1 に示す. train/test は，推論パターンが それぞれ train, test に対して IRを適用して抽出され たかを表し，パターンが得られた場合は $\mathrm{T}$ ，なけれ ば $\mathrm{F}$ と記す.

$\mathbf{S A}$ 得られた推論パターン全体を見てみると，そ
表 1 検出された Shortcut Reasoning の例

の多くが [“love”] $\rightarrow$ positive や [“awful”] $\rightarrow$ negative 等 の感情語に関連したものであった. このことから， SA においてモデルは感情語を予測の重要な手がか りとしていることがわかる. Shortcut Reasoning であ るものについても，感情語を含む推論パターンが多 かった.したがって，Shortcut Reasoning は必ずしも 先行研究で報告されている [“Spielberg”] $\rightarrow$ poitive の ような予測と無関係な単語のみに反応しているので はないことがわかる。一方，そのような予測と無関係な単語がトリガーとなる推論パターンは得られな かったが，IID と OODを逆にした設定では異なる結果が得られる可能性がある.

MARC に関して, neutral とラベル付けされたレ ビュー(星3つ)においては positiveな表現と negative

が大きい推論パターンを観察してみると，総じて neutral を誤って予測していることから，本来であれ ばレビューを総合的に評価しなければならないにも 関わらず，レビュー中のどちらか一方の極性の感情語だけに依存して推論していることがわかった.

NLI“s”は入力の premise と hypothesis を隔てる目印である. 得られた推論パターンを概観してみる と, hypothesis に含まれる単語がトリガーの大半を 占め, premise の中の単語を含む推論パターンは数件しかなかった. この結果はモデルが hypothesis に 依存して文間関係を予測している2)ということを意味し, 同様の結果が Poliak 等によって報告されてい る [2]. さらに，否定表現が hypothesis に含まれてい る推論パターンが多く Shortcut Reasoning として判定されたが，これについても先行研究 [1] で指摘さ れている Shortcut Reasoning である. 以上から，提案手法が多様な Shortcut Reasoning を適切に検出でき ていることがわかった.

train or test Input reduction の適用先について, train と testから得られた推論パターンには大きな差は見 られなかった. 具体的なパターンは異なるが, 特徴 はおおむね同じであった。
論パターンに分類されるものである.

## 未知の Shortcut Reasoning と考えられるもの NLI では hypothesis に含まれる [“popular”] $\rightarrow$ neutral や， [“as", "well"] $\rightarrow$ neutral が新しい Shortcut Reasoning と して得られた. どちらも一般性，スコア差ともに 十分に Shortcut Reasoning と判断できる水準にある.一方，SA については特に見つけることができな かった。

## 4 関連研究

Wang らは, 事前の定義なしに自動的に Shortcut Reasoning を検知する手法を提案している [10]. こ の研究では出力ラベルの予測に有効な特徴 ([“good”] $\rightarrow$ positive, [“bad"] $\rightarrow$ negative 等) は Shortcut Reasoning になりえないとし，それらを排除した上で明らか に予測に関係のない特徴 ([“Spielberg”] $\rightarrow$ positive 等）のみを検知しょうとしている. しかしなが ら, Joshi らによると, 自然言語処理のタスクにお いて Shortcut Reasoning の原因となる特徵（Spurious Features）は，大半が予測のための有力な情報であ ることを示しており [17]，このような特徴を排除す ることは適切とは言えない. さらに, 2.3 項で述べ た推論パターンの一般性を考慮していないため，検出された Shortcut Reasoning が実際にどの程度予測 に影響を与えているのかわからないという問題点を 持っている.

## 5 おわりに

本研究では，モデルの推論パターンを新たに定義 し， Shortcut Reasoning を検知する手法を提案した。実験結果では, Shortcut Reasoning の形態についての 最小限の定義で, 先行研究で明らかになっていた Shortcut Reasoning に加え，少量ながら未知な新しい ものを自動的に検知することに成功した. 今回設定 した推論パターンは語彙的推論パターンにのみ対応 しており，抽象的推論パターンへの対応は今後の課題である. さらに, 抽出型の機械読解等のより複雑 なタスクへの対応や，この手法で得られた Shortcut Reasoning の情報を応用し，モデルの頑健性を向上 させることにも取り組みたい。

## 謝辞

本研究は JSPS 科研費 19K20332 の助成を受けたも のです.

## 参考文献

[1] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation Artifacts in Natural Language Inference Data. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[2] Adam Poliak, Jason Naradowsky, Aparajita Haldar, Rachel Rudinger, and Benjamin Van Durme. Hypothesis Only Baselines in Natural Language Inference. In Proceedings of the Seventh Joint Conference on Lexical and Computational Semantics, pp. 180-191, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[3] Tom McCoy, Ellie Pavlick, and Tal Linzen. Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3428-3448, Florence, Italy, July 2019. Association for Computational Linguistics.

[4] Viktor Schlegel, Goran Nenadic, and Riza Batista-Navarro. Beyond Leaderboards: A survey of methods for revealing weaknesses in Natural Language Inference data and models, May 2020. arXiv:2005.14709 [cs].

[5] Xuezhi Wang, Haohan Wang, and Diyi Yang. Measure and Improve Robustness in NLP Models: A Survey. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4569-4586, Seattle, United States, July 2022. Association for Computational Linguistics.

[6] Xanh Ho, Johannes Mario Meissner, Saku Sugawara, and Akiko Aizawa. A Survey on Measuring and Mitigating Reasoning Shortcuts in Machine Reading Comprehension, September 2022. arXiv:2209.01824 [cs].

[7] Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, and Sameer Singh. Beyond Accuracy: Behavioral Testing of NLP Models with CheckList. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4902-4912, Online, July 2020. Association for Computational Linguistics.

[8] Pouya Pezeshkpour, Sarthak Jain, Sameer Singh, and Byron Wallace. Combining Feature and Instance Attribution to Detect Artifacts. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 1934-1946, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[9] Xiaochuang Han, Byron C. Wallace, and Yulia Tsvetkov. Explaining Black Box Predictions and Unveiling Data Arti- facts through Influence Functions. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5553-5563, Online, July 2020. Association for Computational Linguistics.

[10] Tianlu Wang, Rohit Sridhar, Diyi Yang, and Xuezhi Wang. Identifying and Mitigating Spurious Correlations for Improving Robustness in NLP Models, May 2022. arXiv:2110.07736 [cs].

[11] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic Attribution for Deep Networks, June 2017. arXiv:1703.01365 [cs].

[12] Francesco Barbieri, Jose Camacho-Collados, Luis Espinosa Anke, and Leonardo Neves. TweetEval: Unified benchmark and comparative evaluation for tweet classification. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1644-1650, Online, November 2020. Association for Computational Linguistics.

[13] Phillip Keung, Yichao Lu, György Szarvas, and Noah A. Smith. The multilingual Amazon reviews corpus. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4563-4568, Online, November 2020. Association for Computational Linguistics.

[14] Adina Williams, Nikita Nangia, and Samuel Bowman. A broad-coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[15] Yixin Nie, Adina Williams, Emily Dinan, Mohit Bansal, Jason Weston, and Douwe Kiela. Adversarial NLI: A new benchmark for natural language understanding. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4885-4901, Online, July 2020. Association for Computational Linguistics.

[16] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[17] Nitish Joshi, Xiang Pan, and He He. Are All Spurious Features in Natural Language Alike? An Analysis through a Causal Lens, October 2022. arXiv:2210.14011 [cs].

[18] Twitter-roBERTa-base for sentiment analysis, 20231 閲 覧. https://huggingface.co/cardiffnlp/ twitter-roberta-base-sentiment.

[19] roberta-large-mnli, 2023-1 閲 覧. https: //huggingface.co/roberta-large-mnli.

## A データセットの詳細

## B 使用したモデルの詳細


# 社会的状況に基づいた日本語ビジネスメールコーパスの構築

Muxuan $\operatorname{Liu}^{1}$ 石垣達也 ${ }^{2}$ 上原由衣 ${ }^{2}$ 宮尾祐介 ${ }^{3,2}$ 高村大也 ${ }^{2}$ 小林一郎 1,2
1 お茶の水女子大学大学院 ${ }^{2}$ 産業技術総合研究所 ${ }^{3}$ 東京大学
\{liu.muxuan, koba\}@is.ocha.ac.jp yusuke@is.s.u-tokyo.ac.jp
\{ishigaki.tatsuya, yui.uehara, takamura.hiroya\}@aist.go.jp

## 概要

日本語の使用は，話者間の社会的地位の差異や親疎など多くの社会的状況に影響されるため，日本語 のテキストを処理するモデルを構築する際に，これ らの社会的状況を考慮する必要がある. 本稿では，言語を社会記号体系として捉える選択体系機能言語学における社会的状況の記述方法を用いて，機械学習モデルの訓練のための社会的状況に関する情報を 含むコーパスの構築を試みる。

## 1 はじめに

社会的状況には，聞き手の年齢・性別、話し手と 聞き手の上下関係・親疎, 談話の目的・内容, 流れ,話の進行, 談話状況の違い（電話か対面か), 話し の様子（雑談的か討論的かという話のタイプ、好意的・対立的、気楽・緊張感), 地域差などが含まれて いる [1]. 日本語における言語使用は, これらの社会的状況を強く反映しているとされる [2].

そのため，様々な自然言語処理タスクにおいて日本語テキストを処理する際，より正確なモデルを構築するためには，テキストを取り巻く社会的状況を 考慮することが必要になる. 例えば，メールを修正対象とする日本語誤り訂正タスクを考えた場合，文法的な間違いを訂正対象とするだけでなく，上司に 休㗇を申請する状況においては「明日は休みます。 ありがとう.」と書いてしまうなど，社会的状況を 踏まえていないために不適切な表現を使ってしまう 誤りも存在する [3].

機械学習モデルが個々の社会的状況を適切に捉 え，利用するためには，それら社会的状況に関する 属性情報を含むコーパスが必要である．そこで，本稿では, 送信者と受信者の社会的状況に基づいた書面でのコミュニケーションと位置づけられる電子 メール [4] というジャンルを選択し，社会集団にお ける言語使用の観点から言語分析を行う選択体系機

図 1: SFLによる言語体系（図は [5] から引用）

能言語学に基づき，より詳細な社会的状況に関する 分析情報を含む日本語コーパスの構築を試みる.

## 2 社会的状況の表現

## 2.1 選択体系機能言語学 (SFL)

選択体系機能言語学 (Systemic Functional Linguistics, SFL）は，Hallidayによって確立された機能言語学の一分野であり，とくに言語体系を社会記号体系 とみなしている，言語体系は，意味層、語彙・文法層、表現層という 3 つの異なる種類の記号体系が階層になっており，それらの記号体系はコンテクスト によって包括されている. その体系は, 社会状況下 での言語使用を表すための選択肢からなるネット ワーク（‘選択体系網’と呼ぶ, 2.2 節で詳述）で記述 されており，状況の選択が意味の選択を制約し，意味が語彙・文法の選択を制約するなど，選択の体系 が，意味，語彙・文法，表現と異なる記号体系が連携して形作られている. SFLによる言語体系の概観 を図 1 に示す。

Halliday は，対話が発生する状況のコンテクスト （Context of Situation）を「何が起きているか（フィー ルド・活動領域)」「誰が参加しているか（テナー・
役割関係)」「言語が使用される手段（モード・伝達様式)」という 3 つの枠組みで説明している [6].

本稿で取り上げた「電子メール」というジャン ルにおけるコミュニケーションを想定した場合， フィールドは「電子メールによるコミュニケーショ ン」という社会活動となり，コミュニケーションの 内容は，様々な言語使用域として捉えられる. テ ナーは電子メールをやり取りをする関与者らの社会的役割となる. モードはテキストの形態を規定する 伝達様式となるため「電子文書」となる。

## 2.2 選択体系網と選択肢

SFL の特徴の一つは，具現化される言語資源を選択肢（「特徴（feature）」と呼ばれる）の体系として 表現することである.これらの体系は「選択体系網（system network）」と呼ばれ，言語体系を包括す るコンテクスト層, 言語体系を構成する意味層, 語彙・文法層, 表現層の各層の異なる記号体系の言語資源が選択体系網で表現され，コンテクスト層から 順番に上位の層から選択された言語資源に基づき下位の資源が選択されるという選択の体系を構成し ている. 例えば，「医療現場」という状況だと，「診査」「治療」のような出来事が存在し, それに対して 「手術」「この薬を飲んでしばらく様子を見て」など 語彙や文法が選択される。このように，選択体系網 はテキストが具現される過程を表しており，テキス トの具現過程を構成する各資源（特徴）が，どのよ うな選択の関係にあるかを表す。また，「選択」に おいては，各特徴のどれか一つを選択する場合，'[' を，同時に複数の特徴を選択する場合，“'ののそれぞ れの表記を使用して選択体系網を記述する。

## 3 SFL に基づいたコーパスの構築

本研究では，上述したSFLによって捉えられる社会的状況を考慮した電子メール（とくに，ビジネス メール）のコーパスを構築する．構築の流れを以下 に示す.

1. 選択体系網の構築 SFLに基づきメールを対象と した社会的状況の選択体系網を構築する。

2. 場面の設定と収集 クラウドソーシングを用い て，1 において構築した選択体系網の選択肢を 反映する多様な場面を収集する。これにより，様々な状況を設定する。この際，選択体系網か ら選択肢を選んで場面を設定する作業は，3 おいて収集するメールに社会的状況をアノテー
ションすることに相当する.

3.メールの収集 2 で収集した場面を使い，クラウ

ドソーシングでメール本文を収集する。

4. SFL に基づくアノテーション3で収集したメー ルに対して，SFLに基づくアノテーションを 行う.

以下，それぞれについて詳細を説明する。

## 3.1 選択体系網の構築

図 2:「テナー (役割関係)」の選択体系網

テナー（役割関係） テナー（役割関係）とは，言語表現のやり取りにおける話し手と聞き手，ある いはメールの送信者と受信者の関係である. テナー には，一般的なビジネスメールに見られる対話参加者の社会的立場を想定し，図 2 に示すような選択体系網を構築した.「内」と「外」は，対話参加者の所属に関しての内外の立場関係を表す属性である。一般的に「「」は，「家族や自分の会社の人，自分が 属するグループなど」を意味し，「外」は，「親しく ない人や他人，他会社の人，他グループの人など」 と説明されている [7]. また，話者の立場を表すた め, ビジネスメールによく登場する人物と組織を,目上・同輩・目下の 3 つの属性に分けている.

発話機能 SFLでは，テナー（役割関係）が，意味層における「発話機能」に影響を与える。

発話機能について，照屋 [8] は，SFLを用いて人間関係と対人的な意味を分析し，発話機能における 対人的役割をまとめている（付録 3 参照）。

本稿はその対人的関係と発話機能を参照し, ビジ ネスメールにおいてよくある発話動機に基づき，図 3 の選択体系網を構築した。

図 3：「発話機能」の選択体系網

## 3.2 場面の設定と収集

ビジネスメールによるコミュニケーションという 社会的状況を表すために，前節で示した選択体系網 の選択肢を元に，コーパスの属性を設定する。

「ビジネスメールによるコミュニケーション」と いうフィールドの下，多用な言語使用域のコーパス を収集するために，メールでのコミュニケーション 場面もクラウドソーシングで作成依頼をかけ，場面 の収集を行なった。具体的には，図 2 で示されてい る役割関係を元に，ビジネスメールによくある送信者と受信者の関係を 20 ペア設定した（付録：表 4 参照)。また，図 3で示されている「送信者の動き」 について，ビジネスメールによくある送信者の目的 を「挨拶」「感謝」「謝罪」「断り」「問い合わせ」「依頼」「お知らせ」「催促」の 8 種類で設定している。

クラウドソーシングで 52 名の作業者を集め，1人 あたり約 20 場面を作成してもらい，合計 1040 種類 の場面を集めた. また，クラウドソーシングのデー タの質を高めるために，発注時に付録の表 5 で示さ れているような例を大量に提示した. また，今後の データ分析等で受信者の特定を容易にするため，発注の際には受信者の称呼を「Aさん・A 様・A 社長 など」と表記することを求めた。

## 3.3 メールの収集

前ステップで得られた場面の中から，有効な 770 の場面を選び，クラウドソーシングで各場面毎に 5 通のメールを取得した. データの質を担保するため に，発注時に，付録の表 6 で示されているような例 を提示し，「上司には敬語を使う」、「友人にはため 口でも大丈夫」など、常識的な範囲で、対人関係や 社会的上下関係を考慮して作成することを求めた。 また，形態素解析などで利用しやすいように，件名 と宛名の記入, また, 「XX 大学 $\mathrm{XX}$ 学部の $\mathrm{XX}$ さん は私の友達です」のように，場所や自分の名前など の固有名詞を「XX」で記入することを求めた.

## 3.4 SFL に基づくアノテーション

表 1 に，コーパスの全体像の例を示す. 機械学習 での活用を容易にするため，3.1 節で列挙した選択体系網の選択肢の名称をコーパスのアノテーション 名としてそのまま踏襲するのでなく，一定の構造を 簡略化している.

表 1 に例示したメール本文にあるように，これは 従業員から顧客へのお知らせのメールである. 図 2 で示されている対話参加者の選択体系網の「目上」「同輩」「目下」という上下関係を，「目下（送信者）] と「目上 (受信者)」というアノテーションで表現し ている。また，送信者と受信者のそれぞれの具体的 な身分および話者間の所属に関する内と外の関係も 「内外関係」で表現する。

発話機能を表すアノテーションに関しては，図 3 で示されている選択体系体系網を元に設定してい る。今回，送信者目線でメール本文を収集したた め，アノテーションを設定する際に「受信者の動き」 を除外した。「送信者の動き」は「陳述・質問・提供・命令」の 4 項目があり，それぞれの詳細を「送信者の動き (詳細)」というアノテーションで表現 する。「やりとりにおける役割」に関して，送信者 がやりとりしたいものやことを「与える」か「求め る」かで選択され，対話参加者によってやりとりさ れるのは，「情報」か「モノとサービス」のいずれか である [8]. 例示のメール本文の場合，従業員が情報を顧客に与えている。「モノとサービス」のやり とりの場合，例えば，「本を返して」という要求で開始されるやりとりは，本を送信者に返せば目的を達成されるため，言語の果たす役割において「情報」 のやりとりと「モノとサービス」とでは異なってい る [8].

## 4 コーパスの分析

コーパスの場面数やメール数などの統計量を表 2 に示す. 延べ語数および異なり語数の計算につい $\tau$ ，国立国語研究所の形態素解析ツール「Web 茶ま
表 1:コーパスの概要 : 従業員が顧客に対してお知らせする場面の例

 &  &  &  &  &  &  &  &  &  & \\

表 2: コーパスの特徴を示す統計量

 & メール数 & 平均文長 & 延べ語数 & 異なり語数 \\

依頼 & 100 & 0.13 & 500 & 17.60 & 35961 & 1561 \\
謝罪 & 100 & 0.13 & 500 & 17.14 & 42326 & 1576 \\
催促 & 100 & 0.13 & 500 & 20.57 & 42758 & 1130 \\
感謝 & 100 & 0.13 & 500 & 15.82 & 37232 & 1499 \\
挨拶 & 100 & 0.13 & 500 & 15.62 & 38370 & 1641 \\
お知らせ & 100 & 0.13 & 500 & 18.31 & 44822 & 1903 \\
問い合わせ & 100 & 0.13 & 500 & 19.07 & 40734 & 1614 \\

め」1)を用いて，メール本文のテキストを解析し，記号を含めて計算を行った。また，送信者の動きにあ る「断り」について，「依頼主体」と「断り主体」の 人間関係の調査 [9]によると，一般的に「断る」と いう行為は個人の送信者と個人の受信者の間で起こ るものだと考えられる. 1 人の送信者が複数人の受信者全体を断ること（例えば、ある学生がサークル のメンバー全員を断ること）は稀であるため，コー パス構築の際には，そのような一対多の対人関係の ペアを除外した．そのため，他の項目と比べ，「断 り」の場面は 70 個しかない.

## 5 おわりに

本研究は，選択体系機能言語学に基づき，ビジネ スメールに具現される社会的役割関係の情報をア ノテーションした日本語コーパスを作成した. ア ノテーションとして用いられたタグの集合として，
SFLにおける状況のコンテクストの要素および言語体系の一部（発話機能）の選択体系網における選択肢を採用した. 今回は，とくに社会的役割，とりわ け社会的上下関係の立場が明確なビジネスメール を対象にコーパスを作成した。作成されたコーパス は，アノテーションのタグとして用いられるSFL の 選択体系網の選択肢をすべて使っているわけではな く，社会的役割関係を重視したものとなっている.

今後の課題として, 作成したコーパスの機械学習課題における利用と性能評価を行うとともに，SFL での状況のコンテクストからテキストが具現される 過程を捉えたアノテーション手法の確立を目指す。

1) https://chamame.ninjal.ac.jp

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の助成事業 (JPNP20006) およびアバナード研究奨励金による支援の結果得ら れたものである.

## 参考文献

[1] 李舜昫. 談話分析からみた日本語学習者と母語話者の 聞き手言語行動の実証的研究. 首都大学東京大学院人文科学研究科・人間科学専攻日本語教育学教室 - 博士学位論文, 2016.

[2]松村瑞子・因京子. 日本語談話におけるスタイル交替 の実態とその効果. 『言語科学』, No. 33, pp. 109-118, 1998.

[3] 藤原安佐・阿部仁美 $\cdot$ 大井裕子・椿原博子・吉田則子.日本語教育における配慮に関わる表現の指導. 『北海道大学大学院教育学研究院紀要』, No. 108, pp. 85-98, 2009.

[4] 文化審議会国語分科会. 分かり合うための言語コミュ ニケーション (報告). 国語分科会（第 67 回）, 2018.

[5] 小林一郎. 意味へのアプローチ: ハリデー言語学の観点から, 2017.

[6] M.A.K. Halliday. Language as Social Semiotic: The Social Interpretation of Language and Meaning. Open University set book. Edward Arnold, 1978.

[7] 平林周祐, 浜由美子. 外国人のための日本語例文・問題シリーズ 10 敬語. 荒竹出版, 1988 .

[8] 照屋一博 (編）,クリスチャン・マティスン,ジョン・ ベイトマン, ハイジ・バーンズ, M.A.K. ハリデー, 奥泉香, 水澤祐美子. 意味がよくわかるようになるため の言語学一体系機能言語学への招待. くろしお出版, 2022.

[9] 蔡胤柱. 日本語母語話者のEメールにおける「断 り」ー—「待遇コミュニケーション」の観点から.『早稲田大学日本語教育研究』, No. 7, pp. 95-108, 2005.

## A 付録

表 3: 発話機能と応答（[8] より引用し一部改変）

表 4: 送信者と受信者の関係に関する設定

表 5: 場面の設定例

【従業員が『自社のある部門全員』にメールで催促する 必要がある場面】の解答例

「あなたは経理部に所属しています。あなたは最近、旅費の払い戻し期限が 12 月 10 日 17:00であることを、全社員に電子メールで送りました。しかし、期限を過ぎて も、まだ提出していない社員がいます。全員に対してで きるだけ早く提出するよう促すメールを書いてくださ い。」表 6: メール収集の回答例

 \\


# ニュースのライティングスタイルの差分を考慮した 日英機械翻訳のテストセットの開発

衣川和克 美野秀弥 後藤功雄 山田一郎
NHK 放送技術研究所
\{kinugawa.k-jg, mino.h-gq, goto.i-es, yamada.i-hy\}@nhk.or.jp

## 概要

英語ニュースでは一般に一文内に同一の表現を 繰り返し使うことを避け, 言い換えや省略によって 簡潔な文にすることが推奨される。一方で, 日本語 ニュースではこうした簡潔性が英語ニュースほどは 考慮されず,一文内に同一の表現が複数回出てくる ことも珍しくない. この差分により, 日本語ニュース から機械翻訳で生成した文が英語ニュースのライ ティングスタイルに沿わないものになってしまうこ とがある. 本稿では,こうしたライティングスタイル を考慮した機械翻訳の実現に向けて, 時事通信社の 日英ニュース記事対からテストセットを構築する。日英ニュース記事の分析およびベースラインの機械翻訳モデルの性能評価を通じて, 本タスクの重要性 および課題について議論する.

## 1 はじめに

ニューラルモデルの発展とともに機械翻訳の性能は大きく向上している. 機械翻訳の重要な応用先 の一つがニュースであるが, 機械翻訳をニュース制作に活用する上での課題の一つとして, 言語間での ニュースのライティングスタイルの差分が挙げられ る. 例えば放送用の英語ニュース原稿では一般に, 説明や主張を簡潔なものにするため, 同じ表現の繰り 返しを避ける, 受動態よりも能動態が好まれる, 否定形よりも肯定形が好まれるといった特徴がある [1].

図 1 に [1] から引用した, 同じ表現の繰り返しを避 ける例を示す. 例示した 2 つの文はいずれも「週末 にハドソン百貨店で全米自動車労組がピケを行い,双方が勝利を宣言している.」という意味の文であ る. 1 つ目の文は「ハドソン百貨店」と「全米自動車労組」が複数回ずつ現れているが, 2 つ目の文はこれ らの単語を一回ずつのみ記述している. 前者のよう に同一の名前や情報を繰り返す文 (REPETITIVE) は

## (REPETITIVE)

Both Hudson's and the United Auto Workers Union are declaring victory after a weekend of U-A-W pickets at Hudson's Department Stores.

## (TIGHTER)

Both sides are declaring victory after a weekend of picketing by the United Auto Workers Union at Hudson's Department Stores.

図 1 ライティングスタイルにそぐわない英文の例

冗長に感じられるため回避することが推奨され，よ り簡潔な文 (TIGHTER)が好ましい。

一方で, 日本語ニュースではこうした簡潔性が英語ニュースほどは考慮されず,一文内に同一の表現 が複数回出てくることも珍しくない. その結果, 日本語のニュース記事を機械翻訳で英訳すると英語 ニュースのライティングスタイルにそぐわない文が 生成されてしまうことがある. 図 2 に時事通信社の 日本語ニュース文, 対応する英語ニュース文, 機械翻訳による英訳の例を示す.この例では日本語文内 で「入学」という単語が 3 回出てくるが, 前述のラ イティングスタイルに則るとこれらを全て同一表現 で訳出することは避けることが望ましい. 実際, 英語 ニュース文では 1 つ目と 3 つ目の「入学」を 1 つに まとめ, 2つ目の「入学」については “enter”ではな く“join”と表現している.しかし, 機械翻訳の出力で は2つ目の「入学」については別表現を用いている ものの, 1 つ目と 3 つ目の「入学」をいずれも同一に 訳出してしまい, 尽長な文になってしまっている.

ニュースでは速報性が重要なため, 機械翻訳を制作ワークフローに導入するためには, なるべく人手 の修正が少なくなるよう, 単に翻訳文の意味が合っ ているだけでなく上記のようなライティングスタイ ルの要件を満たす文を生成することが望ましい.

## (SRC)

区によると, 同校がアルマーニの採用を決めた 後, 大学予定者 7 人が教育方針や私立小への入学などを理由に入学を辞退した。

(REF)

After the school decided to recommend Armani items as desirable clothing, seven children dropped plans to enter the school, with parents citing disagreements with its education policy, decisions to join private schools or other reasons, according to the office of Chuo Ward, where the school is located.

(NMT)

According to the ward office, after the school decided to hire Armani, seven students who plan to enroll in the school declined to enroll in the school due to their educational policy and entrance to private primary schools.

図 2 ライティングスタイルにそぐわない翻訳の例

本稿ではニュースのライティングスタイルに沿っ た文の生成の実現に向けて, まず評価用のテスト セットを構築する. 上述した「同一表現の繰り返し の抑制」を制御の対象として, 時事通信社の日英対訳記事から人手で事例を収集する。（以降, 本稿で単 に「ライティングスタイル」と記述した際には, 同一表現の繰り返しの抑制のことを言及しているも のとする. ）ニュースドメインの日英対訳コーパス で学習したベースライン機械翻訳モデルが, 上記の テストデータでどれくらいライティングスタイル に沿った出力を生成できているかを評価する. 日英 ニュース記事の分析および評価実験を通じて, 本夕 スクの重要性および課題について議論する.

## 2 日英ニュース記事の分析

本研究では, 時事通信社の 2018 年の日英ニュース 記事アーカイブを利用する.このアーカイブでは日英いずれの記事にも ID が付与されており,まずこの ID 照合して日英のニュース記事対を作る. 次に，内山・井佐原の手法 [2]を用いて各記事対内で対訳文のペアを作る. 各日本語文を mecab [3] でトークナ イズし, ストップワードを除き,一文内でトークンが 重複している文を列挙する。この中から, 日本語文 を見て，（図 2 に示したような）同一の表現が繰り 返されていて訳出時に言い換えや省略が起きうる
ものを手作業で 514 文収集した. これは「一文内で トークンが重複している文」のうちのおよそ 5,6 文 に 1 文程度に該当し, また, 記事単位でみるとおよそ 4 記事に 1 記事がこのような文を含んでおり,これは ニュース制作に機械翻訳を応用する上では無視でき ない分量である. 抽出した 514 の対訳ペアの中には 文レベルの自動対応付けがうまくいかず, 日本語側 で繰り返されている表現が英文側でどのように訳出 されているか判断できないものもあったため,この 中で対応付けの精度が比較的良く, 対象の表現が英語側でどのように訳されているか判断できるものを 人手で 100 文取り出し, 訳出の傾向を分析した

省略 訳出時に省略が起きているもので単純なも のとしては, “A and B” の形で書けるような, 文法構造上並列な名詞や動詞が挙げられる。

仮校舎と再開した校舎をテレビ会議システムで 結び, 遠隔合同授業も行う予定だ.

Joint class activities using teleconference equipment are planned between the reopened and provisional schools.

また,もう1つ分かりやすいケースとして, 数量の後 ろに単位として付く名詞が繰り返されている場合に もこれを省略する傾向にあった。

17 年 4 月現在, 福祉事務所がある 902 自治体の 56\% に当たる 504 自治体が取り組んでいるが，中学生の勉強をサポートする事業が大半となっ ている.

As of April 2017, 504 of 902 municipalities with welfare offices had implemented the program.

それ以外の事例は, 文法構造からは単純には判断で きない複雑なものが多い.

民間調査機関インテージによると, 2017 年のア ルコール度数 7 9\% の缶酎ハイ市場は 7 年前 の 2.5 倍に拡大し, 缶酎ハイ市場全体の 5 割強を 占めた

But the share of products with 7-9 pct alcohol in the Japanese canned chuhai market grew 2.5 -fold in seven years to stand at over 50 pct in 2017, according to private research firm Intage Inc.

これは日本語側で意味が重複しているため, 訳出し

てしまうと英語側が冗長になってしまうと考えられ る例で, 2 つ目の「市場全体の 5 割」が「缶酎八イ市場」であることは自明であるため省略されている。

言い換え 言い換えは積極的に用いられる傾向が あり, 特に文内の近い位置で繰り返されているもの については言い換えが起きやすい。

昨年 3 月の声明は「戦争・軍事目的の科学研究 を行わない」とする過去 2 回の声明を継承。

In the March 2017 statement, the council pledged to follow its two previous documents highlighting its determination not to conduct scientific research for military purposes.

固有名詞の繰り返しについても, 言い換えが起 きる. 以下の例では 2 つ目の「ソメイヨシノ」を "Someiyoshino"ではなく, "the cultivated variety" と言 い換えている。

クマノザクラの花は栽培品種のソメイヨシノ （染井吉野）に似た淡紅色などだが, 開花時期 がソメイヨシノより早い.

The petals of Kumanozakura are mainly a light shade of red, similar to those of "Someiyoshino," and bloom earlier than those of the cultivated variety.

また, 表層が同じであってもニュアンスの異なる場合には訳出時に違う表現になる. 例として以下に示 すような項の異なる述語が挙げられる。

さらに,いずれのケースでもブレーキが作動す る 0.8 秒前までに, 運転者に衝突回避操作を 促す警報が作動することも認定の要件となって いる.

Another planned requirement for the ministry's certification is that the equipment warns the driver at least 0.8 second before the brakes are activated, long enough for ordinary drivers to respond and apply brakes manually.

その他 日本語側で繰り返されている表現に対し て, 英語側で必ずしも言い換え, あるいは省略が行わ れているわけではなく, 全て同一に訳出するものも 存在する.これについては, 翻訳者が同一に訳しても さほど簡潔性を損なわないと判断した, その表現の 訳語にバリエーションがなく同一に訳さざるを得な
かったなどの理由が考えられる。

入居対象は市に定住する意思があり, 夫婦とも 35 歳以下か, 未就学児のみがいる夫婦. The city rents the apartments for up to five years to couples both aged 35 or less, or couples with only children of preschool age, who are willing to eventually settle in Hadano.

## 3 テストセットと評価方法

本稿では 2 節で収集した 100 組の対訳ペア（日本語入力文および参照訳）をテストセットとして用い る. テストセットの日本語文の中には 1 文内で複数種類の表現で繰り返しが起きているものもあり, 訳出の分類を合計すると省略が 45 事例, 言い換えが 39 事例, 全て同一に訳出していたものが 23 事例で合計 107 事例であった. また, テストセットの日本語文の 平均文長は 60.52 文字であった.

次節で述べる実験では, 簡単のため参照訳と機械翻訳の出力を下記の 3 タイプに人手で分類し,これ らがどれくらい一致しているかを評価する。

1. 対象の訳語が全て同一の場合は REPETITIVE

2. 対象の訳語が言い換えたり省略されている場合 は TIGHTER

3. 対象の訳語が訳抜けや誤訳などによりうまく生成できていない場合は ERROR ${ }^{1)}$

参照訳の 107 事例については, 23 事例が REPETITIVE, 84 事例が TIGHTER となる. 本稿の実験では 参照訳を正解として評価を行うが, 参照訳と機械翻訳の出力のタイプが一致していなかったからといっ て,それが必ずしも誤りであるとは限らない. ライ ティングスタイルは属人的なものであり,言い換え・省略を行うか行わないかは作業者によって異なりう るからである. 現在, 複数人の翻訳者によるテスト セットの日本語文の翻訳を進めており, 結果を収集 してそのばらつきを調査する予定である。

## 4 実験

ベースラインの実験として, 日英ニュースドメイ ンの対訳データで学習した機械翻訳モデルがどれほ どライティングスタイルに沿った出力を生成できる かを評価する。

1） 2 項目の省略と 3 項目の訳抜けを真に見分けることは難し いが,ここでは原言語文の後半の節が丸ごと訳出できていない など, 久落の範囲が大きなものを訳抜けとして判定する。
表 1 実験結果

読売新聞 (Yomiuri_Editorial) ${ }^{2}$ の 2007 年から 2017 年の日英対訳記事コーパスから類似度 0.4 以上の対訳ペアを抽出し，このうち 596,679 ゚゚アを学習デー タ, 1,583 ペアを開発データとして用いる.いずれの 言語もトークナイズに sentencepiece [4]を用い, 語彙 サイズを 8000 とした. 翻訳モデルは Transformer [5] とし, fairseq [6] で実装した. optimizer は Adam [7] を 用い, 学習率は 0.001 とした. 翻訳時のビームサーチ はビーム幅を 5 とした.

表 1 に実験結果を示す. 全体で参照訳と一致して いたのは 107 事例中 41 事例にとどまった. TIGHTER について一致したのは 28 事例で, さらにそのうち繰 り返すか省略するかについても一致していたのは 19 事例であった. ベースラインモデルは全体の半数程度が REPETITIVE な出力となっており, 言い換え や省略の制御機能を学習データからうまく獲得する 工夫が必要であることを示している. また, ERROR の数も $1 / 5$ 程度となっており, 無視できない問題で あることが分かる. ERROR の内訳はほとんどが訳抜けであった. テストデータの中には比較的長い文 が多く,これらをうまく処理できていない. 日本語 ニュースは他ドメインと比べて文長が長い傾向があ るが, 文長が長くて類似度も高い訓練事例は多くな いため, 文長にロバストな翻訳性能をいかにして獲得するかも課題である.

## 5 関連研究

機械翻訳における訳語の統一については多く研究がなされてきた一方で $[8,9,10]$, 訳語の言い換え についての研究が限られている. 同一の単語はなる べく同一に訳したほうが可読性は高まるが, あまり に同一表現を使いすぎるとかえって読み物として の質が下がってしまう恐れもあるため,一概にどち らにすべきとは言えない.こうした背景を受けて， Guillou [11] は実世界の色々なドメインの翻訳におい て,どのような単語が言い換えられやすい（あるい は統一されやすい）傾向にあるのかを統計的に調査 した. 単語の頻度や品詞, 文書のドメインによって傾向は異なるものの, 訳語を適宜言い換えることの重要性を提起している. Guillou [11] の研究は分析を主 としたものだが, 本研究はニュースドメインにおけ る訳語の言い換えを実際のタスクに落とし込むこと をねらいとしている。

翻訳のスタイルの制御についても,近年注目を集 めている. Wang ら [12] は翻訳者の翻訳スタイルを ニューラルモデルに学習させる研究を行った. 森下 ら [13] はミニバッチに一文書を丸ごと入れることで 文脈を考慮しながら学習・推論を行う手法を提案し， その効果の 1 つとして，「です・ます」調や「だ・で ある」調など, 翻訳対象のドメインのライティング スタイルに沿った出力が得られたことを報告してい る. 本研究では翻訳スタイルの 1 つとして,ニュース のライティングスタイルの一項目を対象に取り上 げこの制御を評価することを目的としている.

## 6 おわりに

本稿では日英間のニューススタイルの差分に着目 し,このギャップを埋めるための翻訳制御の実現に 向けて,テストセットを構築した. 日英のニュース記事対についてそのライティングスタイルの差分を分析し, 本タスクの重要性とベースラインモデルの課題について議論した。

今後の予定として, 本稿で実施した評価方法につ いての検討を進める. 言い換えと省略を 1 つに混ぜ て評価を行なったが, どのような場面でどちらかが 求められているかについても調査を行う. また, 現在複数名の翻訳者により, 収集した 514 の日本語文の 翻訳を進めており，その結果を受けてライティング スタイルのばらつきなどについての分析も進める予定である. どのような誤りがニュース制作者にとっ てインパクトの大きなものかについても定性的に分析したい.

さらに、実際にこうしたライティングスタイルを 文生成に組み込むための効果的な手法についても検討する. 本稿の実験では翻訳モデルの出力を評価し たが, 本タスクは翻訳モデルの前後の処理でも効果的な制御を行える可能性がある. 例えば, 日本語側を pre-edit する [14, 15], あるいは, 英語側を post-edit す るなどの手法も考えられる。

2) https://www.nichigai.co.jp/dcs/index5.html

## 謝辞

本研究成果は, 国立研究開発法人情報通信研究機構の委託研究（課題 225）により得られたものです. また,データをご提供頂きました株式会社時事通信社の朝賀英裕氏・川上貴之氏に厚く御礼申し上げ ます.

## 参考文献

[1] Robert A. Papper. BROADCAST NEWS AND WRITING STYLEBOOK. Routeledge, seventh edition, 2021.

[2] Masao Utiyama and Hitoshi Isahara. A Japanese-English patent parallel corpus. In Proceedings of Machine Translation Summit XI: Papers, Copenhagen, Denmark, September 10-14 2007.

[3] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, jul 2004. Association for Computational Linguistics.

[4] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[6] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[8] Shaohui Kuang, Deyi Xiong, Weihua Luo, and Guodong Zhou. Modeling coherence for neural machine translation with dynamic and topic caches. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 596-606, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[9] Zhaopeng Tu, Yang Liu, Shuming Shi, and Tong Zhang. Learning to remember translation history with a continu- ous cache. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 407-420, 2018.

[10] Xinglin Lyu, Junhui Li, Zhengxian Gong, and Min Zhang. Encouraging lexical translation consistency for documentlevel neural machine translation. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3265-3277, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Liane Guillou. Analysing lexical consistency in translation. In Proceedings of the Workshop on Discourse in Machine Translation, pp. 10-18, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[12] Yue Wang, Cuong Hoang, and Marcello Federico. Towards modeling the style of translators in neural machine translation. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1193-1199, Online, June 2021. Association for Computational Linguistics.

[13] Makoto Morishita, Jun Suzuki, Tomoharu Iwata, and Masaaki Nagata. Context-aware neural machine translation with mini-batch embedding. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2513-2521, Online, April 2021. Association for Computational Linguistics.

[14] Rei Miyata, Anthony Hartley, Cécile Paris, Midori Tatsumi, and Kyo Kageura. Japanese controlled language rules to improve machine translatability of municipal documents. In Proceedings of Machine Translation Summit XV: Papers, Miami, USA, October 30 - November 32015.

[15] Yusuke Hiraoka and Masaru Yamada. Pre-editing plus neural machine translation for subtitling: Effective preediting rules for subtitling of TED talks. In Proceedings of Machine Translation Summit XVII: Translator, Project and User Tracks, pp. 64-72, Dublin, Ireland, August 2019. European Association for Machine Translation.


# 広告データセットに内在する幻覚の分析

加藤明彦 1 大田和宽 ${ }^{1}$ 村上 聡一朗 1
三田雅人 ${ }^{1}$ 本多右京 ${ }^{1}$ 張培楠 ${ }^{1}$
1 株式会社 サイバーエージェント
\{kato_akihiko, ota_kazuhiro, murakami_soichiro,
mita_masato, honda_ukyo, zhang_peinan\}@cyberagent.co.jp

## 概要

Encoder-decoder 型の抽象型要約に基づく広告文生成モデルは, テスト時に入力情報と矛盾する, 事実で ない広告文を生成することがある. その要因として，入力に含意されない情報 (幻覚)を持つ広告文がデー タセット中に含まれることが挙げられる. 広告文の 事実性を向上させるためには, データセット中の幻覚を考慮したデータ編集やモデル学習上の工夫を行 う必要がある. 高性能な幻覚検出器を構築するため には, 広告データセット中の幻覚の傾向を把握して おくことが望ましいが, 検索連動型広告データセッ ト中の幻覚の分析はほとんど行われていない.この ため本研究では, 検索連動型広告のデータセットに ついて幻覚の有無とタイプのアノテーションを付与 し, 分析を行った.

## 1 はじめに

広告文は, 広告対象の商品やサービスについて述 べた入力情報をもとに作成される. 広告文が満た すべき重要な性質として, 入力情報に矛盾してい ない, という点が挙げられる. 広告文が入力情報に 含意される場合, 入力に忠実な広告文である (忠実性 [1,2])(図 1). また, 入力情報に含意されない情報を 含むが, それらが世界知識や常識的知識などの外部知識に基づいている場合, 事実である広告文である (事実性 $[1,3]$ ).

広告文の自動生成モデルには, 事実性に優れた広告文生成が求められるが, 現在, 広範に用いられてい る encoder-decoder 型の抽象型要約モデル [5] で広告 データセットを学習すると, テスト時に入力情報と 矛盾する, 事実でない広告文が生成されることがあ る.このように, 入力に含意されない情報が出力側 に現れる現象を幻覚 [1] と呼ぶ. モデルが幻覚を含

図 1 広告文の忠実性と事実性に関するベン図 ( [4] 中の 図を元に改変).

む広告文を生成する 1 つの要因は, 入力に忠実では ないが事実である広告文 (事実である幻覚 (図 1) [4]) を広告データセットがしばしば含むことにある. そ の理由としては, 例えば以下が挙げられる: (1) ライ ターが外部知識に基づいて入力にない訴求表現を追加することがある 1）2，(2) 検索連動型広告をクリッ クした際に表示されるウェブページ, 即ちランディ ングページ (以下 LP) のスクリーンショットの OCR エラーのために, 入力の一部欠損やノイズ混入が発生し得る.

事実でない広告文の生成頻度を低減するために は, (A) 広告データセット中の幻覚を検出し, (B) 検出 した幻覚を考慮したデータ編集やモデル学習上の工夫を行う必要がある. (A) の検出器を構築する上で は, 広告データセット中にどのような幻覚がどの程度, 存在しているのかを把握しておくことが望まし い. 一般の文書要約タスク [1] やスローガン生成タ

1）ここで訴求表現とは, 消費者の注意を惹き,広告対象商品の 購入を促すために用いられる表現を指す。

2）上記 (1) の例を挙げると，「メガネの UV カット率が向上」 と記載されているランディングページに対して，「UVカッ 卜率が向上! 長時間の PC 作業に」という広告文をライター が作成した場合，「UVカット機能を持つメガネは PC 作業に 利用され得る」という外部知識を利用して商品の有用性に関 する訴求表現を追加している, と解釈することができる.
表 1 入出力フォーマットと各フィールドの例. 表中の [NE] は, 固有表現の秘匿化処理を行なっていることを表す.

スク [6] ではデータセットに含まれる幻覚の分析が 行われているが, 検索連動型広告のデータセットに 含まれる幻覚の分析は,ほとんど行われていないの が現状である. そこで本研究では (A) に向けた準備段階として, 日本語の検索連動型広告データセット に含まれる幻覚の分析に取り組む.

具体的には, 株式会社サイバーエージェントで 扱っている日本語の広告データセットから抽出した 360 事例について, 幻覚の有無とタイプに関するア ノテーションと分析を行った. その結果, 入力には出現しない広告文中のフレーズの内, 少なくとも 8 割 は入力を単に要約しただけでは出現し得ないフレー ズ, 即ち幻覚であることが明らかとなった. また,幻覚の $70 \%$ 以上が訴求表現に該当するという結果が得 られた。

## 2 データ分析手法

本節ではデータ分析の手法について述べる. 詳細 は各小節に譲るが, 主な狙いとしては, データセット 全体の幻覚の傾向を把握するために, できるだけ多様な広告文をサンプルし (2.1), 各広告文から網羅的 にフレーズを抽出して (2.2), 幻覚の有無とタイプを アノテーションした (2.3).

## 2.1 事例抽出

事例のフォーマット 本研究では表 1 の入出力 フォーマットに従う 22,728 事例に対して, 後述の开 ンプリングを行った. 広告文生成における一般的な 入出力フォーマットは表 1 に示すように, (1) 入力情報と (2) 広告文からなる. (1) は (a) キーワードリス ト, (b) LP, (c) LP の説明文, から構成される. 上記 (b) はLP のスクリーンショットに対する OCRによっ て取得し ${ }^{3)}$, (c) は LP の HTML 中の meta タグの要素 description から取得している. 一方, (2) は広告

の見出しを構成するフレーズ (見出しアセット ${ }^{4)}$; headline) と広告の説明文を構成するフレーズ (説明文アセット; description) から構成される. 見出しア セットは各入力に対して 3～15 個, 説明文アセット は $2 \sim 4$ 個存在する. 本研究では見出しアセット (半角 30 文字) を対象に分析を行う.これは説明文ア セット (半角 90 文字) に比べて表示領域が狭いため,略語や言い換えなどがより多く用いられ,幻覚が発生し易いと考えられるためである.

事例のサンプリング 各クライアントからバラン ス良く事例をサンプルするために,1クライアントあ たり 5 種の広告キャンペーンを, そして各広告キャ ンペーンについて 5 つの LPをサンプルした. また,文長が短すぎる広告文を取り除くために, 各入力に 紐づく見出しアセットの内, 7 文字以上のものだけ を残した。

広告データセットには類似した広告文が多く含ま れるため, ランダムサンプリングを行うと, 分析対象 の事例集合の多様性が確保できないという問題があ る. そこで本研究では, データセット全体としての幻覚の傾向を把握するために, できるだけ多様な広告文を分析対象とすることを狙い, 文べクトルを用い たサンプリングを行った. 文べクトル生成手法とし ては, 日本語を含む多言語モデルであり, 下流タスク で高い性能が報告されている LaBSE ${ }^{5)}$ [7] を採用し，候補集合を 1 文ずつ拡張する方式を採用した. 具体的には, 最初の 1 文をランダムに選択し, その後は候補集合中のいずれの文との cosine 類似度も閾値 $(0.5)$以下であるという条件を満たす 1 文を候補集合に加 えるという手順とした. この結果得られた 360 種の 広告文と, 対応する入力情報を対象に分析を行った.

4） Responsive Search ads (RSA) においてはこの様に呼称され る. 詳細は以下を参照されたい: https://support.google. com/google-ads/answer/7684791?hl=en\&ref_topic=10284269

5) https://huggingface.co/sentence-transformers/LaBSE
表 2 幻覚有無アノテーションの例. 広告文側にのみ出現する 574 フレーズに対し，「この語句は入力情報 (キーワード， LP) の要約に含まれ得るか?」という質問に対する回答を選択する形式で幻覚有無のアノテーションを行った。

## 2.2 広告文からのフレーズ抽出

以下の手順により, 各事例中の広告文から網羅的 にフレーズを抽出し, 1,173 フレーズを得た.

(1) Spacy ${ }^{6)}$ をして提供されている GiNZA v5.1 [8] によって,広告文に対して基礎解析を行った.これに より単語分割, 品詞タグ付け, 依存構造解析, 固有表現抽出が行われる。

(2) 上記 (1) の基礎解析結果を利用して各文から名詞句以外のフレーズ (動詞句など) を抽出した. 具体的には主辞の品詞が NOUN, PROPN, PRON 以外であ る文節を抽出している。

（3）上記 (1) の基礎解析結果を利用して各文から名詞句を抽出した. 具体的には (a) 固有表現, (b) 複合語, (c) 上記 (a)(b) に含まれない単一トークンの名詞, の和集合を名詞句とした. (a) については, GiNZA で 抽出した固有表現を候補として, 人手で固有表現の 範囲エラーを修正した ${ }^{7)}$. (b) については, 最終トー クンがフレーズに属する他のトークンの dependency head になっていて, 依存関係ラベルが compound ま たは flatであるフレーズを抽出した. ただし上記手順で得られたフレーズが固有表現・数量表現を内包 する場合には, 固有表現・数量表現とその前後でフ レーズを分割した. 抽出したフレーズの具体例を付録 A の表 5 に示す.

## 2.3 アノテーション

2.2 節で抽出した 1,173 フレーズの内, 出力側にだ け出現する 574 フレーズに対し, 「この語句は入力情報 (キーワード, LP) の要約に含まれ得るか?」と いう質問に対して, 表 2 に示す 5 つの選択肢から回答を選択する形式で幻覚有無のアノテーションを 行った.

また, 2.2 節で抽出した各フレーズについて, 以下 の 2 つの観点で分類を行った. ここでは各タイプの フレーズが幻覚になる割合を算出するために, 入出力の双方に出現するフレーズに対してもアノテー ションを行っている.

## (1) 広告訴求に関する分類

訴求フレーズ, 商材フレーズ, その他の 3 つの選択肢から回答を選択する形式とした.ここで訴求フレーズは, 広告対象の商品やサービスの魅力や, 比較対象に対する優位性を述べたフレー ズと定義し, [9] で規定されているいずれかの訴求タイプ ( [9] の Table.1) に該当するかどうか, を基準としたアノテーションを行った。

## (2) 一般的な観点での分類

固有表現, ジャンル特有の用語 ${ }^{8)}$, 時間表現, 数量表現, その他の 5 つの選択肢から回答を選択 する形式とした. 固有表現, 時間表現, 数量表現 の定義については関根の拡張固有表現階層 Ver

アノテーションは株式会社サイバーエージェン ト内の広告アノテーション経験者 3 名により行っ た.アノテーションを実施する前に, 分析対象のデー タとは異なる 50 事例についてパイロットアノテー ションを実施し, 第 1 著者の想定回答とずれがある 場合はフィードバックを行った。

上述した, 各フレーズの各分類タスク (幻覚の有無, 広告訴求,一般的な観点) に対し, アノテータ 3 名によるアノテーションを得た. ラベルは多数決に よって決定し, 3 名のアノテーションが全て異なる 選択肢に分かれた場合には, 第一著者が 3 名のアノ テーションを考慮して, どのアノテーションを採用 するかを決定した.いずれの分類タスクにおいても，

8）ここでジャンル特有の用語とは,そのフレーズによって, ど の業種の広告文かが明確になるという性質を持つものと定義 する ([例] ホールインワン).
9)

https://sites.google.com/site/
多数決でラベルが決定できなかったのは全体の $2 \%$以下であった.

最後にアノテータ間一致率について述べる. 幻覚有無と一般的な観点についての分類タスクについて はそれぞれ 0.78, 0.69 という高い Fleiss' kappa 值 [10] が得られた (Substantial agreement [11]). 広告訴求に 関する分類タスクの一致率は前 2 者に比べれば低い 値だがそれでも 0.33 (Fair agreement [11]) となった.

## 3 結果

幻覚有無アノテーションの結果を表 2 に示す.表 2 の「はい」は, 当該のフレーズは大力情報 (キー ワード, LP) の要約に含まれ得る, 即ち幻覚ではな い, というケースに対応する。「はい」以外の 4 つ の選択肢は幻覚に対応する. 574 フレーズ中, $82.8 \%$ (475/574) が幻覚としてアノテーションされているこ とが分かる.

幻覚の内訳を見ると，「いいえ(入力側に類似語句 は存在しない)」が 430 / 475 と全体の $90.5 \%$ 占め るが，「いいえ (入力側に類似語句が存在するが意味 は異なる)」も $7.6 \%$ 存在する. 後者の例としては, LP 側の「カップル」が, 広告文側では「2人」に言い換 えられている事例などが挙げられる。

表 3 幻覚の内訳.

表 4 各フレーズが幻覚になる割合.

幻覚を持つフレーズを各観点で分類したアノテー ションの結果 (表 3) から, 幻覚フレーズの 70\%以上 が訴求としてアノテーションされていることが分 かる (例] 業界最大級, 全国). 商材に関する幻覚も $1.7 \%$, 存在する. ジャンル特有の用語 ([例] くすみ, 最大減量) が少なくとも約 $10 \%$, 数量表現も約 $7 \%$ 含 まれる. 品詞について見ると, 約 $75 \%$ が名詞句だが,用言 (動詞句, 副詞句, 形容詞句) も約 $25 \%$ 存在する. また, 各フレーズを訴求に関して分類し, 種別ごとの 幻覚率を算出した表 4 から, 広告文中の 商材フレー ズは $7 \%$ 程度しか幻覚にならないが, 訴求フレー ズは約 $42 \%$, その他のフレーズは 約 $51 \%$ が幻覚に なっていることが分かる.

## 4 議論

本分析の結果, 広告文側にのみ出現するフレーズ の内, 少なくとも 8 割は入力を単に要約しただけで は出現し得ないフレーズ, 即ち幻覚であることが明 らかになった. 1 節でも述べたように, 事実でない広告文の生成頻度を低減するためには, (A) 広告データ セット中の幻覚を検出し, (B) 検出した幻覚を考慮し たデータ編集やモデル学習上の工夫を行う必要が ある.

上記 (A) に関する見通しを以下に述べる. (a) 数量表現, (b) 商材フレーズに関する幻覚は, 事実性の観点で広告品質に与える悪影響が大きいことから, ま た (c) 訴求フレーズ, (d) ジャンル特有の用語は高い 出現頻度を持つことから, それぞれ検出が必要であ る. 従って, 入出力双方から上記 (a)-(d) の表現を検出 し, 出力側にしか現れない表現を特定するアプロー チが有効であると考えられる.これらの幻覚の検出 は, 事前に各業種で辞書を作成し, ルールベースまた は distant supervision [12] で実現できると考えられる。検出器の構築と性能評価は今後の課題とする.

一方, 上記 (B) には大別して (1) データ側での対処 $[13,14]$, (2) モデル側での対処 $[15,16,17]$ という 2 つのアプローチが考えられる. (1) では, データセッ ト中の広告文に幻覚が含まれる場合, 事例自体を廃棄するか [14], 広告文中の幻覚の削除や置換を行う 必要がある [13]. 一方 (2) の例としては, 幻覚の低減 に関する報酬関数を用いた強化学習 [15] や, 幻覚の 度合いを制御コード (追加入力) として用いた制御可能な生成 [17] などが挙げられる。

## 5 おわりに

日本語の検索連動型広告のデータセットから抽出 した事例に対して,幻覚に関するアノテーションと 分析を行った結果, 広告文側にのみ出現するフレー ズは 8 割以上,幻覚であることを確認した. また分析結果を踏まえ,広告データセット中の幻覚への対処 の見通しを述べた。

## 謝辞

本研究のアノテーションを実施して頂いた, 宇地原麻子氏, 宮城那南氏, 宮里竜士氏, 山城葵氏に感謝 します。

## 参考文献

[1] Joshua Maynez, Shashi Narayan, Bernd Bohnet, and Ryan McDonald. On faithfulness and factuality in abstractive summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1906-1919, Online, July 2020. Association for Computational Linguistics.

[2] Esin Durmus, He He, and Mona Diab. FEQA: A question answering evaluation framework for faithfulness assessment in abstractive summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5055-5070, Online, July 2020. Association for Computational Linguistics.

[3] Artidoro Pagnoni, Vidhisha Balachandran, and Yulia Tsvetkov. Understanding factuality in abstractive summarization with FRANK: A benchmark for factuality metrics. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4812-4829, Online, June 2021. Association for Computational Linguistics.

[4] Meng Cao, Yue Dong, and Jackie Cheung. Hallucinated but factual! inspecting the factuality of hallucinations in abstractive summarization. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 3340-3354, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[5] Shaunak Mishra, Manisha Verma, Yichao Zhou, Kapil Thadani, and Wei Wang. Learning to create better ads: Generation and ranking approaches for ad creative refinement. In Proceedings of the 29th ACM International Conference on Information \& Knowledge Management, pp. 2653-2660, 2020.

[6] Yiping Jin, Akshay Bhatia, Dittaya Wanvarie, and Phu T. V. Le. Generating coherent and diverse slogans with sequence-to-sequence transformer. CoRR, Vol. abs/2102.05924, , 2021.

[7] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic BERT sentence embedding. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 878-891, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[8] 松田宽. Ginza-universal dependencies による実用的日本語解析. 自然言語処理, Vol. 27, No. 3, pp. 695-701, 2020.

[9] Soichiro Murakami, Peinan Zhang, Sho Hoshino, Hidetaka Kamigaito, Hiroya Takamura, and Manabu Okumura. Aspect-based analysis of advertising appeals for search engine advertising. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Industry Track, pp. 69-78, Hybrid: Seattle, Washington + Online, July 2022. Association for Computational Linguistics.

[10] Joseph L Fleiss, Bruce Levin, Myunghee Cho Paik, et al. The measurement of interrater agreement. Statistical methods for rates and proportions, Vol. 2, No. 212236, pp. 22-23, 1981.

[11] J Richard Landis and Gary G Koch. The measurement of observer agreement for categorical data. biometrics, pp. 159-174, 1977.

[12] Jingbo Shang, Liyuan Liu, Xiaotao Gu, Xiang Ren, Teng Ren, and Jiawei Han. Learning named entity tagger using domain-specific dictionary. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2054-2064, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[13] David Wan and Mohit Bansal. FactPEGASUS: Factualityaware pre-training and fine-tuning for abstractive summarization. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1010-1028, Seattle, United States, July 2022. Association for Computational Linguistics.

[14] Kazuki Matsumaru, Sho Takase, and Naoaki Okazaki. Improving truthfulness of headline generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1335-1346, Online, July 2020. Association for Computational Linguistics.

[15] Yixuan Su, David Vandyke, Sihui Wang, Yimai Fang, and Nigel Collier. Plan-then-generate: Controlled data-to-text generation via planning. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 895-909, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[16] Haoran Li, Junnan Zhu, Jiajun Zhang, and Chengqing Zong. Ensure the correctness of the summary: Incorporate entailment knowledge into abstractive sentence summarization. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 14301441, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[17] Katja Filippova. Controlled hallucinations: Learning to generate faithfully from noisy data. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 864-870, Online, November 2020. Association for Computational Linguistics.

## A 広告文から抽出したフレーズ

2.2 節で広告文から抽出したフレーズの具体例を表 5 に示す.

表 5 抽出したフレーズの具体例.


# 文書単位の日本語テキスト平易化コーパスの構築に向けて

長井慶成 岡照晃 小町守
東京都立大学
nagai-yoshinari@ed.tmu.ac.jp \{teruaki-oka, komachi\}@tmu.ac.jp

## 概要

日本語の平易化の研究は，英語など第二言語学習者の多い言語に比べ言語資源に乏しく, 研究も盛ん でない現状である。その打開に向け，我々は新たな 文書単位の日本語テキスト平易化コーパスの構築 を目指している。本稿ではまず毎日新聞と毎日小学生新聞を対象に，同じ内容を扱った記事同士を比較 する予備調査を行った. その結果から，5つの平易化操作を定義し, 平易化前後の文アライメント評価 データを作成した. さらにテキスト平易化に向けて 作られた既存の文アライナーでの評価分析に取り組 んだ.

## 1 はじめに

テキスト平易化とは，理解が困難な文書である 「難解文書」の持つ意味を保ちながら，語彙や文法的な複雑さの抑えられた解釈のしやすい「平易文書」へと換言するタスクである. 平易化の利点とし て，テキストの読解レベルを下げることで子供や第二言語学習者などの非ネイティブスピーカーの読解支援 [1] が可能な点がある.

英語には「Wikipedia と Simple English Wikipedia」 や，「ニュース記事とそれを平易に書き換えたもの」 など大規模なコンパラブルテキストが既に存在して おり，これらを対応付けたテキスト平易化コーパス は英語の平易化の研究促進に貢献している。一方,日本語の平易化のための言語資源は，英語に比べて 乏しいのが現状である. 既存の日本語の平易化コー パスの多くは, 語彙平易化や文法平易化といった特定の平易化に焦点を当て，また文単位の平易化のみ を考慮したものとなっている. 英語のような大規模 なテキスト平易化コーパスが存在しないため, 日本語では文書単位の平易化がどのような操作により実現されているかの調査は十分に行われておらず，未 だ不透明な部分が多い.

このような課題に対処すべく，我々は日本語の文書単位で，かつ平易化の操作を網羅した新たな日本語テキスト平易化コーパスの構築に取り組んでい る. 本稿ではその前段階としてコンパラブルテキス トである毎日新聞と毎日小学生新聞の記事データの 同じ内容を扱った記事同士を比較する予備調査を 行う. 調査の結果から日本語の文書単位の平易化に 必要な平易化操作を定義し，それに基づきアノテー ションを行なって「文アライメント評価データ」を 作成した。最後に作成したデータを用いて，既存の 自動文アライナーの評価を行なった。

本稿の主な貢献は, 以下の 3 点である.
- 予備調査から，日本語の文書単位の平易化にお ける 5 つの平易化操作を新たに定義した.

・定義した平易化操作や文の対応が付与された 「文アライメント評価データ」を作成した。

$\cdot$文アライナーでの評価分析により, 平易化操作 や文の対応の自動付与の可能性を示した.

## 2 関連研究

## 2.1 英語の平易化コーパス

英語の代表的な平易化コーパスには, Wikipediaと ニュース記事をドメインとした 2 種類が存在する。

Wikipediaをドメインとした平易化コーパス [2][3] は, Simple English Wikipedia と English Wikipedia を 対応付けることで構築されている. Simple English Wikipedia ${ }^{1}$ は，一部の English Wikipedia ${ }^{2}$ の記事を平易化したテキストである。平易化はユーザーが行っ ており，基本的な語彙や文法に限定した書き換え，詳細追加などで記事を作成している。

ニュースドメインの平易化コーパスとして， $\mathrm{Newsela}^{3)}$ コーパス [4] がある. この平易化コーパス は，ニュース記事を人手により 4 段階のレベルで書 き換えることで構築されたコーパスである。

日本語の Wikipedia には Simple English Wikipedia にあたるような平易化された記事は存在しない. ま た Newsela のような複数の難易度を考慮したコーパ スも存在しないため, 日本語の平易化のための言語資源は乏しい現状にある。

## 2.2 日本語の平易化コーパス

『SNOW T15: やさしい日本語コーパス』[5] は, 語彙平易化に焦点を当てたコーパスである. 日本語の 基本的な語として 2,000 語を選定し，難解な文をそ の語彙のみを用いた表現に書き換えて構築された。

他にこのコーパスを参考にした『SNOW T23: やさ しい日本語拡張コーパス』[6] や文法平易化に焦点 を当てた『日本語文法平易化コーパス』[7]などもあ るが，いずれも特定の平易化に特化し，また文単位 の平易化のみを考慮したものである.

我々は日本語の文書単位での平易化を見据えて いる。それに向けて，以上のような文単位の日本語平易化コーパスとは異なり，特定の平易化に限定せ ず，平易化の操作を網羅した文書単位の日本語テキ スト平易化コーパスの構築に取り組んでいる.

## 3 予備調査

この章では，文書単位での平易化に必要となる平易化操作を新たに定義するための予備調査を行う.次の 4 章で，定義した平易化操作や対応する平易文書の文 IDを難解文書の各文にアノテーションして 文アライメント評価データを作成する.

## 3.1 データセット

難解文書と平易文書の関係があると期待される日本語のコンパラブルテキストとして，毎日新聞と毎日小学生新聞の記事がある. 毎日小学生新聞は小学生向けの日刊紙であり，公式からの言及はないが，毎日新聞の記事を小学生が理解できるような平易な 表現に書き換えたと思われる記事が散見される。そ のため本稿では毎日新聞記事を「難解文書」，毎日小学生新聞記事を「平易文書」として扱う.

予備調査では，まず毎日新聞と毎日小学生新聞の 記事集合に対して記事アライメントを行い，同じ内容を扱った記事ぺアを抽出する。次に目視で記事ぺ アの文の対応付けを行い，どのような操作により平易な表現への書き換えが行われているかを調査す る.その結果から日本語の文書単位の平易化に必要 な平易化操作を新たに定義する。表 1 平易化操作の種類と操作

予備調査には毎日新聞，および毎日小学生新聞の 一年分の掲載記事を収録した 2014 年版の『CD-毎日新聞データ集』, 『CD-毎日小学生新聞 記事データ 集』を使用する。

## 3.2 記事の対応付け

毎日新聞と毎日小学生新聞の記事集合から同じ 内容を扱った記事ぺアを抽出する．毎日小学生新聞 の特徴として，漢字の後に括弧でふりがなを振る傾向がある。これを取り除くため，両方のデータセッ 卜で前処理として丸括弧とその中の文字列は削除 する．前処理を加えた記事に対し，ユーザー辞書に 「令和」を登録した mecab ipadic-NEologd で形態素解析を行い，2 文字以上の動詞，形容詞，名詞を抽出 する．ただし数字，ストップワード（一部の非自立語動詞)，基本形が「*」のものなどは除く．毎日小学生新聞の掲載日ごとの記事を形態素解析して抽出 した単語の頻度ベクトルを作成, tf-idf で重み付けし た. 掲載日の前後 7 日の毎日新聞記事と余弦類似度 をとることで記事を自動抽出した。

bag-of-words での記事アライメントでは，掲載時間のずれにより詳細まで完全に一致したものを得 る事はできない（例：被害状況が更新されるなど）. また毎日小学生新聞への書き換えでは不要な句や節 を削除する平易化の操作が行われており，記事の類似度が高いからといって必ずしも良い対応の取れた 記事のペアとは限らない。そのため目視で確認し,内容が一致した類似度が 0.70 以上の記事ぺアから 類似度 0.05 刻みに 3 件ずつ計 18 件を抽出した。

## 3.3 結果

抽出した各記事を鍵括弧外の「。」，「？」，「!」」で 文分割し，文の対応を目視で確認した．対応が付い ていると判断した文同士を比較して平易化のために 行われている操作を調査した。操作の種類ごとに分類した結果，表 1 に示す計 5 つの平易化操作を新た に定義した．各平易化操作の例は，付録 $\mathrm{A}$ 参照.
表 2 毎日新聞記事へのアノテーション（一部抜粋）

 & 3 & 0 & 囲碁：10歳・仲邑初段、悔しい船出【大阪】 \\
スプリット & 1,2 & 1 &  \\

表 3 対応する毎日小学生新聞記事（一部抜粋）

4月 1 日付で囲基の史上最年少棋士になった仲邑董初段が 22 日、大阪市で公式戦の初めての対局に臨みました。第 29 期竜星戦予選 B 1 回戦で、同期の大森らん初段に敗れ、ほろ苦いプロデビューとなりました。序盤は互角の戦いだったものの、大森初段が中盤で優勢を築きました。

表 4 平易化操作ラベルの割合と平均文長

## 4 評価データの作成

## 4.1 データセット

文アライメント評価データの作成には，2019 年版の『CD-毎日新聞データ集』, 『CD-毎日小学生新聞 記事データ集』のデータセットを使用する．記事が対応付いていると判断する閾値を類似度 0.75 以上として，3.2 節と同様に記事アライメントを行 う. その結果, 毎日新聞 66,858 件と毎日小学生新聞 3,529 件から 442 件の記事ペアを抽出した. そのう ちの 287 件がすべて文が「。」，「?」，「!!ののいずれ かで終わる記事であった. 見出しなどではなく文に 加えられる平易化操作に関心があるので，この 287 件の中から目視で対応がとれていることを確認した 50 件の記事ペアを抽出した。

## 4.2 アノテーション

抽出した記事ぺアの毎日新聞と毎日小学生新聞の 記事を読み比べ，毎日新聞記事の各文に対して表 1 の平易化操作，毎日小学生新聞記事の対応する文の ID を付与するようにアノテーションを 1 名の作業者に依頼した. 依頼時, 毎日小学生新聞で插入され た文 ID を記録するため文 ID が 0 の行を用意し，文 のカラムには記事の見出しを入れた。毎日新聞記事 への人手アノテーションの結果の例と, その記事に 対応付く毎日小学生新聞記事を表 2 と表 3 に示す.

## 5 分析

## 5.1 平易化操作ラベルの割合

毎日新聞と毎日小学生新聞の間で行われる平易化操作の傾向をつかむために，毎日新聞記事の各文に 対して付与された表 1 の 5 つの平易化操作の総数と 割合, 付与された文の平均文長を調査した。その結果を表 4 に示す. ただし，付録 B のように毎日新聞と毎日小学生新聞には文書の性質に違いがある. そのため毎日小学生新聞の文に付与される「文の挿入」は，毎日新聞の文に付与する他の平易化操作の 平均文長とは単純な比較はできない.

最も多く行われた平易化操作は「文の削除」で あった.これは難解な文を平易な文へと変換するこ とを前提とした「文単位の平易化」にはない「文書単位の平易化」特有の操作である. すべての難解な 文を平易なものにするのではなく，ときには削除し て文書全体を要約する形で毎日新聞記事から毎日小学生新聞記事へ書き換えていることが伺える.

スプリットのラベルの付いた文の対応 IDをみる と文の対応は $1 \mathrm{n}$ となっており, $\mathrm{n}: \mathrm{m}$ のような複数文が対応するような複雑な平易化操作は抽出した 50 件ではみられなかった. スプリットで連続する 文に分割されるのは 32 回のうち 30 回であり，また 付与された文の平均文長は他の操作よりも長いこと から，文書の構造を変化させるのではなく，文長を 短くすることで理解しやすいものに書き換える傾向 があるといえる.

マージはスプリットと同数だが，マージは $\mathrm{n}: 1$ の 関係をとる平易化操作であり，毎日新聞の各文にア ノテーションを行っているため実際の操作回数より も多くなっている。連続するマージを 1 回とカウン トした場合の総数は 24 回であり, 平易化操作とし てはスプリットの方が多用されている.
表 5 平易化操作ラベルの条件

## 5.2 アライナーによる文の対応付けと分類

既存の文アライナーで作成した評価データの文ア ライメントを行い，その結果をもとに「平易化操作」 と「対応 ID」を自動付与する。これを評価データの 人手アノテーションと比較して一致率を調査する.

## 5.2.1 アライナー

$\mathrm{CATS}^{4)}$ [8][9] は，段落や文を $\log$ tf-idf で重み付け した文字 3-gram で表現し, 文書間で最大類似度の ものと対応付けるアライナーである. 本稿では文ア ライナーとして使用し，対応元文書の各文の「対応 ID（対応する文の ID）」と「余弦類似度」を求める。 1:n の対応をとるスプリットやマージの検出のため に「毎日新聞-毎日小学生新聞」の両方向で行う.

## 5.2.2 平易化操作ラベルの自動付与

作成した評価データの 50 記事から抽出した 15 記事をもとに以下の 4 つの条件を設定し，表 5 のよう に満たすかで平易化操作を自動付与する. ラベルを 付与する毎日新聞の文を $\left.「 S_{m a i}\right.\lrcorner$, CATS での毎日新聞から毎日小学生新聞への対応付けで $S_{m a i}$ と最大類似度をとる毎日小学生新聞の文を $\left.「 S_{s h o}\right.\lrcorner$ とする。

条件 1 毎日小学生新聞から毎日新聞への対応付け で $S_{s h o}$ の最大類似文は $S_{m a i}$ で, 類似度は 0.20 以上

条件 2 毎日小学生新聞の文に $S_{s h o}$ 以外に $S_{m a i}$ が 最大類似文, かつ類似度が 0.20 以上の文がある

条件 3 毎日新聞の文に $S_{m a i}$ 以外に $S_{s h o}$ が最大類似文, かつ類似度が 0.20 以上の文がある

条件 4 毎日小学生新聞の文で, 毎日新聞のすべて の文との類似度が 0.13 以下

## 5.2.3 評価

各平易化操作ラベルの総数と, それが人手アノテー ションしたラベルと対応 ID のどちらとも一致する

4) https://github.com/neosyon/SimpTextAlign表 6 平易化操作ラベルの一致率

表 7 自動付与と人手によるアノテーションの比較人手 自動 毎日新聞

ものの総数と割合を表 6 に示す.「なし」は自動付与では文の挿入は行われていないとされたが, 人手 アノテーションではあると判断されたものを表す.

マージを除く平易化操作は人手アノテーションと 高い一致率であった. マージの一致率が低い要因と して 2 点考えられる. 1 点目として文字 3-gram での 対応付けにより内容は異なるが出現単語が類似した 文とも高い類似度となり，誤った対応付けをするこ とがある. 2 点目としてマージの判断は人手でも困難なことが挙げられる。毎日小学生新聞の『「N 7 ００Ｓ」は来年の東京オリンピック直前にデビュー する予定で, アメリカの高速鉄道や台湾新幹線など への売り込みを目指しています。』という文に対応 する毎日新聞の文に人手と自動では表 7 のように異 なるラベルを付与した. この場合は自動付与の方が 適切なラベルといえる. 文アライナーの活用するこ とで人手付与の誤りを検知でき, より高い精度で平易化操作ラベルを付与することが期待される.

## 6 おわりに

本稿では，毎日新聞と毎日小学生新聞の記事ペア から平易化の予備調査を行った。「調査により新た に設計した 5 つの平易化操作」と「対応する文 ID」 が付与された文アライメントの評価データを作成し た. また，文アライナーにより自動での平易化操作 を分類した結果，人手アノテーションと高い一致率 であった. このことから, 文アライナーを活用して 自動で平易化操作ラベルや対応する文 IDを付与す ることで，十分なコンパラブルテキストさえ用意す れば，大規模な文書単位の平易化コーパスを構築で きる可能性を示した。

## 謝辞

本研究成果は, 国立研究開発法人情報通信研究機

構（NICT）の委託研究「自動翻訳の精度向上のため のマルチモーダル情報の外部制御可能なモデリング の研究開発」により得られたものである.

## 参考文献

[1] Jan De Belder and Marie-Francine Moens. Text simplification for children. In SIGIR Workshop on Accessible Search Systems, pp. 19-26, 2010.

[2] Zhemin Zhu, Delphine Bernhard, and Iryna Gurevych. A monolingual tree-based translation model for sentence simplification. In International Conference on Computational Linguistics, 2010.

[3] William Coster and David Kauchak. Simple English Wikipedia: A new text simplification task. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 665-669, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[4] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in current text simplification research: New data can help. Transactions of the Association for Computational Linguistics, Vol. 3, pp. 283-297, 2015.

[5] Takumi Maruyama and Kazuhide Yamamoto. Simplified Corpus with Core Vocabulary. In Nicoletta Calzolari (Conference chair), Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Koiti Hasida, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Asuncion Moreno, Jan Odijk, Stelios Piperidis, and Takenobu Tokunaga, editors, Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 7-12 2018. European Language Resources Association (ELRA).

[6] Akihiro Katsuta and Kazuhide Yamamoto. Crowdsourced Corpus of Sentence Simplification with Core Vocabulary. In Nicoletta Calzolari (Conference chair), Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Koiti Hasida, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Asuncion Moreno, Jan Odijk, Stelios Piperidis, and Takenobu Tokunaga, editors, Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 7-12 2018. European Language Resources Association (ELRA).

[7] 稲岡 夢人, 山本和英. 日本語文法平易化コーパスの構築. 言語処理学会第 25 回年次大会, pp.375-378, March 2019.

[8] Sanja Stajner, Marc Franco-Salvador, Simone Paolo Ponzetto, Paolo Rosso, and Heiner Stuckenschmidt. Sentence alignment methods for improving text simplification systems. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, ACL 2017, Vancouver, Canada, July 30 - August 4, Volume 2: Short Papers, pp. 97-102, 2017.
[9] Sanja Štajner, Marc Franco-Salvador, Paolo Rosso, and Simone Paolo Ponzetto. CATS: A tool for customized alignment of text simplification corpora. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

## A 平易化操作ごとの例

 &  \\

## B 作成した文アライメントの評価データの統計量

図1評価データの文字数のヒストグラム

図 2 評価データの文数のヒストグラム


# 漫才対話の収集及び自動アノテーションのパイプラインの検討

佐々木裕多 1 張建偉 1
1 岩手大学 理工学部
\{s0619027,zhang\}@iwate-u.ac.jp

## 概要

笑いは健康を促進することができ，誰かと一緒の ときに起こることが多いため，対話システムへの ユーモアの実装によりユーザの心身の満足度が向上すると考えられる。また，日本人の笑いは「会話型」コミュニケーションの笑いが多く，一般的にコ ミュニケーションにおいて非言語コミュニケーショ ンの割合が高い.このことから，漫才対話に着目 し，マルチモダリティを用いて，会話形式のユーモ アを学習するためのデータセットの構築を行う。こ のデータセット構築におけるアノテーションは負荷 が高く，再現性が低くなりやすい. アノテーション の負荷軽減と再現性向上のため，漫才対話の収集か ら自動アノテーションまでのパイプラインの構築を 試みる。

## 1 はじめに

笑いは健康に良い影響を及ぼしている。漫才動画鑑賞を用いた実験から，笑うことによる認知機能改善とストレス応答抑制の有効性や [1], 他者と笑う ことによる高齢期での機能不全のリスクの軽減など [2], いくつもの医学研究が健康に対する笑いの影響 を示している [3]. また，笑いは大抵誰かと一緒に いるときに起こると報告されており [4]，コミュニ ケーションの中で笑いが起きやすいと考えられる。 これらのことから，対話システムに笑いを引き起こ すユーモアを実装することで，ユーザの心身の満足度向上が期待される。

対話システムへのユーモアの実装を目的として，会話におけるユーモアの理解や生成を学習するた めのデータセットの構築を試みる。荒木ら [5] は， ユーモアの面白さを評価する標準的なデータセット の構築の第一段階として, 駄酒落データベースの構築を行なった. 日本人の笑いは 2 人以上の時に多 く成立し，「合いの手」が入ることで笑いが起こる 「会話型」コミュニケーションにおける笑いが多い
[6]. しかし, 駄酒落はジョークの一種であり, 対話 へのユーモアの応用を考慮すると，文脈を必要とす るユーモアに着目する必要がある。また，コミュニ ケーションにおける笑いを発話のみから判断するの は適切ではない. Mehrabian は 2 つの研究を基に， $7 \%$ の言葉，38\%の音声，55\%の表情から感情を伝え ると導いた $[7,8]$. 笑い声や笑い顔が人類に共通し，強い共鳴性を持つことからも，コミュニケーション における笑いに対して非言語コミュニケーションの 要素を考慮することが重要だと考えられる。そこ で，マルチモーダル漫才対話ユーモアデータセット の構築を試みる. Patro ら [9] は TV シリーズのシッ トコムを用いてラフトラックを予測するマルチモー ダルデータセットを構築した．これを参考とし，話者情報，発話テキスト，発話開始/終了時間，面白 さ，笑い声区間のアノテーションを行う．しかし， これら全てのアノテーションは負荷の高い作業であ り，アノテータ毎に時間のずれや表記ゆれ等による 不一致が起こりやすいため，再現性が低いと考えら れる. アノテータが自動アノテーションの結果を修正することで，アノテーションの再現性を向上でき ると考え，本研究では発話テキスト，発話開始／終了時間，笑い声区間を対象とした自動アノテーショ ン手法を検討し，データセット作成のためのパイプ ライン構築を試みる。

## 2 パイプライン構築

データセット構築のパイプラインを図 1 に示す.本研究では，漫才対話データ収集と自動アノテー ションについて取り組む.

## 2.1 漫才対話データ収集

マルチモダリティを扱うことができ，漫才対話生成やユーモア検出，ラフトラック予測などの複数の タスクに対応できる抽象度の高いデータセットの構築を目指す。そこで，多くのモダリティ情報を獲得

図 1 データセット構築のパイプライン

でき，漫才対話データも多い YouTube ${ }^{1)}$ 対象とし てデータの収集を行う。

## 2.1.1 収集方法

収集するデータの決定のため，YouTube Data API ${ }^{2)}$ を用いて，動画のメタデータを収集する。メ タデータには動画 ID やタイトル，チャンネル ID な どが含まれる。メタデータの収集には次の 2 つの方法を採用する。
- M-1 グランプリ公式チャンネルを対象として,「M1 グランプリ」のクエリを用いて検索

・芸能事務所公式チャンネルが公開しているプレ イリストを対象として検索

近年では，一般の人も簡単に動画をアップロードす ることができ，違法アップロードされた動画も多 い.そのため，人手で API のパラメータを慎重に決定することで，確かに公式に公開された動画の义 タデータを収集する。また，漫才師が公式に公開し ている動画も存在するが，漫才師の偏りを防ぐた め，芸能事務所や大会が公開する漫才のみを対象と した.

## 2.1.2 フィルタリングによる後処理

コントはセットを用いた寸劇形式であり，会話形式のデータ収集には不適切である. したがって，コ ントやインタビューの動画を除くため，以下のルー ルに基づくフィルタリングを行う.

1) https://www.youtube.com/

2) https://developers.google.com/youtube/v3

図 2 アノテーションデータ形式例

・ M-1 グランプリ公式チャンネルを対象とし て，タイトルに「【決勝ネタ】」「【敗者復活戦ネ タ】」「【ナイスアマチュア賞】」のいずれかを 含む

・プレイリストを対象として，タイトルに「漫才」を含む

このフィルタリングによって残ったメタデータを基 に動画データを収集する。

## 2.2 自動アノテーション
漫才対話データのアノテーション結果のデータ形式を図 2 に示す.この形式を満たすためには，漫才 を観た上で，発話テキストや発話時間，話者情報，面白さ，笑い声区間の全てのアノテーションを行う 必要がある.これらのアノテーションは負荷が高 く，テキストの表記ゆれや時間のずれ等が起こりう る. そこで，アノテータの負担を減らし，アノテー ションの再現性を向上するため, 次の自動アノテー ションを行う。

## 2.2.1 漫才対話自動書き起こし

音声の書き起こしとテキストに対応する発話時間 の推定を行う Whisper large-v $2^{3}$ [10] を用いて，漫才対話の自動書き起こしと発話時間推定を行う. 同 small モデルを用いた書き起こしも行なったが，漫才に対する音声認識性能が低く, 誤字も多いことか ら， large-v2 モデルを採用する。

## 2.2.2 笑い声区間の自動検出

各発話の面白さの評価は，アノテータ毎にずれが あると考えられる．観客の笑い声をラフトラックと して扱うことで，各発話に対するユーモアのラベル 付けが可能になると考え，笑い声区間の自動検出を 行う. 検出モデルには AudioSet-YouTube corpus [11] で訓練された MobileNet ${ }^{4}$ [12]を用いて，521 個の音声クラスのうち Laughter クラスの予測確率が $5 \%$ 以上の区間を笑い声区間として検出する。このモデル は音声を 960ms のフレーム毎に分割し, 各フレーム に対してクラスを予測する。連続するフレームは $480 \mathrm{~ms}$ の重複を持つため, 笑い声区間と予測された フレームが連続した場合，それらに対応する時間を 結合する後処理を加える.

## 3 分析

収集されたデータと自動アノテーションの分析を 行うことで，目的とした漫才対話が収集できている か, 自動アノテーションが実用に足る精度であるか を調査し，課題を考察する。

## 3.1 収集データの分析

収集されたデータの統計情報を表 1 ，収集データ 内における漫才師の被り数の分布を図 3 に示す. データ件数 280 件に対して漫才師が 201 組であった

3) https://github.com/openai/whisper

4) YAMNet とも言われる.

https://tfhub.dev/google/yamnet/1表 1 収集データの統計情報

図 3 漫才師の被り数の分布

ことや同じ漫才師の出現頻度が小さいことから，漫才師の偏りを防いでデータ収集できていることがわ かる. 今回収集された YouTube チャンネル数は 3 件 であり，これらは大会か芸能事務所の公式チャンネ ルであった. したがって，違法アップロードされた 動画は収集されていないことがわかる。しかし，い くつかの動画を確認した際，コントと思われるデー タが確認された。メタデータを収集する API のパラ メータの設定やフィルタリングによってコント動画 を自動的に除くことは難しく，人手によるフィルタ リングも行う必要性がある.

## 3.2 自動アノテーションの分析

自動アノテーションの分析のため, Web アプリ ケーションの構築を行なった．漫才動画，笑い声区間，書き起こし，発話時間をシングルページで参照 でき，図４のようになっている．画面左では動画鑑賞と笑い声区間検出の確認を行い，画面右では書き 起こしや発話時間の確認を行うことができる．この アプリケーションを用いて，20 件程度の漫才動画を 鑑賞し，自動アノテーションの傾向の観察と課題の 考察を行った。

## 3.2.1 漫才対話自動書き起こし

Whisper による自動書き起こしは，人手で修正す ることでアノテーションができるほど高い精度で あったが，課題が多くあった．人名やコンビ名のよ

図4 アプリケーション画面

うな固有名詞や言い間違えボケ，テンポの速すぎ る会話などはうまく書き起こしができていなかっ た. 例えば，「竹内豊」という俳優の名前に対して 「竹ルーツ居たかったら」，「かわいい」を「ハワイ」 と言い間違えるボケに対して「かわいい」と書き起 こす誤りがあった．また，出囃子が流れている言葉 の無い時間に発話時間を割り当て，ネタ前半部分 の発話推定時間が大きくずれる現象も見られた. Whisper は同時に起こる発話の時間を適切に推定で きず，重なった発話の片方のみを書き起こすケース も多かった. 自動書き起こしと発話時間推定は，発話の重なりのない音声において高い精度であった が，テンポが速く発話の重なった音声において工夫 すべき点が多く見られた。

## 3.2.2 笑い声区間の自動検出

笑い声区間の自動検出精度は，漫才動画の性質に 大きく依存していた．観客の笑い声が鮮明に聞き取 れる動画に対しては高精度で笑い声区間を検出でき ていたが，観客のリアクションが小さく収録された 動画に対しては笑い声区間を検出できないケースが 多かった. さらに，漫才師自身が笑う場合や漫才師 が甲高い声または叫ぶような声で発声する場合にお いて，笑い声区間の誤検出が多かった。観客だけの リアクションを考慮するため，観客のリアクション の抽出や増幅のような工夫が必要である．また，検出モデルが予測するフレームは $960 \mathrm{~ms}$ と長いため,観客の笑い声が長く続くケースや笑いが起こるテン ポが速いケースにおいて，検出される笑い声区間が 極端に長くなってしまい，不適切であった.より短 い時間のフレームに対する予測や音声イベント検出 の組み合わせによって，笑い声区間の自動検出精度
が向上すると考えられる。

## 4 まとめと今後の展望

笑いは健康を促進でき，日本人の笑いは「会話型」コミュニケーションの中で起こることが多いた め，対話システムへの会話形式のユーモアの実装に よりユーザの心身の満足度を向上できると考えられ る. 本研究では，マルチモーダル漫才対話ユーモア データセットの構築のため，データ収集とアノテー ションの負荷軽減と再現性向上を目的とした自動ア ノテーションのパイプラインを検討した. 今回使用 したデータ収集のロジックにより，人手でコントを 除く処理は必要であるが，適切にアップロードされ た動画を対象に収集できた. しかし，今回行った自動アノテーションの方法には多くの課題が見られ，工夫の余地があることがわかった. すでに検証した 自動アノテーションの精度改善実験やデータ収集方法改善の結果を付録 A，B に示している。

今後はアノテーションのルールの細かな設定を決定し，自動アノテーションの手法を改善する．漫才 は「会話型」コミュニケーションの形式でネタが行 われており，意味のある言葉を含み笑いを狙った ツッコミだけでなく，相槌や合いの手も頻繁に行わ れている。相槌や合いの手をどの程度テキストに起 こすかを決定する必要がある．また，笑い声はピー クを持つが一定時間持続するものであり，笑い声が 短時間に連続して発生した場合, 笑い声区間のアノ テーションは不適切になりうる。 そのため, 笑い声 のピークや音声イベントを用いたルールの設定が必要である。これらの細かな設定をした上で，精度と 再現性の高い自動アノテーション手法をさらに検討 し，データセットの構築と公開を目指す。

## 参考文献

[1] 山越達矢, 阪本亮, 西垣翔梧, 田中爽太, 福田隆文, 金留理奈, 鈴木久仁厚, 梁弘一, 小山敦子, 阿野泰久. 笑 いによるストレス応答抑制と認知機能改善効果. 日本健康心理学会大会発表論文集, Vol. 34, p. 87, 2021.

[2] Yudai Tamada, Chikae Yamaguchi, Masashige Saito, Tetsuya Ohira, Kokoro Shirai, Katsunori Kondo, and Kenji Takeuchi. Does laughing with others lower the risk of functional disability among older japanese adults? the jages prospective cohort study. Preventive Medicine, 2022.

[3] Rosemary Cogan, Dennis Cogan, William Waltz, and Melissa McCue. Effects of laughter and relaxation on discomfort thresholds. Journal of behavioral medicine, Vol. 10, No. 2, pp. 139-144, 1987.

[4] Rod A Martin and Nicholas A Kuiper. Daily occurrence of laughter: Relationships with age, gender, and type a personality. 1999.

[5] 荒木健治, 内田ゆず, 佐山公一, 谷津元樹, 北海道大学, 小樽商科大学. 駅酒落データベースの構築及び 分析. 人工知能学会第 2 種研究会 ことば工学研究会資料, SIG-LSE-B702-3, pp. 13-24, 2017.

[6] 大島希巳江. 日本の笑いと世界のユーモア：異文化 コミュニケーションの観点から. 世界思想社, 2006.

[7] Albert Mehrabian and Morton Wiener. Decoding of inconsistent communications. Journal of personality and social psychology, Vol. 6, No. 1, p. 109, 1967.

[8] Albert Mehrabian and Susan R Ferris. Inference of attitudes from nonverbal communication in two channels. Journal of consulting psychology, Vol. 31, No. 3, p. 248, 1967.

[9] Badri N. Patro, Mayank Lunayach, Deepankar Srivastava, Sarvesh Sarvesh, Hunar Singh, and Vinay P. Namboodiri. Multimodal humor dataset: Predicting laughter tracks for sitcoms. In 2021 IEEE Winter Conference on Applications of Computer Vision (WACV), pp. 576-585, 2021.

[10] Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, and Ilya Sutskever. Robust speech recognition via large-scale weak supervision. arXiv preprint arXiv:2212.04356, 2022.

[11] Jort F. Gemmeke, Daniel P. W. Ellis, Dylan Freedman, Aren Jansen, Wade Lawrence, R. Channing Moore, Manoj Plakal, and Marvin Ritter. Audio set: An ontology and human-labeled dataset for audio events. In Proc. IEEE ICASSP 2017, New Orleans, LA, 2017.

[12] Andrew G Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, and Hartwig Adam. Mobilenets: Efficient convolutional neural networks for mobile vision applications. arXiv preprint arXiv:1704.04861, 2017.

[13] M Iftekhar Tanveer, Diego Casabuena, Jussi Karlgren, and Rosie Jones. Unsupervised speaker diarization that is agnostic to language, overlap-aware, and tuning free. arXiv preprint arXiv:2207.12504, 2022.

[14] Cem Subakan, Mirco Ravanelli, Samuele Cornell, Frédéric Lepoutre, and François Grondin. Resourceefficient separation transformer. arXiv preprint
arXiv:2206.09507, 2022.

[15] R. Ardila, M. Branson, K. Davis, M. Henretty, M. Kohler, J. Meyer, R. Morais, L. Saunders, F. M. Tyers, and G. Weber. Common voice: A massively-multilingual speech corpus. In Proceedings of the 12th Conference on Language Resources and Evaluation (LREC 2020), pp. 4211-4215, 2020 .

## A 自動アノテーションの精度を改善できなかった手法

## A. 1 ボケとツッコミの発話者推定

漫才では，ボケとツッコミの役割が重要である ため，発話者のアノテーションが必要である. Whisper は複数の話者をある程度分離して書き起こ しを行うことができていたが，発話者を割り振るこ とはできないため，以下の発話者推定の手法を検討 した.

1. PyAnnote ${ }^{5)}$ を用いた話者ダイアリゼーション

2. 事前学習済みモデルを用いた教師なしによる話者ダイアリゼーション [13]

3. RE-SepFormer ${ }^{6)}[14]$ を用いた話者分離

1 と 2 の手法は話者を適切に割り振ることができ ず，オーバラップした部分の検出もできていなかっ た. 3 の手法において, 話者ごとに分離された音声 を自動書き起こしすることを目標としていたが，全 く分離することができず，実用に足る精度が得られ なかった. 要因として, 日本語の音声に対応したモ デルを用いていないことが考えられる．日本語と英語は音声学的特徵が異なり, 音声のスペクトログラ ムの傾向が異なる可能性が推測され，これが英語に 対応したモデルが日本語の音声に対してうまく機能 していない要因であると考えられる． 3 において用 いた RE-SepFormer を Common Voice ${ }^{7)}$ [15] の日本語 データセットを用いてファインチューニングし，話者分離を試みたがうまく分離できなかった. しか し，日本語対応モデルの構築は一つの改善策である 可能性があるため，引き続き検討していく.

## A. 2 発話開始/終了時間の推定精度向上

Whisper が推定するテキストに対応した発話時間 には誤差があるため，その精度向上を試みた. A. 1 で説明した 1 の手法を用いて，話者ダイアリゼー ションの結果を発話開始／終了時間の誤差の軽減に 使用する実験を行ったが，話者ダイアリゼーション の精度も高くないことから，良い結果が得られな かった. また，出囃子などの影響により Whisper が 推定する発話時間が不適切な場合もあったため，ネ タの前後の情報のない時間を削除することでノイズ
を軽减することが最優先の取り組みであると考えら れる。まずはこの処理を今後行った上で追加実験を 行っていく.

## B データ収集手法の改善

本研究においてデータ収集を行なった際（2022 年 11 月時点)， M-1 グランプリ 2022 が終了していな かったが，2023 年 1 月 13 日（論文投稿締切）時点 において M-1 グランプリ 2022 が終了していたため， データ収集とフィルタリングのパラメータの変更 を行い，データ収集を試みた。主な変更点は以下で ある.
- M-1 グランプリ公式チャンネルを対象として,「 M-1」のクエリを用いて検索（ M1 グランプ リを M-1 に変更）

・ M-1 グランプリ公式チャンネルを対象として, タイトルに【決勝ネタ】」,「【敗者復活戦ネタ】」,「【ナイスアマチュア賞】」，「準々決勝ネタ】」,

「【3 回戦全ネタ】」,「【1 回戦 TOP3】」のいずれか を含む（【準々決勝ネタ】」、「3 回戦全ネタ】」,

$\lceil$ 「1 回戦 TOP3】」を追加）

これにより，合計 326 件の動画に関するメタデータ を収集できた。また，「【3 回戦全ネタ】」か「【1 回戦 TOP3】」をタイトルに含む動画には，動画 1 本あ たり 2 または 3 組の漫才師による漫才が収録されて いるため，収集できる漫才がさらに増加すると考え られる。

5) https://huggingface.co/pyannote/speaker-diarization

6) https://huggingface.co/speechbrain/

resepformer-wsj02mix

7) https://commonvoice.mozilla.org/en