# JGLUE: 日本語言語理解ベンチマーク

栗原健太郎 $\dagger \cdot$ 河原 大輔 $\dagger \cdot$ 柴田 知秀 $\dagger \dagger$

## 1 はじめに

早稲田大学河原研究室とヤフー株式会社の共同研究で日本語言語理解ベンチマーク JGLUE (Japanese General Language Understanding Evaluation)を構築した。本稿ではその背景・概要・今後の展望について述べる。詳細は言語処理学会第 28 回年次大会 (NLP2022)で発表した論文 (栗原他 2022)をご参照いただきたい.

## 2 背景

近年, BERT (Devlin et al. 2019) や T5 (Raffel et al. 2020), GPT-3 (Brown et al. 2020) などの基盤モデル (Bommasani et al. 2021)の進展が目覚ましい. 基盤モデルの進展には GLUE (Wang et al. 2018)のようなベンチマークでの網羅的評価が不可欠である.

種々のベンチマークは主に英語で構築されているが，フランス語の FLUE (Le et al. 2020) や中国語の CLUE (Xu et al. 2020), 韓国語の KLUE (Park et al. 2021) など，英語以外の言語でもベンチマークが整備されている。では日本語ではどうだろうか。様々な機関から BERT などのモデルは公開されており，それを評価するデータセットがいくつかあるものの，GLUEのように整理されたベンチマークは存在せず，適切な網羅的評価が行うことができない.

「日本語にもベンチマークが必要」ということは数多くの人が認識していたと思うが，どの組織からも構築しようとする動きが見られなかったため, 早稲田大学河原研究室とヤフー株式会社の共同研究で 2021 年度より日本語版 GLUE (JGLUE) の構築を開始した. JGLUE の構築にあたって以下の 2 つを基本理念とした.

(1) 翻訳を介さず日本語のテキストで一から構築

英語のデータセットを翻訳することによって日本語のデータセットを構築することが考えられるが，機械翻訳，人手翻訳のいずれにしても日本語における不自然さが残ってしまう。そこで日本語のテキストで一から構築する。

(2) 一般ドメインのテキストで構築


JRTE コーパス (Hayashibe 2020) や運転ドメイン QA データセット (Takahashi et al. 2019) はそれぞれホテルのレビュー，運転行動を対象としたデータセットであり，一般的なドメインの言語理解能力を測るのには向かない。そこで一般ドメインのテキストを用いてデータセットを構築する.

## 3 JGLUE の概要

JGLUE は GLUEのタスクをなるべくカバーするように，夕スク，ならびに，それぞれの夕スクに含まれるデータセットを選定した. JGLUEの構成を表 1 に示す. 文章分類, 文ペア分類, QAの3つのタスクから構成している。なお, 文章分類タスクの一つである JCoLA（日本語容認性判断データセット) (染谷, 大関 2022) は東京大学大関研究室から提供される予定である。 以下では, 各タスクのデータセットの概要を紹介する。各データセットの構築はクラウドソーシング1を用いて行った。

MARC-ja 文章分類タスクとして, 多言語商品レビューコーパス MARC (Multilingual Amazon Reviews Corpus) (Keung et al. 2020) の日本語部分を用いてMARC-jaを構築した. MARC は各商品レビューに対して 1-5の５段階の商品評価が割り振られたデータセットであり，これに対して以下の変更を行った.
- 5 段階の分類タスクは人/システムの両者にとって難易度が高いことから positive/negative の 2 値分類タスクに変換

-レビューの内容と商品評価が乘離している事例が混在していることからクラウドソーシングによりラベルを修正（devと testのみ）

表 2 に MARC-ja のデータの例を示す.

JSTS・JNLI 文ペア分類タスクとして, 意味的類似度計算 (Semantic Textual Similarity, STS) データセット JSTS および自然言語推論 (Natural Language Inference, NLI) データセット JNLI

表 1 JGLUE の構成


を構築した．２つのデータセットはどちらも YJ Captions Dataset (Miyazaki and Shimizu 2016) のテキストを用い，クラウドソーシングで類似度ならびに推論関係を付与することにより構築した。表 3 にJSTS・JNLIのデータの例を示す.

JSQuAD QAタスクとして, SQuAD (Rajpurkar et al. 2016)の日本語版である JSQuADを構築した. JSQuADは与えられた文章から問題の答えを抜き出して回答するスパン抽出型タスクで, SQuAD と同様の手順で Wikipedia の日本語記事を用いて構築した. 図 1 にJSuADのデータの例を示す。

JCommonsenseQA QAタスクとして, CommonsenseQA (Talmor et al. 2019)の日本語版である JCommonsenseQA を構築した. JCommonsenseQA は常識推論能力を評価するための 5 択 QA 問題である. CommonsenseQA と同様に ConceptNet (Speer et al. 2017)をシードとし，クラウドソーシングを用いて構築した. 図 2 に JCommonsenseQA のデータの例を示す.

表 2 MARC-ja の例

表 $3 \mathrm{JSTS} \cdot \mathrm{JNLI}$ の例

図 1 JSQuAD の例

問題: 会社の最高責任者を何というか？

選択肢: 教師, 部長, 社長, 部下, バイト

問題: スープを飲む時に使う道具は何？

選択肢: スプーン,メニュー, 血, フォーク, はし図 $2 \mathrm{JCommonsenseQA}$ の例（太字は正解を表す） JCommonsenseQA の例(太子は正解を表す)

## 4 JGLUE を用いた基盤モデルの評価

JGLUE を用いて，広く利用されている各種基盤モデル（表 4）の性能評価を行った．各種モデルのスコアおよびヒューマンスコアを表 5 に示す. ヒューマンスコアについてはデータ構築と同様にクラウドソーシングを用いて算出した. モデルの性能について，以下のようにまとめることができる.
- 全般的にはXLM-RoBERTa ${ }_{L A R G E}$ が最もよい. これは LARGE サイズであることと, 事前学習のテキストとして Wikipediaよりも大規模な Common Crawlを使っていることが考えられる。
- 基本単位について, サブワード単位と文字単位を比較すると一貫してサブワード単位の方が精度が高い. (東北大 $\mathrm{BERT}_{\mathrm{BASE}}$ と東北大 $\mathrm{BERT}_{\mathrm{BASE}}$ （文字）の行を比較のこと）
- JCommonsenseQA は Wikipediaには記載されにくい常識的な知識を要求することから,

 & 日本語 Wikipedia \\

表 4 基盤モデルの詳細（モデル名の括弧内は huggingface models での名称を, “”はそれぞれに対応する LARGE モデルも利用することを示す。＼cjkstart事前学習テキストの CC は Common Crawl を表す.）

 &  &  &  &  \\

表 5 JGLUE におけるモデルの評価結果 (test)

Common Crawl を用いたモデルの精度が高い.
- JCommonsenseQA 以外についてはべストなモデルは人間のスコアと同等または超えている.

## 5 おわりに

データセットの数としてはまだまだ十分ではないが, 最低限のタスク／データセットをカバー し, JGLUE という形で整理した。これによってモデルの包括的な評価が可能となり，より良いモデルの構築や様々なデータセットの構築が進むことを期待している．JGLUE の第一版は 2022 年 3 月末に公開を予定しており（原稿執筆時点），フィードバックをいただけると幸いである.

今後はより難しいデータセットの構築や生成系タスクのデータセットの構築を行う予定である。また, JCoLAのように他機関で構築されたデータセットは JGLUE に適宜取り込みたいと考えているので，ご連絡いただければ幸いである。

## 参考文献

Bommasani, R., Hudson, D. A., Adeli, E., Altman, R., Arora, S., von Arx, S., Bernstein, M. S.,

Bohg, J., Bosselut, A., Brunskill, E., Brynjolfsson, E., Buch, S., Card, D., Castellon, R., Chatterji, N. S., Chen, A. S., Creel, K., Davis, J. Q., Demszky, D., Donahue, C., Doumbouya, M., Durmus, E., Ermon, S., Etchemendy, J., Ethayarajh, K., Fei-Fei, L., Finn, C., Gale, T., Gillespie, L., Goel, K., Goodman, N. D., Grossman, S., Guha, N., Hashimoto, T., Henderson, P., Hewitt, J., Ho, D. E., Hong, J., Hsu, K., Huang, J., Icard, T., Jain, S., Jurafsky, D., Kalluri, P., Karamcheti, S., Keeling, G., Khani, F., Khattab, O., Koh, P. W., Krass, M. S., Krishna, R., Kuditipudi, R., et al. (2021). "On the Opportunities and Risks of Foundation Models." CoRR, abs/2108.07258.

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., and Amodei, D. (2020). "Language Models are Few-Shot Learners." In Larochelle, H., Ranzato, M., Hadsell, R., Balcan, M. F., and Lin, H. (Eds.), Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep

Bidirectional Transformers for Language Understanding." In NAACL2019, pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Hayashibe, Y. (2020). "Japanese Realistic Textual Entailment Corpus." In LREC2020, pp. 6827-6834, Marseille, France. European Language Resources Association.

Keung, P., Lu, Y., Szarvas, G., and Smith, N. A. (2020). "The Multilingual Amazon Reviews Corpus." In EMNLP2020, pp. 4563-4568, Online.

栗原健太郎, 河原大輔, 柴田知秀 (2022). JGLUE: 日本語言語理解ベンチマーク. 言語処理学

会第 28 回年次大会, pp. 2023-2028. [K. Kurihara et al. (2022). JGULE: Nihongo Gengo

Rikai Benchimaku. Proceedings of the 28th Annual Meeting for the Association for Natural Language Processing, pp. 2023-2028.].

Le, H., Vial, L., Frej, J., Segonne, V., Coavoux, M., Lecouteux, B., Allauzen, A., Crabbé, B., Besacier, L., and Schwab, D. (2020). "FlauBERT: Unsupervised Language Model Pretraining for French." In LREC2020, pp. 2479-2490, Marseille, France. European Language Resources Association.

Miyazaki, T. and Shimizu, N. (2016). "Cross-Lingual Image Caption Generation." In ACL2016, pp. 1780-1790.

Park, S., Moon, J., Kim, S., Cho, W. I., Han, J. Y., Park, J., Song, C., Kim, J., Song, Y., Oh, T., Lee, J., Oh, J., Lyu, S., Jeong, Y., Lee, I., Seo, S., Lee, D., Kim, H., Lee, M., Jang, S., Do, S., Kim, S., Lim, K., Lee, J., Park, K., Shin, J., Kim, S., Park, L., Oh, A., Ha, J.-W., and Cho, K. (2021). "KLUE: Korean Language Understanding Evaluation." In 35th Conference on NeuralIPS Datasets and Benchmarks Track (Round 2).

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2020). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." Journal of Machine Learning Research, 21 (140), pp. 1-67.

Rajpurkar, P., Zhang, J., Lopyrev, K., and Liang, P. (2016). "SQuAD: 100,000+ Questions for

Machine Comprehension of Text." In EMNLP2016, pp. 2383-2392, Austin, Texas.

染谷大河, 大関洋平 (2022). 日本語版 CoLA の構築. 言語処理学会第 28 回年次大会, pp. 1872-1877.

[T. Someya and Y. Oseki (2022). Nihongoban CoLA no Kochiku. Proceedings of the 28th Annual Meeting for the Association for Natural Language Processing, pp. 1872-1877.].

Speer, R., Chin, J., and Havasi, C. (2017). "ConceptNet 5.5: An Open Multilingual Graph of General Knowledge." AAAI2017, 31 (1).

Takahashi, N., Shibata, T., Kawahara, D., and Kurohashi, S. (2019). "Machine Comprehension Improves Domain-Specific Japanese Predicate-Argument Structure Analysis." In MRQA2019, pp. 98-104, Hong Kong, China.

Talmor, A., Herzig, J., Lourie, N., and Berant, J. (2019). "CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge.” In NAACL2019, pp. 4149-4158, Minneapolis, Minnesota.

Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., and Bowman, S. (2018). "GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding." In EMNLP2018 Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium. Association for Computational Linguistics.

Xu, L., Hu, H., Zhang, X., Li, L., Cao, C., Li, Y., Xu, Y., Sun, K., Yu, D., Yu, C., Tian, Y., Dong, Q., Liu, W., Shi, B., Cui, Y., Li, J., Zeng, J., Wang, R., Xie, W., Li, Y., Patterson, Y., Tian, Z., Zhang, Y., Zhou, H., Liu, S., Zhao, Z., Zhao, Q., Yue, C., Zhang, X., Yang, Z., Richardson, K., and Lan, Z. (2020). "CLUE: A Chinese Language Understanding Evaluation Benchmark." In COLING2020, pp. 4762-4772, Barcelona, Spain (Online).

## 略歴

栗原健太郎：2021 年早稲田大学基幹理工学部情報通信学科卒業. 2022 年現在同大学院修士課程在学中.

河原大輔：1997 年京都大学工学部電気工学第二学科卒業. 1999 年同大学院修士課程修了. 2002 年同大学院博士課程単位取得認定退学. 東京大学大学院情報理工学系研究科学術研究支援員, 独立行政法人情報通信研究機構主任研究員, 京都大学大学院情報学研究科准教授を経て, 2020 年より早稲田大学理工学術院教授. 自然言語処理, 知識処理の研究に従事. 博士 (情報学).

柴田知秀：2007 年東京大学大学院情報理工学系研究科博士課程修了. 京都大学大学院情報学研究科助教, 特定講師を経て, 2019 年より Yahoo! JAPAN 研究所上席研究員．専門は自然言語処理，特に深層学習を利用した日本語基礎解析. 博士 (情報理工学).