# 言語処理学会第 28 回年次大会ワークショップ 「NLP における再現性」開催報告

高瀬翔 $\dagger$

## まえがき

本稿では 2022 年 3 月 18 日に言語処理学会第 28 回年次大会の併設ワークショップとして開催されました「NLP における再現性」について，オーガナイザの一人である高瀬が記します。本記事ではワークショップの成り立ちゃ問題意識と当日の各セクションの概要を記そうと思います. 各発表の資料はワークショップのホームページ1にまとめてありますので，個別の発表を詳しく知りたい場合はそちらを参照いただければ幸いです.

## 1 ワークショップの成り立ち

ワークショップは雑談に端を発することが多いと聞いたことがある. 本ワークショップも最先端 NLP 勉強会2という集まりにおける，雑談用の Slackチャンネルへの投稿がきっかけとなっている．本ワークショップの代表者である賀沢さんが「再現性」をテーマにしたワークショップがあったら面白いかどうか，また，ワークショップのオーガナイザとして協力が可能であるならば知らせて欲しい旨の投稿をしていた。最先端 NLP 勉強会参加者のうち, 自分を含めてこれに反応した 3 名がワークショップのオーガナイザとして加わり, 言語処理学会年次大会の併設ワークショップとして企画を練っていくこととなった.

ワークショップ開催のきっかけとなる出来事が明確にあったわけではないが, ACL 2021 に採択され， 2021 年の最先端 NLP 勉強会でも紹介された，機械翻訳における実験結果の再現に必要な情報や評価手法, 論文間のスコアの比較について議論した論文 (Marie et al. 2021) が理由の一つであることは確かであろう。また, 研究コミュニティ内での再現性への意識の高まりを感じていたことも要因となっている。自分としては, ニューラルモデルという, モデルの初期値や学習過程にランダムネスが密接に関わり，同一のモデル・同一の訓練データを使ったと


しても完全に同一の学習結果を得ることが難しい手法 (Bouthillier et al. 2019) が自然言語処理分野においても主流になってきており，コミュニティとして，再現性とは何か，得られた実験結果とどう向き合うのかの議論が必要であるという意識があり, ワークショップのオーガナイザとして加わることとした.

## 2 ワークショップ当日の様子

本ワークショップは発表を広く募ると共に，ACL での実験や論文に関するワーキンググルー プに参加している方や, 国際的なコンペティションに参加し, 実験を再現することの難しさを肌で感じている方などに講演を行っていただいた。本節ではそれぞれのセクションでの発表を概観する。

## 2.1 学会から見た再現性

近年, 実験をどのように設計し報告するか, 再現に必要な事項は何かについての議論が活発に行われている (Dodge et al. 2019; Rogers et al. 2021). これをふまえ, 様々な学会において, 論文で説明すべき事項を投稿時のチェックリストとして提示するようになってきた ${ }^{3}$. 本セクションではこれに関して, ACL Efficient NLP WGの取り組みとチェックリストで求められている事項に関する講演・議論が行われた.

ニューラルネットを用いたモデルの性能は学習に用いるデータやモデルを構成するパラメー 夕の量に対数比例することが知られており (Gordon et al. 2021; Brown et al. 2020), 性能向上のために, BERT や GPT のような事前学習モデル (Devlin et al. 2019; Brown et al. 2020)のパラメータ数は増加の一途をたどっている，例えば，BERTの論文が arXiv に発表されて以来, 約 1 年半で事前学習モデルのパラメータ数は 1000 倍以上になっている。 パラメータ数やデータ数の増加は実験に必要な計算コストの増加を意味し, 巨大な事前学習モデルの再現や網羅的な実験が難しくなってきている.

一方で，実験は論文の主張が誤りでないかを示せばよく，網羅的な実験は必ずしも必要ではない. また, 各論文で発表されているモデルもすべてを再現する必要はなく, 著者が既に学習済みのモデルを所持しているのであれば，それを使えば良い場面も多い。このような状況を受け，1．論文内に主張を明確に記し，それは実験と対応しているかを確認すること，2．再現実験を容易にするため, コードの公開やモデルの公開をコミュニティで評価するようにすること, 3. 機械翻訳, 統語構造解析のようなエリアと並列に, ACLのような国際会議において計算効率に関するエリアを設けること，の 3 つが ACL Efficient NLP WG からの提言とのことであった.

各会議の投稿時のチェックリストはこれを反映したような内容となっており，論文の貢献点が明確に記述されているか, 研究が前提としている仮設や適応可能な状況を示しているか, 実験に用いたコードやハイパーパラメータ，データの詳細は記述したかが問われている。

## 2.2 再現性を保証するには？

研究における知見を明確化し, 再現するためには実験の設計を熟考し, 実験結果の信頼性を高める必要がある. これを目的とし, 統計的仮説検定や認知・脳科学における実験設計の知見について講演が行われた。

本稿で既に再現という言葉を何度も使っているが, これが指す幅は広い. 例えば，同一のモデル・同一の訓練データを用いた場合に学習後のモデルが同一の值を出力できるかどうかという観点での再現や, 出力の値は学習時の乱数シードなどで変化したとしても, ある特定のデー タセットや状況においては，あるモデルは別のモデルよりも性能が良いというような, モデル間の相対的な性能差が成り立つかどうかという観点での再現がある。後者を知見の再現と呼ぶ論文もある (Bouthillier et al. 2019). 統計的仮説検定やより良い実験設計は, この後者の, 知見の再現についてどのように信頼性を高めるかというものである, というのが筆者の認識である. タスクやデータセットの性質に応じた検定手法や，パラメータ数を揃えた上での比較実験などはコミュニティ全体で意識するべき事項である。しかしながら，自分の印象としては，検定手法を明らかにせずに有意であると報告している論文やパラメータ数, 学習時間などに差があるにも関わらず不問にしている論文は多く, 改善が必要であると強く感じている，なお，統計的仮説検定については文脈解析一述語項構造 ・照応・談話構造の解析一 (笹野, 飯田 2017) に詳しく書かれており, そちらも参照されたい.

## 2.3 現場から見た再現性

最先端の研究に従事し, 日々モデルの改良, 実験に勤しむ方やそのような実験を支えるツー ルの開発に携わっている方, 世界中から参加者を募る大規模コンぺの設計, 標準的なデータセットの作成に尽力した方々から実際に再現性をどのように意識しているか，またその難しさについての講演が行われた。

実験の再現性を担保することは肝要であるが, ニューラルネットは学習にランダムネスが密接に関わるため再現が難しいという話に加え, データ作成や評価においても再現の難しさがある。例えばクローリングでウェブページを収集してデータセットを構築した場合, 数年後も同一のウェブページが得られる保証はない. また, BLEU や ROUGEのような自動評価に加え,人手評価が求められる場面も多いが，どのような人が評価するかによって結果が変動してしまう．任意のタスクやデータセット構築において，これをしておけば結果（あるいは知見）が常に完全に再現できるという仕様の策定は難しく, そのような中でどのように再現，あるいは知
見の信頼性を高めるかが重要であると感じた.

また, 本セクションでは事前に参加者から回答を募ったアンケート結果も開示された。回答の中では実験の実装が公開されておらず再実験が難しい，仮に実装が公開されていてもライブラリの不整合やバグが混入していたという声が多く，実装の公開と（最低限の）ドキュメントの整理をコミュニティで奨励する仕組みが必要そうである 4.

## 3 おわりに

本ワークショップを企画し, 講演者や参加者との議論の中で, 再現という言葉が指す現象には様々あることが改めて分かった。自分自身の信条としては，論文で報告されている知見が再現可能かどうか，例えば，あるモデルが別のモデルよりも優れているという主張がある場合にはそれが乱数シードや実装に依存せず成立していることが重要であると考えている。この再現性は論文の主張に対する信頼性と密接に関わっていると考えており，ACL Efficient NLP WG のように，再現性の担保（あるいは担保していると信頼できる情報の整理）をしようとする動きがあることはコミュニティの健全な発展のために明るい話題であると感じている．本ワークショップおよび本稿が信頼性の高い論文を書く，あるいは読者として論文の信頼性を見抜く一助になれば幸いである.

## 謝 辞

本ワークショップの運営にご尽力くたさった賀沢秀人氏，清野舜氏，伊藤拓海氏に感謝いたします.また，ワークショップにてご講演いただいた講演者のみなさま，参加者のみなさまにも改めて感謝申し上げます，本稿の執筆にあたり，清野舜氏，伊藤拓海氏，鈴木潤氏に有益な助言をいただきました。

## 参考文献

Bouthillier, X., Laurent, C., and Vincent, P. (2019). "Unreproducible Research is Reproducible." In Proceedings of the 36th International Conference on Machine Learning (ICML), pp. $725-734$.


Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., and Amodei, D. (2020). "Language Models are Few-Shot Learners." In Advances in Neural Information Processing Systems (NeurIPS), pp. 1877-1901.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 4171-4186.

Dodge, J., Gururangan, S., Card, D., Schwartz, R., and Smith, N. A. (2019). "Show Your Work: Improved Reporting of Experimental Results." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2185-2194.

Gordon, M. A., Duh, K., and Kaplan, J. (2021). "Data and Parameter Scaling Laws for Neural Machine Translation." In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5915-5922.

Marie, B., Fujita, A., and Rubino, R. (2021). "Scientific Credibility of Machine Translation Research: A Meta-Evaluation of 769 Papers." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP), pp. 7297-7306.

Rogers, A., Baldwin, T., and Leins, K. (2021). "'Just What do You Think You're Doing, Dave?' A Checklist for Responsible Data Use in NLP." In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 4821-4833.

笹野遼平, 飯田龍 (2017). 文脈解析一述語項構造・照応・談話構造の解析一. コロナ社. [R. Sasano and R. Iida (2017). Bunmyaku Kaiseki: Jutsugo Ko Kozo, Shoo, Danwa Kozo no Kaiseki. Corona Publishing.].

## 略歴

高瀬翔：2012 年東北大学工学部卒業. 2014 年東北大学大学院情報科学研究科博士前期課程修了. 2017 年東北大学大学院情報科学研究科博士後期課程修了. 2020 年 4 月より東京工業大学助教. 博士 (情報科学). 言語処理学会, ACL 各会員.