# NLP モデルの性能の再現可能な測定に向けて :再現性の時間軸モデルと日本の NLP 研究の再現性の簡易的調査

竹下昌志 ${ }^{1}$ ジェプカ・ラファウ $2{ }^{2}$ 荒木健治 ${ }^{2}$
1 北海道大学大学院情報科学院
2 北海道大学大学院情報科学研究院
\{takeshita.masashi,rzepka,araki\}@ist.hokudai.ac.jp

## 概要

再現性は研究の信頼性を評価する上で重要な指標 であるが，「再現性」とその関連用語の定義は混迷 している。そこで本稿では，時間軸で再現性の諸側面を分類する概念モデルを提案する。これによって 既存の定義と今後提案される定義を包括して再現性 を理解することができる．次に，再現性を改善する ための方法を検討する。最後に，近年の日本の NLP 研究の再現性を簡易的に調査する. その結果，特に コードが公開されておらず，追試する者にとって難 しい状況であることが明らかとなった。

## 1 はじめに

再現性は科学にとって重要である ${ }^{1)}$.「再現性」と は，広義には，論文で記述されていることを繰り返 すことができるという研究およびその研究結果の性質である．実験結果が再現できない場合はその実験結果に対する疑義が生じ，再現できればその実験結果の信頼性が向上する。また追試が行われていない 場合，その実験結果の信頼性は不明である. 本大会 のワークショップ「NLP における再現性 $\rfloor^{2)}$ の概要 で述べられているように，「実験の再現性は健全な 議論のために不可欠の条件である」.

しかし，「再現性」やその関連用語の定義は混迷 しており，対立する定義も存在する（表 1 及び付録 A)「再現性」の定義が定まらなければ，人々が 「再現性」で意味することが異なるために議論が整理されず，研究の再現性の評価が困難になる.

そこで本稿では「再現性」の様々な定義を捉える 包括的な概念モデルである再現性の時間軸モデルを


提案する.この概念モデルでは，再現性を何らかの 測定の再現性であるとし，測定前，測定結果，測定後の再現性をそれぞれ区別する。また本稿では，こ の再現性モデルの下で二つのことを議論する．第一 に，再現性をどのように向上させるかを検討する （3 節)．第二に，日本の NLP 研究で再現性がどれほ ど確保されているかを簡易的に調査する（4 節）.

## 2 再現性の時間軸モデル

再現性とその他の関連用語に関しては様々な定義 がなされているが，定義は一致していない3)．そこ で本稿では，再現性の定義について各提案を包括的 に整理するために，測定前，測定結果，測定後の再現性にそれぞれ分類する再現性の時間軸モデルを提案する. 既存の定義と, 私たちの提案する再現性の 分類との対応を表 1 に示す.

本節ではまず再現性の時間軸モデルの利点を説明 し，次にこの概念モデルの詳細を説明する。

## 2.1 再現性の時間軸モデルの利点

既存の再現性の定義の仕方は，「再現性」に一つ の側面だけを認めるか，実験に関する様々な側面に 関して再現性をそれぞれ定義するかのいずれかであ る（表 1 及び付録 A）。しかし，測定には他にも様々 な事物が関わるため，このように再現性を定義する ことは有限ではなく，望ましくないと考える。

本稿で提案する再現性の時間軸モデルでは，既存 の定義と今後提案される定義を時間軸上に分類する ことで包括的に捉えられるため，再現性の理解や分類に有用であると考える。また再現性の諸側面を時間という概念的に同じ側面で分類することができる ため，分類の仕方として適切であると考える.

3）再現性や反復性の定義をめぐる議論を本稿で網羅的に扱う ことはできない．他分野での定義を含めた用語法を概観する ものとして Plesser [6]を参照.
表 1 既存の再現性関連の用語の定義と，再現性の時間軸モデルとの対応表. 各項目の説明は付録 $\mathrm{A}$ を参照.

## 2.2 測定前の再現性

測定前の再現性は，測定を再現するために必要な 手続きや機器などを繰り返すことができるか否か を意味する. Belz [5] は測定に関わる条件を対象条件，測定法条件，測定手続条件に分類している. 対象条件は測定機器に関する条件であり，測定に用い たコードやモデルなどが含まれる4)．測定法条件に は評価指標とその実装者が含まれる. 測定手続条件 には用いたテストデータや実行環境などが含まれ る.これらの条件を繰り返せるということが測定前 を再現できることを意味する。

## 2.3 測定結果の再現性

測定結果の再現性は，測定結果を繰り返すことが できるか否かを意味する。「結果」には，測定によっ て得られた値やその値を統計的に処理した値（例：平均値）を含み，また Cohen ら [3] に合わせて値の 比較も含める．そのため，信頼区間の推定結果や統計検定の結果も「結果」に含まれる。

測定結果の再現性に，測定前の再現性は必要でも 十分でもない. 必要でない理由は, 例えば高価な GPU やコンパイル・実行環境を再現することは困難だが，それにもかかわらず同一の測定結果（正解率など）を得ることは可能である。十分でない理由 は, 深層学習モデルの場合, 完全に測定前の再現性 を満たさない限り, 重みの初期値などのランダム性 のために測定結果が厳密に再現されないことがあり うるからである.

## 2.4 測定後の再現性

測定後の再現性とは，測定結果を用いた推論とそ の結論を繰り返すことができるか否かを意味する。

別の測定結果から同じ結論を導く推論も，同じ測定結果から別の結論を導く推論も可能である [2].前者の例として, BERT [8] は様々なタスクで成功を


収めていることから，別々の測定結果から「BERT は優れた性能をもつ」という同じ結論を導く推論は 可能である. また後者の例として, ある研究者が自身の提案手法を英語の分類タスクで実験し, 良い分類精度が得られた後に「提案手法は優れた分類性能 をもつ」と推論したとする. しかし別の研究者は他 の言語では良い精度が得られない（一般化できな い）可能性を考慮し，この推論に同意しないとす る.この場合, 同じ測定結果から異なる結論・推論 になったため，測定後の再現は失敗している.

## 3 測定の再現性の改善に向かって

本節では以上の概念整理の下で，各再現性を改善 させるための方法を検討する。

## 3.1 測定前・結果・後の再現性の改善

すべての再現性の改善に共通することは，実験を 繰り返すために必要な事柄を明示することである. ACL Rolling Review（ARR）は実験設定の詳細の明示化のために，付録のページ数を論文のページ数制限に含めないとし，また副次資料の提出も認めてい る5).また ARR は責任ある研究チェックリスト [9] を提示しており，一部は再現性のチェックリストと しての役割が意図されている。こうしたチェックリ ストを満たすことは重要である6).

## 3.2 測定前の再現性の改善

測定前の再現性の改善には，2.2 節で紹介した Belz [5] の三条件を満たすことが重要である．特に， コードとデータの公開は測定前の再現性の改善に重要であり,「必須の前提条件」[12]である.

また，実験で用いたランダムシード値（RS 値）も 明示されるのがよいと考える. ARR や NeurIPS の チェックリスト [13] には, RS 值をいくつ用いたの かや，RS 值によるランダム性を明示することが含 まれているが，RS 值自体の明示化には何も述べて ない. 測定前の再現性を厳密に満たすことを目指す


図13.4節の実験について, livedoorニュースコーパス上 で日本語のマスク言語モデルを 25 個の RS 値（0～24） で fine-tuning した結果のヒストグラムを示す. 縦軸はそ の階級値に属する個数で，横軸は9クラス分類の正解率 を表す。実験の詳細を付録 B に示す.

表 23.4 節の実験での各モデルの正解率の平均値と標準偏差.

のであれば，RS 値の明示化は重要である.

## 3.3 測定結果の再現性の改善

測定結果の再現性の改善のためには，測定によっ て得られた結果の明示化が重要である。一部の論文 では統計検定が行われているが，どの実験のどの値 に関して何の統計検定を行ったのかが明示されて いないことがある [14].これを明示することはチェ リーピッキングの疑義を晴らす上で重要である.

また，ハイパーパラメータやモデル構造の 探索結果を仮説検証型の研究として報告する のは HARKing [15] につながり, 問題がある [16, 10]. HARKing とは "Hypothesizing After the Results are Know”（結果を知った後に仮説を作る）の略称 で，結果を得た後にその結果に合うように仮説を形成することを意味する。これが問題であることは， テストデータを用いた学習モデルでのテストデータ の予測結果を，あたかもテストデータを学習に使っ てないかのように報告することと類似していること から理解できる. Gencouglu ら [16] は複数の院生を 用いた手作業によるハイパーパラメータやモデル の探索を院生降下法（Grad Student Descent）と称し， これによってなぜそのモデルやハイパーパラメータ が優れているのかが分からなくなると論じている.

測定結果の再現性の観点からは，こうした実践は 「知見の再現性」 [3] を低下させる．「知見の再現性」表 3 測定前の再現性の調査結果。

 &  \\

には，測定によって得られた値の比較を伴い，統計検定の結果などが含まれる. 例えば， $p$ 值が $5 \%$ の 有意水準を下回っていたとしても，20 回に 1 回はそ のような結果が期待される。そのため, 院生降下法 などによる探索的研究で複数回の試行を行った場合 に $p$ 值が偶然有意水準を下回ることがありえる. そ の結果を元に論文の「ストーリー」を組み立てて仮説検証型の研究として報告するのは HARKing にあ たり，問題がある.

## 3.4 測定後の再現性の改善

測定後の再現性を改善するためには，測定によっ て得られた結果の限界に注意すべきである. ARR のチェックリストの最初の項目は「A1. あなたの研究の限界を述べたか?」であり, 強い仮定の明示,自分の主張の範囲の反省などが含まれる.

深層学習モデルの実験には RS 值に依存したラ ンダム性があるため $[17,18]$, 単一の RS 値のみを 用いた実験によって既存手法の精度を超えたとし ても，それが偶然そうなった可能性を考慮すべき である ${ }^{8)}$. RS 值による精度の変動の一例として， livedoor ニュースコーパス9)を用いたニュース記事分類タスクの実験結果を図 1 及び表 2 に示す. 実験に用いたモデルは日本語コーパスで事前学習さ れた BERT ${ }^{10)}$, RoBERTa [20] ${ }^{11)}$, DistilBERT [21] ${ }^{12)}$ である．実験の詳細を付録 Bに記載する．また，用 いたコードを以下の脚注の URL で公開している13).結果として, 例えば, BERT の正解率と RoBERTa

7）このうち 1 本の論文では複数の RS 值を使用したかどうか の記述が見つからなかったが，複数回の試行を行っていた.

8）深層学習のランダム性を考慮した適切な実験方法とその結果の報告に関する議論として Agarwal ら [19]を参照.

9) https://www. rondhuit.com/download.html\#ldcc

10) https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking

11) https://huggingface.co/rinna/japanese-roberta-base

12) https://github.com/BandaiNamcoResearchInc/

DistilBERT-base-jp/blob/main/docs/GUIDE.md

13) https://github.com/Language-Media-Lab/ reproducibility-random-seed/
表 4 関連する論文の測定後の再現度の調査結果. NLP2021 の調査対象 25 本中残りの 6 本の論文のうち 3 本はルール ベースの手法であり，うち 1 本では交差検証を行っていた．その他の 3 本はデータ分析を行っていた.

の正解率をそれぞれ一つずつ組み合わせた場合に BERT の正解率が RoBERTa の正解率を超えた割合は $4.64 \%$ であった.この結果より，二つのモデルを比較して一方が他方より優れていると言うためには,複数の RS 值を用いた実験を行うことが重要である ことが示唆される.また，ここでは統計検定の結果 や効果量の報告が有用である ${ }^{14)}$ 。例えば，RoBERTa での実験の平均值と BERT での実験の平均值が等し いという帰無仮説の下でのスチューデントの両側 $t$検定での $p$ 值は $3.83 \times 10^{-11}$ であった.このことか ら， RoBERTa の livedoor ニュースコーパスでの平均的な分類性能は BERT より優れていると推論するこ とは合理的だと考える.

## 4 日本の NLP 研究における再現度

本節では日本の NLP 研究の再現性を簡易的に調査する. 調査対象は，言語処理学会第 27 回年次大会（NLP2021）で発表された論文からランダムに選 ばれた 25 本 ${ }^{15)}$ ，会誌『自然言語処理』 28 巻 $3 ， 4$ 号 に掲載された一般論文 17 本である.

## 4.1 測定前の再現度

測定前の再現性を確保するためにはコードやデー タの公開が重要である. しかし，少なくともコード はあまり公開されてない. Wieling ら [12]による調査によれば，コード公開とデータ公開のどちらも改善されつつあるが，2016年の ACL で発表された論文に関して，データが共有されたのは全体の $86.3 \%$, コードが共有されたのは全体の $59.3 \%$ であった ${ }^{16)}$.

本稿で調査したコード・データの公開状況の結果 を表 3 に示す.データ公開については半分以上の論文が少なくとも部分的に公開しているか公開され ているデータを用いていた. プライバシーの問題が あるため，データは公開可能な範囲で公開されるの がよいと考える。一方コード公開に関しては,『自然言語処理』の一つの論文以外はすべて非公開だっ


た. 本稿の調査ではメール等で問い合わせてないた め，もしメール等で問い合わせればこの割合は増え るかもしれないが，論文自体に公開情報を載せるこ とがよいと考える.

## 4.2 測定結果の再現度

Belz ら [4]による様々な追試のメタ分析によれば，同一条件下での実験 (つまり測定前の再現性が確保 されている実験）で元論文と厳密に同じスコアが得 られた実験は全体の $14.03 \%$ であり，1\% 以上スコア が異なる追試結果は全体の約 6 割であった.

日本の NLP 研究における測定結果の再現性を調査するには実際に追試が行われる必要があるが，私 たちの知る限り，公開で行われたことはない. 国際的には，人工知能系の学会で再現実験チャレンジが ここ数年行われている $[23,24]$. 今後日本でも行わ れることを期待する。

## 4.3 測定後の再現度

測定後の再現性を直接評価することは困難である が，複数の RS 値の使用や統計検定の実施を調べる ことで間接的かつ定量的に評価できる. Dror ら [14] による調査によれば，2017 年の ACL と TACL で，統計検定を行うべき研究で適切な検定の実施を確認できたのは，ACLでは 180 本中 36 本 $(20 \%)$ で， TACL では 33 本中 18 本（約 $54.5 \%$ ）だった.

本稿での調査結果を表 4 に示す. 査読付きの『自然言語処理』では半分以上の論文がランダム性を考慮した結果の報告を行っているが，NLP2021では半分に満たなかった。今後はランダム性を考慮した実験を行い，結果が適切に報告されるのが望ましい。

## 5 まとめ

本稿では，既存の再現性の定義や説明を包括して 整理できる再現性の時間軸モデルを提案した。また このモデルの下で，各時間軸での再現性を改善する 方法について議論した. 最後に, 日本の NLP 研究 の再現性の簡易的調査を行った。本稿の議論は再現性の改善への小さな一歩であり，また今後，再現性 に関する議論が活発に行われることを期待する。

## 謝辞

日本の NLP 研究の再現性を調査するにあたって 手伝っていただいた同僚の吉井瑞貴さんに感謝し ます。

## 参考文献

[1] Fiona Fidler and John Wilcox. Reproducibility of Scientific Results. In Edward N. Zalta, editor, The Stanford Encyclopedia of Philosophy. Metaphysics Research Lab, Stanford University, Summer 2021 edition, 2021.

[2] Steven N. Goodman, Daniele Fanelli, and John P. A. Ioannidis. What does research reproducibility mean? Science Translational Medicine, Vol. 8, No. 341, pp. 341ps12-341ps12, 2016.

[3] K. Bretonnel Cohen, Jingbo Xia, Pierre Zweigenbaum, Tiffany Callahan, Orin Hargraves, Foster Goss, Nancy Ide, Aurélie Névéol, Cyril Grouin, and Lawrence E. Hunter. Three dimensions of reproducibility in natural language processing. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[4] Anya Belz, Shubham Agarwal, Anastasia Shimorina, and Ehud Reiter. A systematic review of reproducibility research in natural language processing. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 381-393, Online, April 2021. Association for Computational Linguistics.

[5] Anya Belz. Quantifying reproducibility in NLP and ML. arXiv preprint arXiv:2109.01211, 2021.

[6] Hans E. Plesser. Reproducibility vs. replicability: A brief history of a confused terminology. Frontiers in Neuroinformatics, Vol. 11, p. 76, 2018.

[7] Odd Erik Gundersen and Sigbjørn Kjensmo. State of the art: Reproducibility in artificial intelligence. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, No. 1, Apr. 2018.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] ACL Rolling Review. Arr responsible nlp research checklist, 2021, https://aclrollingreview.org/responsibleNLPresearch/.

[10] Samuel J Bell and Onno P Kampman. Perspectives on machine learning from psychology's reproducibility crisis. arXiv preprint arXiv:2104.08878, 2021.

[11] Emiel van Miltenburg, Chris van der Lee, and Emiel Krahmer. Preregistering NLP research. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 613-623, Online, June 2021. Association for Computational Linguistics.

[12] Martijn Wieling, Josine Rawee, and Gertjan van Noord. Squib: Reproducibility in computational linguistics: Are we willing to share? Computational Linguistics, Vol. 44, No. 4, pp. 641-649, December 2018.

[13] NeurIPS 2021. Neurips paper checklist, 2021, https://neurips . cc/Conferences/2021/PaperInformation/PaperChecklist.

[14] Rotem Dror, Gili Baumer, Segev Shlomov, and Roi Reichart. The hitchhiker's guide to testing statistical significance in natural language processing. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1:
Long Papers), pp. 1383-1392, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[15] Norbert L. Kerr. Harking: Hypothesizing after the results are known. Personality and Social Psychology Review, Vol. 2, No. 3, pp. 196-217, 1998. PMID: 15647155.

[16] Oguzhan Gencoglu, Mark van Gils, Esin Guldogan, Chamin Morikawa, Mehmet Süzen, Mathias Gruber, Jussi Leinonen, and Heikki Huttunen. Hark side of deep learning-from grad student descent to automated machine learning. arXiv preprint arXiv:1904.07633, 2019.

[17] Nils Reimers and Iryna Gurevych. Reporting score distributions makes a difference: Performance study of LSTM-networks for sequence tagging. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 338-348, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[18] Jesse Dodge, Gabriel Ilharco, Roy Schwartz, Ali Farhadi, Hannaneh Hajishirzi, and Noah Smith. Fine-tuning pretrained language models: Weight initializations, data orders, and early stopping. arXiv preprint arXiv:2002.06305, 2020

[19] Rishabh Agarwal, Max Schwarzer, Pablo Samuel Castro, Aaron C Courville, and Marc Bellemare. Deep reinforcement learning at the edge of the statistical precipice. Advances in Neural Information Processing Systems, Vol. 34, , 2021.

[20] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized bert pretraining approach. Computing Research Repository, Vol. arXiv:1907.11692, , 2019.

[21] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter. arXiv preprint arXiv:1910.01108, 2019.

[22] 阿部真人. データ分析に必須の知識・考え方 統計学入門 :仮説検定から統計モデリングまで重要トピックを完全網羅. ソシム, 2021 .

[23] Joelle Pineau, Philippe Vincent-Lamarre, Koustuv Sinha, Vincent Larivière, Alina Beygelzimer, Florence d' Alché Buc, Emily Fox, Hugo Larochelle. Improving reproducibility in machine learning research: a report from the neurips 2019 reproducibility program. Journal of Machine Learning Research, Vol. 22, , 2021.

[24] Anya Belz, Anastasia Shimorina, Shubham Agarwal, and Ehud Reiter. The ReproGen shared task on reproducibility of human evaluations in NLG: Overview and results. In Proceedings of the 14th International Conference on Natural Language Generation, $\mathrm{pp}$. 249-258, Aberdeen, Scotland, UK, August 2021. Association for Computational Linguistics.

[25] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019

## A 表 1 の各項目の説明

Goodman ら [2] は「方法の再現性」，「結果の再現性」,「推論の再現性」という 3 つの再現性を提案し ている.「方法の再現性」とは，同じ結果を得るた めの実験方法や手続き自体を繰り返すことができる という性質である。「結果の再現性」は可能な限り 同じ手続きで別の研究チームが同じ結果を得られる という性質であり，Goodman らによれば，これは従来の複製性（Replicability）に対応する。「推論の再現性」は結果の分析や考察から同じ結論を導けると いう性質である.

Cohen ら [3] は「結論の再現性」「知見の再現性」「値の再現性」という 3 種類の再現性を提案し, 別 の概念として複製性または反復性（Repeatability）を 提案している.ここで複製性は「方法の再現性」に 対応し, 「知見の再現性」は「結果の再現性」に対応するが，「発見の性質」は值の比較に基づくとさ れる.「值の再現性」は測定結果の值自体を繰り返 して確認できるかという性質であり，結論の再現性 は，論文の「結論」の項目の記述であるとしている。

Belz ら [4] および Belz [5] は，再現性と複製性（ま たは反復性）の両方を測定結果の性質として定義し ている. Belz らは，複製性を実験時刻以外が同じ条件の下での測定結果（の分布）であると定義し，再現性を異なる条件下での測定結果（の分布）である と定義している。

## B livedoor ニュースコーパス上での 実験詳細

livedoor ニュースコーパスのデータセットの統計情報を表 5 に記載する。本実験では本データセッ トを $6: 2: 2$ の割合で学習セット $(4,420$ 件 $)$, 検証 セット ( 1,473 件), テストセット（1,474 件）に分割 した. 各データにはタイトルと本文が含まれている が，本実験では本文のみを用いた.

本実験で使用したハイパーパラメータを表 6 に示 す. 使用した三つのモデルでハイパーパラメータは 共通である。また，本実験では早期終了を用いてお り，検証セットでの損失が 3 回連続で更新されな かった場合に，その時点までで検証セットで最も損失が小さいモデルを用いてテストセットで評価し た.

17) https://pytorch.org/docs/stable/generated/torch optim. AdamW.html表 5 livedoor ニュースコーパスの各カテゴリ内のデー 夕数.

表 6 実験に用いたハイパーパラメータ. 本実験では三つ のモデルすべてで共通のハイパーパラメータを使用した. AdamW の学習率以外のハイパーパラメータは Pytorch の デフォルト設定を用いた ${ }^{17)}$.

## C 再現性調査の対象とした NLP2021 の論文の発表番号一覧

A6-1, A8-4, B7-2, B7-3, C4-2, C8-4, D1-4, D2-2, D5-3, D6-3, D8-1, E9-3, P1-3, P1-6, P3-4, P3-12, P3-17, P4-6, P4-21, P5-14, P6-15, P6-20, P7-14, P8-1, P9-14
 竹下昌志 ${ }^{1}$ ジェプカ・ラファウ $2{ }^{2}$ 荒木健治 ${ }^{2}$ 1 北海道大学大学院情報科学院 2 北海道大学大学院情報科学研究院 \{takeshita.masashi,rzepka,araki\}@ist.hokudai.ac.jp  