# 文法誤り訂正における複数の逆翻訳モデルを 利用した訂正傾向の比較

小山碧海甫立健悟 金子正弘 小町守
東京都立大学
\{koyama-aomi, hotate-kengo, kaneko-masahiro\}@ed.tmu.ac.jp
komachi@tmu.ac.jp

## 1 はじめに

文法誤り訂正（GEC）とは，言語学習者の書いた 文にある誤りを自動で訂正するタスクである.Yuan ら [1] がエンコーダ・デコーダ（EncDec）モデルを GEC 適用して以来，様々な EncDec べースの GEC モデルが提案されている $[2,3,4]$.また，GEC モデ ルは構造ごとに異なる訂正傾向を持つことが知られ ている. 例えば, CNN [5] ベースのモデルは, 局所的な誤りの訂正性能が高いことが示されている [3]. さらに，複数の GEC モデルを組み合わせることに より，性能を向上させることも行われている $[6,7]$.一方で, EncDec モデルの訓練には大量の訓練デー タが必要であり [8], GECでは訓練に使用可能な学習者データが不足しているという問題がある。その ため, 様々な擬似データ生成手法が研究されており $[4,9,10]$, 大量の擬似データを利用した EncDec モデ ルが顕著な性能を達成している $[11,12,13]$.

代表的な擬似データ生成手法の一つ民逆翻訳 [14] がある。逆翻訳では，GEC モデルの場合とは反対 に，訂正文から学習者文を出力させるように逆翻訳 モデルを訓練する. その後，逆翻訳モデルに対して 文法的に正しい文を入力し，擬似的な誤りを含む文 を生成する。このようにして得た擬似誤り文とその 入力文のペアを擬似データとして GEC モデルの訓練に使用する. Kiyono ら [12] は, いくつかの擬似 データ生成手法を比較した結果，逆翻訳による擬似 データで事前学習された GEC モデルの性能が最も 高かったと報告しており, 逆翻訳は最も効果的な擬似データ生成手法の一つであると考えられる。

我々は，GECモデルの場合と同様に，逆翻訳モデ ルの構造によって GEC モデルの訂正傾向が異なる 可能性があると考えた.しかしながら，これまでの 研究では逆翻訳モデルに GEC モデルと同じモデル
を使用することが多く $[9,12,15]$ ，異なる逆翻訳も デルを使用した場合にどのような訂正傾向の違いが あるかを比較していない。また，Wan ら [16] は潜在表現にノイズを加えることによる擬似データ生成手法とルールベースの擬似データ生成手法を比較し，擬似データごと記正傾向が異なることを報告し ている。さらに，それらの擬似データを組み合わせ ることにより GEC モデルの性能を向上させている. したがって，訂正傾向の違いを捉えることは，より 高性能な GEC モデルを構築することに繋がる。

[17], CNN，LSTM [18]）を逆翻訳モデルとして使用 し, それらが生成した擬似データで事前学習された GEC モデルの訂正傾向を調査した.その結果，逆翻訳モデルごとに誤りタイプ別の訂正傾向が異なるこ とが明らかになった．さらに，異なる逆翻訳モデル から生成した擬似データを組み合わせた場合の訂正傾向を調査した。その結果，異なる逆翻訳モデルか ら生成した擬似データを組み合わせた場合，シード のみが異なる単一の逆翻訳モデルを使用した場合に 対して，性能が向上するあるいは補間する性能とな ることを確認した。

## 2 関連研究

Htut ら [19] は複数の GEC モデル（Transformer， CNN，PRPN [20]，ON-LSTM [21]）に対して，異な る逆翻訳モデル（Transformer, CNN）から生成され た擬似データを使用した場合の訂正性能を調査し た.その結果，GEC モデルに Transformerを使用し，逆翻訳モデルに CNNを使用した場合に最も高い 性能を達成したと報告した．ただし，GECでは擬似データを事前学習に使用することが一般的であ るが [4, 10, 12], Htut ら [19] は擬似データを学習者 データで訓練した後の再訓練に使用するというあま

り一般的ではない方法を用いている。さらに， Htut ら [19] は擬似データごとにどのような訂正傾向が あるかについて報告していない. 我々は，GEC モ デルに Transformer を使用し，異なる逆翻訳モデル （Transformer，CNN，LSTM）を使用した場合の訂正傾向を調査する．また，Kiyono ら [12] に従い，擬似 データを GEC モデルの事前学習に使用する.

White ら [22] は，直接的な編集操作による擬似 データ生成手法 $[11,23]$ の比較を行なった. 1 つ目 の手法 [11] では，スペルチェッカーに基づいて構築 された confusion set を利用して擬似データを生成す る. 2 つ目の手法 [23] では, 学習者データから抽出 された誤りパターン，および動詞・名詞・前置詞の 置換を利用して擬似データを生成する．2つの手法 $[11,23]$ を比較した結果，1つ目の手法 [11] ではスペ リングの誤りの訂正性能が高いこと，および 2 つ目 の手法 [23] では名詞の単数・複数形と時制の誤りの 訂正性能が高いことを報告している. 我々は，異な る逆翻訳モデルから生成された擬似データを用いた 場合の GEC モデルの訂正傾向を報告する.

いくつかの研究 $[10,16,24]$ では，異なる手法によ り生成された擬似データを組み合わせて GEC モデ ルの訓練に使用している。例えば，Zhou ら [24] は，統計的機械翻訳からの翻訳文を擬似誤り文とし， ニューラル機械翻訳からの翻訳文を擬似訂正文とす る擬似データ生成手法を提案し，さらに逆翻訳によ り生成された擬似データを組み合わせて GEC モデ ルの訓練に使用している. しかしながら, Zhou ら [24] は，擬似データを組み合わせた場合の GEC モ デルの訂正傾向について報告していない. 我々は，異なる逆翻訳モデルから生成した擬似データを組み 合わせた場合の GEC モデルの訂正傾向を報告する。

## 3 実験設定

## 3.1 データセット

訓練データおよび検証データには BEA-2019 [25] で使用されたものを用いた. BEA-2019 で使用されたデータセットは FCE [26], Lang-8コー パス [27, 28], NUCLE [29], および W\&I+LOCNESS [30, 31] から構成されている. Chollampatt ら [3] に従 い，訓練データから編集のない文対を削除した。そ の後, 訓練データの訂正文側のみからサブワードを 獲得し，BPE [32]を適用した.ここで，語彙サイズ は 8,000 とした. 以降では，訓練データおよび検証
データをそれぞれ BEA-train，BEA-valid と呼ぶ.

また，擬似誤り文を生成するための生成元コーパ スとして，Wikipediaからランダムに抽出した 900 万文を使用した1)。

## 3.2 性能評価

GEC モデルの評価データには，CoNLL-2014 [33]， JFLEG [34], および BEA-2019 のテストデータ (BEAtest）を使用した. CoNLL-2014 では M ${ }^{2}$ [35]，JFLEG では GLEU [36]を評価指標に用いた. また, BEA-test およびBEA-valid は, ERRANT $[37,38]$ を用いて評価 を行なった．アンサンブルモデルを除く報告する全 ての値は 3 つの異なるシードを用いて訓練された GEC モデルのスコアの平均である ${ }^{21}$. アンサンブル モデルでは，平均值を得るために訓練した 3 つの GEC モデルをアンサンブルした結果を報告する。

## 3.3 文法誤り訂正モデル

GEC モデルには，代表的な EncDec ベースのモデ ルである Transformerを使用した. モデルのアーキ テクチャは Vaswani ら [17] の "Transformer (base)" と し，fairseq [39]にある実装を用いた. Kiyono ら [12] に従い，擬似データを事前学習に使用し，その後 BEA-train でファインチューニングを行なった. 事前学習では Adam [40], ファインチューニングでは Adafactor [41] を最適化に用いた。 さらに，ベースラ インとして，事前学習を行わずに BEA-train のみを 用いて訓練したモデルを用意した.

また，異なる逆翻訳モデルから生成した擬似デー タを組み合わせた場合の訂正傾向を調査するため, 3.4 節で説明する逆翻訳モデルのうち Transformer お よび CNN から生成した 900 万文の擬似データを組 み合わせた 1,800 万文の擬似データで事前学習され た GEC モデルを用意した. さらに，異なる逆翻訳 モデルを使用した場合と比較するため，シードのみ が異なる単一の逆翻訳モデルから擬似データを生成し, 同様に組み合わせた擬似データで事前学習さ れた GEC モデルを用意した。ここで，全ての逆翻訳モデルに与えた文は同じである。そのため，擬似 データを組み合わせた際，擬似誤り文側の種類数は 増えているが，訂正文側の種類数は増えていない。

1） 2020 年 7 月 6 日のダンプデータを用いた.

2）逆翻訳モデルのシードの違いによる影響を軽減するため,各シードの GEC モデルごとに対応するシードで訓練した逆翻訳モデルを用意した. そして，その対応する逆翻訳モデルか ら生成した擬似データを GEC モデルの事前学習に使用した.
表 1: それぞれの GEC モデルの訂正性能（シングルモデルアンサンブルモデル）上段は逆翻訳モデルごとの性能を表 し，下段は擬似データを組み合わせて使用した場合の性能を表す。

} & \multicolumn{3}{|c|}{ BEA-test } \\

## 3.4 逆翻訳モデル

GEC において逆翻訳を使用している研究が用い ているモデルを参考にして，Transformer，CNN，お よび LSTM を選択した。また，全てのモデルの実装 は fairseqにあるものを使用した. さらに，多様な 誤りを生成するために，デコード時に Xie ら [9] に よって提案されたノイズ付きビームサーチを使用し た. 本手法では，ビームサーチ時に，毎ステップご との各仮説のスコアに $r \beta_{\text {random }}$ をノイズとして加え る. ここで， $r$ は区間 $[0,1]$ の一様分布からランダ ムに選択される値であり， $\beta_{\text {random }}$ はノイズの大きさ を調節するためのハイパーパラメータである．本実験においては, Transformer では $\beta_{\text {random }}=8, \mathrm{CNN}$ で は $\beta_{\text {random }}=10$, LSTM では $\beta_{\text {random }}=12$ とした ${ }^{3}$ ).

## 4 実験結果

## 4.1 全体の訂正性能

逆翻訳モデルごとの訂正性能表 1 の上段に，逆翻訳モデルごとの訂正性能を示す. 表 1 より，評価データによって，優れている逆翻訳モデル が異なることが分かる. 例えば，CoNLL-2014で は Transformerを使用した場合に最も性能が高く， JFLEG および BEA-test では CNN を使用した場合に 最も性能が高いことが分かる. また, BEA-test で は，Transformer よりもLSTM を使用した場合の方 が， $\mathrm{F}_{0.5}$ 值が高いことが分かる. したがって，GEC モデルとして高い性能を持つ Transformer [12] が，必 ずしも逆翻訳モデルとしても優れているとは限らな いことが示唆される。

擬似データを組み合わせた場合の訂正性能 表 1 の下段に，擬似データを組み合わせた場合の訂正性

3） 事前実験において，BEA-valid 上で最大の $F_{0.5}$ 值となった時 の値を使用した。能を示す. 表 1 より, 異なる逆翻訳モデルから生成 した擬似データを組み合わせて使用した場合，擬似 データを組み合わせない場合よりも一貫して性能が 向上していることが分かる。一方で，シードのみが 異なる単一の逆翻訳モデルから生成した擬似デー タを組み合わせた場合，一部の項目において組み合 わせない場合よりも性能が低下していることが分 かる．例えば，Transformer では，アンサンブルモデ ルにおける CoNLL-2014 上の $\mathrm{F}_{0.5}$ 值で，組み合わせ ない場合のスコアは 59.0 であるが，組み合わせた 場合のスコアは 58.9 である。また， CNN の場合で も同様に，アンサンブルモデルにおける BEA-test 上 の $\mathrm{F}_{0.5}$ 值で，組み合わせない場合のスコアは 63.4 で あるが，組み合わせた場合のスコアは 63.3 である. したがって，異なる逆翻訳モデルから生成した擬似 データを組み合わせて使用する方が，シードのみが 異なる単一の逆翻訳モデルを使用するよりも，より 頑健な GEC モデルが構築されると考えられる.

## 4.2 誤りタイプ別の訂正性能

逆翻訳モデルごとの訂正性能 表 2 の左側に，シ ングルモデルにおける BEA-test 上での誤りタイプ別 の $\mathrm{F}_{0.5}$ 值を示す. 表 2 より，Transformer では PRON （代名詞）の誤りの性能が高いことが分かる.また， CNN では PREP (前置詞), VERB:TENSE (時制) お よび VERB:SVA（主語と動詞の一致）の誤り，LSTM では VERB（動詞）の誤りの性能が高いことが分か る.したがって，逆翻訳モデルごとに誤りタイプ別 の訂正傾向が異なると考えられる.

また，Transformerを逆翻訳モデルに使用した場合，PUNCT（句読点）の誤りの性能がベースライン よりも低下している。さらに，CNNと LSTM の場合でも，他の誤りタイプと比較して，PUNCT の誤 りはベースラインからの性能の向上幅が小さいこと
表 2: シングルモデルにおける BEA-test 上での誤りタイプ別の $\mathrm{F}_{0.5}$ 值. 頻度が 100 以上である誤りタイプを抜き出した. また，全ての誤りタイプの頻度の合計は 4,882 である。なお，誤りタイプの詳細は文献 [37]を参照せよ.

 &  &  \\

が分かる。したがって，逆翻訳による擬似データを 使用した場合，PUNCT の誤りは性能を改善させる ことが難しい誤りタイプであると考えられる.

擬似データを組み合わせた場合の訂正性能 表 2 の右側に，擬似データを組み合わせた場合のシング ルモデルにおける BEA-test 上での誤りタイプ別の $\mathrm{F}_{0.5}$ 值を示す. 表 2 より, PUNCT, VERB:TENSE お よび VERB:FORM（不定詞・動名詞・分詞の用法） を除く誤りタイプにおいて，異なる逆翻訳モデルか ら生成した擬似データを組み合わせた場合の方が， シードのみが異なる単一の逆翻訳モデルを使用した 場合の少なくとも一方よりも性能が高いことが分か る.そのため，異なる逆翻訳モデルから生成した擬似データを使用した場合，シードのみが異なる単一 の逆翻訳モデルを使用した場合に対して，性能が向上するあるいは補間する性能を持つと考えられる.

また, OTHER（その他）の誤りについて，シード のみが異なる単一の逆翻訳モデルから生成した擬似 データを組み合わせた場合，組み合わせない場合と 比較して, 性能が向上していないことが分かる。一方で，異なる逆翻訳モデルから生成した擬似データ を組み合わせた場合は，組み合わせない場合よりも 性能が向上している. したがって，異なる逆翻訳モ デルを使用することにより，より多様な誤りタイプ を訂正することが可能になると考えられる。

シードの違いによる影響 ここでは，逆翻訳モデ ルのシードの違いによる影響について検討する. 表 2 より, 異なる逆翻訳モデルから生成した擬似デー
タを組み合わせた場合よりも，シードのみが異なる 単一の逆翻訳モデルを使用した場合の方が，高い 性能になる誤りタイプがあることが分かる. 我々 は, この理由の一つとして, 逆翻訳モデルのシー ドのみを変えた場合でもある程度性能にばらつき があるためであると考える．例えば，逆翻訳モデ ルに Transformerを使用した場合，DET（限定詞）の 誤りの標準偏差は 1.62 と比較的高い. またこの時, Transformer \& CNN よりも, Transformer \& Transformer の方が高い性能になっている。このように，ある程度性能にばらつきがある誤りタイプでは，シードの みが異なる単一の逆翻訳モデルを使用した場合で も，異なる逆翻訳モデルを使用した場合と比べて，性能が向上する可能性があると考えられる.

## 5 おわりに

本研究では，逆翻訳モデルごとの GEC モデルの 訂正傾向を調査した. その結果，逆翻訳モデルごと に誤りタイプ別の訂正傾向が異なることが分かっ た.また，異なる逆翻訳モデルから生成した擬似 データを組み合わせた場合，シードのみが異なる単一の逆翻訳モデルから生成した擬似データを組み合 わせた場合に対して，性能が向上するあるいは補間 する性能を持つことを確認した。

## 謝辞

Lang-8 のデータを使用したことについて, 株式会社 Lang-8 の喜洋洋氏に感謝申し上げます.

## 参考文献

[1] Zheng Yuan and Ted Briscoe. Grammatical error correction using neural machine translation. In NAACL, pp. 380-386, 2016.

[2] Jianshu Ji, Qinlong Wang, Kristina Toutanova, Yongen Gong, Steven Truong, and Jianfeng Gao. A Nested Attention Neural Hybrid Model for Grammatical Error Correction. In $A C L$, pp. 753-762, 2017.

[3] Shamil Chollampatt and Hwee Tou Ng. A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction. In AAAI, pp. 5755-5762, 2018.

[4] Wei Zhao, Liang Wang, Kewei Shen, Ruoyu Jia, and Jingming Liu. Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data. In NAACL, pp. 156-165, 2019

[5] Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, and Yann N. Dauphin. Convolutional Sequence to Sequence Learning. In ICML, pp. 1243-1252, 2017.

[6] Roman Grundkiewicz and Marcin Junczys-Dowmunt. Near Human-Level Performance in Grammatical Error Correction with Hybrid Machine Translation. In NAACL, pp. 284-290, 2018.

[7] Yoav Kantor, Yoav Katz, Leshem Choshen, Edo Cohen-Karlik, Naftali Liberman, Assaf Toledo, Amir Menczel, and Noam Slonim. Learning to combine Grammatical Error Corrections. In $B E A, \mathrm{pp}$. 139-148, 2019.

[8] Philipp Koehn and Rebecca Knowles. Six Challenges for Neural Machine Translation. In WNMT, pp. 28-39, 2017.

[9] Ziang Xie, Guillaume Genthial, Stanley Xie, Andrew Ng, and Dan Jurafsky. Noising and Denoising Natural Language: Diverse Backtranslation for Grammar Correction. In NAACL, pp. 619-628, 2018.

[10] Jared Lichtarge, Chris Alberti, Shankar Kumar, Noam Shazeer, Niki Parmar, and Simon Tong. Corpora Generation for Grammatical Error Correction. In NAACL, pp. 3291-3301, 2019.

[11] Roman Grundkiewicz, Marcin Junczys-Dowmunt, and Kenneth Heafield. Neural Grammatical Error Correction Systems with Unsupervised Pre-training on Synthetic Data. In BEA, pp. 252-263, 2019.

[12] Shun Kiyono, Jun Suzuki, Tomoya Mizumoto, and Kentaro Inui. Massive Exploration of Pseudo Data for Grammatical Error Correction. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 28, pp. 2134-2145, 2020.

[13] Masahiro Kaneko, Masato Mita, Shun Kiyono, Jun Suzuki, and Kentaro Inui. Encoder-Decoder Models Can Benefit from Pretrained Masked Language Models in Grammatical Error Correction. In $A C L$, pp. 4248-4254, 2020

[14] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving Neural Machine Translation Models with Monolingual Data. In $A C L$, pp. 86-96, 2016.

[15] Tao Ge, Furu Wei, and Ming Zhou. Fluency Boost Learning and Inference for Neural Grammatical Error Correction. In $A C L$, pp. 1055-1065, 2018.

[16] Zhaohong Wan, Xiaojun Wan, and Wenguang Wang. Improving Grammatical Error Correction with Data Augmentation by Editing Latent Representation. In COLING, pp. 2202-2212, 2020.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In NeurIPS, pp. 5998-6008, 2017.

[18] Sepp Hochreiter and Jürgen Schmidhuber. Long Short-Term Memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[19] Phu Mon Htut and Joel Tetreault. The Unbearable Weight of Generating Artificial Errors for Grammatical Error Correction. In BEA, pp. 478-483, 2019.

[20] Yikang Shen, Zhouhan Lin, Chin wei Huang, and Aaron Courville. Neural Language Modeling by Jointly Learning Syntax and Lexicon. In ICLR, 2018.
[21] Yikang Shen, Shawn Tan, Alessandro Sordoni, and Aaron Courville. Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks. In ICLR, 2019.

[22] Max White and Alla Rozovskaya. A Comparative Study of Synthetic Data Generation Methods for Grammatical Error Correction. In BEA, pp. 198-208, 2020.

[23] Yo Joong Choe, Jiyeon Ham, Kyubyong Park, and Yeoil Yoon. A Neural Grammatical Error Correction System Built On Better Pretraining and Sequential Transfer Learning. In BEA, pp. 213-227, 2019.

[24] Wangchunshu Zhou, Tao Ge, Chang Mu, Ke Xu, Furu Wei, and Ming Zhou. Improving Grammatical Error Correction with Machine Translation Pairs. In EMNLP Findings, pp. 318-328, 2020.

[25] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 Shared Task on Grammatical Error Correction. In BEA, pp. 52-75, 2019.

[26] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A New Dataset and Method for Automatically Grading ESOL Texts. In $A C L$, pp. 180-189, 2011.

[27] Tomoya Mizumoto, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. Mining Revision Log of Language Learning SNS for Automated Japanese Error Correction of Second Language Learners. In IJCNLP, pp. 147-155, 2011.

[28] Toshikazu Tajiri, Mamoru Komachi, and Yuji Matsumoto. Tense and Aspect Error Correction for ESL Learners Using Global Context. In $A C L$, pp. 198-202, 2012.

[29] Daniel Dahlmeier, Hwee Tou Ng, and Siew Mei Wu. Building a Large Annotated Corpus of Learner English: The NUS Corpus of Learner English. In BEA, pp. 22-31, 2013.

[30] Sylviane Granger. The computerized learner corpus: a versatile new source of data for SLA research. In Learner English on Computer, pp. 3-18. 1998.

[31] Helen Yannakoudakis, Øistein E Andersen, Ardeshir Geranpayeh, Ted Briscoe, and Diane Nicholls. Developing an Automated Writing Placement System for ESL Learners. Applied Measurement in Education, Vol. 31, No. 3, pp. 251-267, 2018.

[32] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural Machine Translation of Rare Words with Subword Units. In $A C L$, pp. 1715-1725, 2016.

[33] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL2014 Shared Task on Grammatical Error Correction. In CoNLL, pp. 1-14, 2014.

[34] Courtney Napoles, Keisuke Sakaguchi, and Joel Tetreault. JFLEG: A Fluency Corpus and Benchmark for Grammatical Error Correction. In EACL, pp. 229-234, 2017.

[35] Daniel Dahlmeier and Hwee Tou Ng. Better Evaluation for Grammatical Error Correction. In NAACL, pp. 568-572, 2012.

[36] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. Ground Truth for Grammatical Error Correction Metrics. In ACL-IJCNLP, pp. 588-593, 2015.

[37] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic Annotation and Evaluation of Error Types for Grammatical Error Correction. In $A C L$, pp. 793-805, 2017

[38] Mariano Felice, Christopher Bryant, and Ted Briscoe. Automatic Extraction of Learner Errors in ESL Sentences Using Linguistically Enhanced Alignments. In COLING, pp. 825-835, 2016.

[39] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In NAACL, pp. 48-53, 2019.

[40] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In ICLR, 2015

[41] Noam Shazeer and Mitchell Stern. Adafactor: Adaptive Learning Rates with Sublinear Memory Cost. In ICML, pp. 4596-4604, 2018 .
 小山碧海甫立健悟 金子正弘 小町守 東京都立大学 \{koyama-aomi, hotate-kengo, kaneko-masahiro\}@ed.tmu.ac.jp komachi@tmu.ac.jp  