# 「訓練事例の影響の軽量な推定」の執筆

小林堸介 $\dagger, \dagger \dagger$

## 1 はじめに

本稿では言語処理学会論文賞をいただいた「訓練事例の影響の軽量な推定」の論文の内容を簡潔に紹介し，そのあとに本企画本旨である論文の着想や採択の経緯について述べる。原論文は筆者が社会人博士課程の中で執筆した論文であり，似た立場の読者の参考になれば幸いである.

## 2 原論文の概要

ニューラルネットワークはその挙動や仕組みがさっぱり分からないブラックボックス性で悪名高い。訓練デー夕に応じて性質が変わるが，どういうデータでどう変わるのかもやはり非自明である。そこをなんとかこじ開けて理解する手段を与えるのが原論文である．具体的には「もしもある1つの訓練データを除いて訓練していたとしたら，モデルの予測はどう変わっていたか」なる反実仮想的な推定に取り組んでいる。ナイーブにこの分析を行うとすると，訓練デー タセット $(D)$ からある 1 つのデータを実際に抜いたデータセット $(D \backslash\{(x, y)\})$ を作成し，それぞれでモデルを訓練して比較する必要がある。しかし, 全データで実施すればモデルの訓練や保存のコストは非現実的なものになってしまう。そこで本研究では，たった 1 つのモデルを 1 つの訓練データセットで 1 度だけ訓練するだけで全データの分析を行えるような極めて効率的な方法を提案した．提案法はニューラルネットの訓練中にランダムなパターンで重みパラメー タをゼロにする dropout (Srivastava et al. 2014)を応用した。ニューラルネットは各訓練事例での推論結果の勾配によって学習を行うが，dropout された重みは勾配もゼロになり，その回では全く更新されない，提案法では，各訓練事例ごとに固定パターンの dropout で訓練を行う. すると，無視された側のパラメータはその訓練事例を直接見ないままに訓練を終えることになる。この「見ない」サブネットワークは一度の訓練で全事例について用意できる。よって，事例ごとの「見た」サブネットと「見ない」サブネットの予測を比較することで解析を全事例に行うことができる。詳細は原論文や関連英語論文 (Kobayashi et al. 2020) を参照してほしい.


Training on $z$

(exposed to $z$ )

図 1 提案手法. 各事例に更新されるサブネット $f^{m(z)}$ と更新されないサブネット $f^{\widetilde{\boldsymbol{m}}(z)}$ を生成する.

## 3 着想から採択まで

## 定義文による汎用言語理解

博士後期課程は 2018 年 10 月から始まり，はじめは大きく異なるテーマに取り組んでいた.当時の Slack¹にも懐かしい記述が見つかる。例えば，当時はそのテーマの言語化として

目標：ある言語表現をうけとり，それが内包的に指し示す言語表現群を識別する分類器

例: 「何かを命令している文」という文をうけとり，「これやって!!」どの文やフレーズに対して発火できる高性能な分類器を自動生成する

とまとめていた。ある説明文が指し示す「文集合」を理解させたいということであり，平たく言えば，夕スクの定義文さえ与えたら新規の訓練いらずでそれが解ける汎用的なゼロショット言語理解モデルを目指していた。もしあったら自分でも嬉しくで世界も変わりうるだろう 3 と考え，実利とロマンの第一歩を踏み出した，さて，実現しょうと幾つかのアプローチ4を試みていったものの，結果は芳しくなかった，多少は楽しめる結果であり，そのままやれば論文の及第点に届く気もした．されど，当初描いた「あらゆるタスクが解ける」からは程遠く，技術的には手法も凡庸で面白みに欠けていた。さらに悪いことに，思いついた中でも最も有望だったアプローチこそが同時に最も凡庸で面白くないと感じていた。この板挟みにやる気をなくし，ついにはこのテーマをやめてしまった。その最も有望で最も面白くないアプローチこそ，今では王道の「大量のコーパスで言語モデルをひたすら訓練する」ことであった.「あらゆるタスクが解ける」という夢もまた GPT-2, 3 を皮切りにして今も急速に発展している. 当時は最適なアプローチだとは確信しつつも, これほどの道がすぐそこに広がっていると想像できていなかっ


た.その姿をわくわくと期待できていたら，退屈もなしに進めていけたかもしれない．実現性を信じる気持ちも想像力同様に重要なのだと今では実感している.

## 研究の研究

1 つ断念したあとは長く次が決まらなかった．教師なしで文の抽象化と具体化を行える生成モデルだの，言語モデルの確率分布の非人間的な挙動だの ${ }^{5}$, あれこれに面白いとは感じつつも大きく踏み出すことはなかった6 6 あてなく興味を持った言語系の本を読んたり，なにを研究すべきかの内省のために研究にまつわる本を読んだもした．内容への賛否に関わらず，自分の外の意見との対話を通して物事を考えるというのは，一人で思い悩むよりもずっと健全で優良な結果につながると思われる。なお,「研究」本としては (金出 2012; 丸山 2019; 暦本 2021) などがおすすめである。「言語」本では (Taylor 2017) が面白かった。この頃は苦悩の時間ではあるものの，悩みと探索の過程もまた研究の醍醐味と考えて穏やかに受け入れて過ごした。

## 文の総称性

さて, 時は過ぎて 2019 年 5 月末, 言語モデルの学習に総称性 (genericity) の概念を導入する, という新たなアイデアに思い至った。言語モデルはコーパス上の各単語を予測できるよう強制されていく，各文脈や各単語を平等に刷り込まれていく，しかし，限られたコーパスから効率的に言語の確率を学習するコツはないだろうか. 例えば, 「I eat a pumpkin on Oct.」「We eat a pumpkin on Oct.」「People eat a pumpkin on Oct.」の 3 文は $\{$ I, We, People $\}$ という主語だけが異なっているが，言語モデルの学習には「I」分に比べて「We」文や「People」文のほうが学習に役に立つ（べきな）のではないか, という仮説である。コーパスは, 言語の文法, 単語の意味, 世界の知識, そういった複数の情報を折り重ねて表示している。言語の構成的な仕組みのみならず，その「世界の知識」もまた単語の出現確率に大きな影響を及ぼす要素である。詠み人知らずの正体不明 1 インスタンス「I」に関する知識と, 人類全体や特定の集団を指示しやすい「We」「People」に関する知識とを比べると, 後者の方が未知のテキストでも役に立つ汎用的な知識であるように感じる。そうして，このような「ある集団や種の一般的な特性や習慣へ言及する文」(総称文) を判定することで，言語モデルをより効率的かつ節度ある形 7 に学習するというテーマを思いつき，やっとのことで取り組み始めた.


## 訓練事例の影響の軽量な推定

再度，言うは易く行うは難し。やはりどうしたら実現できるかは悩ましい. meta learning を勉強したり，再び書籍を読んだり，押したり引いたりの模索をしていた，研究のペースを上げる必要性も感じ始めた。そこで, 余っていた休暇を使って業務の出勤日を減らし, 気分転換と集中のために 1 ヶ月ほど仙台に滞在した 8 . 部屋に籠もりラボに通いカフェで休みの仙台生活を満契していると，一週間もしないうちに本研究のアイデアにたどり着いた. 毎日朝起きてから寝るまでずっと向き合える余裕のある環境 ${ }^{9}$ が大いに役に立ったといえる．総称文の表現自体にこだわるとかえって難しそうに感じ，より広い枠組みの問題として考え直し始めた。一般的な法則性を持たない事例であればあるほど，その事例で学習しないことには予測が難しいはずである。 そして，それが真であれば，ある事例の訓練の有無による予測の変化が捉えられれば，その訓練事例がどれほど一般的な法則性を持つかの判定もできるはずである．ということで，その予測変化を効率的に捉える方法はないかと考え，ついには思いついた。ここまでの長話の果てにやっと論文の背中が見えたことになる。 その後, 言語モデルに限らない一般的な道具立てとして有効性を示す方向にシフトし，実験を重ねて簡潔な short paper として論文をまとめた. それを国際会議に投稿していったが，残念ながら ACL でも EMNLP でもボーダーライン近くの点数で落ちてしまった. 査読の内容は満足できる品質ではなく大きく気落ちしたのを覚えている．査読は打席数が大事といえど，博士課程修了を考えると早めに採択が欲しくなる．特に論文誌が要件に入っていたこともあり，テンポよくワークショップと本論文誌に投稿する方針へ切り替えた。計算量やデータの効率性がコンセプトのワークショップ SustaiNLP 2020 に投稿して無事採択された．驚くべきことに SustaiNLP の査読は本会議よりもはるかに質が高かった10. まともな批判が書いてあったことも嬉しく, やっと研究が認められたと感じた. そして,加筆修正とともに本論文誌に投稿し, 照会後判定を経て採択となった. 論文誌における査読も丁寧で，右肩上がりの気持ちいい投稿となり，最終的には賞までいただりこととなった.

## 4 おわりに

今回は長い旅路の割には業績の生産性がいいわけでもなく, 典型的に成功とされるトップ国際会議への採択にも至らなかった。思いを馳せた汎用的な言語理解や言語モデルや総称性の姿もほぼ消えている。しかし, それらの迷走なしには本研究にはたどり着けなかったたろう，紆余曲折の辛酸も今回の受賞で一層薄めることができた. 賞選考ならびに本記事執筆の機会をくださった編集委員の方々に深く感謝する。本稿執筆に関しても助言をいただいた東北大学の横
^{9} \mathrm{http}: / /$ paulgraham.com/top.html

10 名のしれた研究者が查読者になりやすいことや査読負荷の軽さが功を奏したのかもしれない.
}
井祥氏にも感謝する。その他にも並行していた共著研究 (Saito et al. 2020; Ouchi et al. 2020, 2021; Takase and Kobayashi 2020; Kiyono et al. 2021; Arakawa et al. 2022)11の楽しみも精神的な支えになった，全共著者にも感謝の意を表する．最後に，今後も自ら愛せる「もしもこんなことができたなら」の研究を進め，その営み自体の酸いも甘いも楽しんでいきたい.

## 参考文献

Arakawa, R., Yakura, H., and Kobayashi, S. (2022). "VocabEncounter: NMT-powered Vocabulary Learning by Presenting Computer-Generated Usages of Foreign Words into Users' Daily Lives." In CHI 2022.

Hatori, J., Kikuchi, Y., Kobayashi, S., Takahashi, K., Tsuboi, Y., Unno, Y., Ko, W., and Tan, J. (2018). "Interactively Picking Real-World Objects with Unconstrained Spoken Language Instructions." In ICRA 2018.

金出武雄 (2012). 独創はひらめかない一「素人発想、玄人実行」の法則. 日本経済新聞出版. [T. Kanade (2012). Dokuso wa Hiramekanai: "Shirouto Hasso, Kurouto Jikko" no Hosoku. Nihonkeizaishinbun Shuppan.].

Kiyono, S., Kobayashi, S., Suzuki, J., and Inui, K. (2021). "Shifted Absolute Position Embeddings for Transformers." In EMNLP 2021. arXiv preprint arXiv: 2109.05644.

Kobayashi, S., Yokoi, S., Suzuki, J., and Inui, K. (2020). "Efficient Estimation of Influence of a Training Instance." In SustaiNLP 2020. arXiv preprint arXiv: 2012.04207.

丸山宏 (2019). 新企業の研究者をめざす皆さんへ. 近代科学社. [H. Maruyama (2019). Shin Kigyo no Kenkyusha wo Mezasu Minasan e. Kindaikagakusha.].

Ouchi, H., Suzuki, J., Kobayashi, S., Yokoi, S., Kuribayashi, T., Konno, R., and Inui, K. (2020). "Instance-based Learning of Span Representations: A Case Study through Named Entity Recognition." In ACL 2020. arXiv preprint arXiv:2004.14514.

Ouchi, H., Suzuki, J., Kobayashi, S., Yokoi, S., Kuribayashi, T., Yoshikawa, M., and Inui, K. (2021). "Instance-Based Neural Dependency Parsing." In TACL 2021. arXiv preprint arXiv:2109.13497.

暦本純一 (2021)．妄想する頭思考する手想像を超えるアイデアのつくり方． 祥伝社. [J. Rekimoto (2021). Moso suru Atama Shiko suru Te Sozo wo Koeru Aidea no Tsukurikata. Shodensha.].


Saito, M., Saito, S., Koyama, M., and Kobayashi, S. (2020). "Train Sparsely, Generate Densely: Memory-Efficient Unsupervised Training of High-Resolution Temporal GAN." International Journal of Computer Vision, 128 (10), pp. 2586-2606.

Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., and Salakhutdinov, R. (2014). "Dropout:

A Simple Way to Prevent Neural Networks from Overfitting." Journal of Machine Learning Research, pp. 1926-1958.

Takase, S. and Kobayashi, S. (2020). "All Word Embeddings from One Embedding." In NeurIPS 2020. arXiv preprint arXiv:2004.12073.

Taylor, J. R. (2017). メンタル・コーパス一母語話者の頭の中には何があるのか. くろしお出

版. [J. R. Taylor (2017). Mentaru Kopasu: Bogowasha no Atama no Naka niwa Nani ga Arunoka. Kuroshio Shuppan.].

## 略歴

小林颯介：2016 年株式会社 Preferred Networks 入社. 2021 年東北大学情報科学研究科博士後期課程修了. 同年より東北大学デー夕駆動科学・AI 教育研究センター学術研究員.