# 百聞は一見に如かず？視覚情報は言語モデルに文の階層構造を教示するか

栗林 樹生
東北大学 Langsmith 株式会社
kuribayashi@tohoku.ac.jp

## 概要

巨大言語モデルの進展が著しい反面，人間の言語獲得と対照すると言語モデルのデータ効率の悪さが 強調される. 本研究では，なぜ人間の言語獲得が効率的なのかという問いを，人間と言語モデルの言語獲得シナリオのどのような差異を埋めると両者の乘離が縮むかという問いに読み替え，特に人間のみが 言語獲得時に活用し得る視覚情報の寄与を調査す る. 少なくとも本実験の範囲では，言語的な事前知識のない学習者（ニューラルモデル）がリアルな画像・文対から言語の適切な汎化規則を支持する手が かりを見出すことは容易でなく，単なる視覚情報の 有無のみでは，人間と言語モデルの言語獲得効率の 差異を説明できないことが示唆された。

## 1 はじめに

巨大言語モデルが進展を遂げた一方，人間の言語獲得効率の良さが対照的に強調されている. 例えば GPT-3 [1] は，人間が 10 歳までに享受する言語刺激 のおよそ 2000 倍のデータで学習されており [2], 非常に単純な計算では人間の 20,000 年分の学習に匹敵する。それではなぜ人間は言語獲得のデータ効率 が良いのだろうか？本研究では，この問いを言語モ デルと人間のどのような差異を埋めることで両者の 言語獲得効率の乘離が縮まるかという問いに読み替 え，効率的な言語獲得が実現される十分条件につい て計算機上での概念実証を目指す.

本研究では特に, 記号接地 [4] や身体性 [5] の問題に関連する視覚情報の影響に焦点を当てる. 通常人間は，言語モデルと異なり，言語獲得中に視覚情報を利用でき，効率的な言語汎化に貢献している可能性がある. 実験では主語・動詞の数の一致を手が かりに，言語の階層的な汎化の達成に視覚情報が寄与するかを検証する（図 1).なお近年の視覚・言

図 1 実験の概要. 文に対応する視覚情報が，汎化規則の曖昧なデータの下での言語の階層的規則獲得を促進するか調査する。なお図中の画像は，例示のために DALL-E [3] で生成したものである.

語処理では大規模モデルの開発が盛んであるもの の [6,7], 言語と視覚の相互作用に関する言語科学的な分析や学習過程の分析は限られている $[8,9]$.

リアルなキャプションデータを用いた実験では，文に対応する静止画像を単にモデルに入力するだ けでは, 言語の階層的汎化は促されないことが観察 された。一方，問題を抽象化・簡略化した人エデー タを用いた実験では，言語の階層的な汎化に対する 視覚情報の著しい寄与が確認された. この設定では データの偏りやキャプションに関係のない視覚情報 は捨象されており，閉じた世界の中で学習者が視覚情報の適切な抽象化をできた状況を想定している。

少なくともリアルなデータを用いた今回の実験か らは，言語的な事前知識を持たない学習者（ニュー ラルネット）が，静止画像と文の対から自然言語の
表 1 画像キャプションペアの例. AmBIG. データでは，動詞に対応する主語と動詞に最も近い名詞の数が同じであり， DISAmBIG. データでは両者の数は異なる. AMBIG. データが大部分を占める学習データでモデルを訓練し，そこで学習さ れた規則を DisAmbiG. データを用いて峻別する. 表中の画像は作成したデータセットから抽出したものである.

適切な規則性を見出すことは容易でないこと，人間 と言語モデルの学習効率の違いは単なる視覚情報の 有無のみでは説明できないことが示唆された. 一方人工データの結果を踏まえると，(i) 視覚情報を適切 に抽象化する特別な視覚・言語能力を学習者に仮定 できれば，視覚情報が言語獲得に良い影響を及ぼす 可能性があることや，(ii) 実験で用いた事前学習済 み画像エンコーダでは, リアルな画像から言語獲得 に影響を及ぼすような視覚情報の抽出・抽象化がで きていない可能性なども強調された.

## 2 背景

一般に，有限のデータから未知のデータへ汎化す る際に汎化規則は一意に定まらず，規則の選択はモ デルの帰納バイアスに左右される [10]. 言語獲得に おいても，幼坚が限られた言語刺激から適切な（階層的な）汎化を達成する現象を説明するには，学習者の強力な帰納バイアスが必要であると主張されて きた $[11,12]$. 一方，通常のニューラルモデルでは，表層的手がかりの利用や言語的に妥当な汎化を完全 に達成できないなどの人間らしくない学習傾向が あり $[13,14,15,16,17]$, 分野全体の問題として認知 されている。またこのバイアスを覆すために大量の データが必要であることも指摘されている $[14,15]$.

汎化を導く帰納バイアスとしては，学習者の性質 に由来するもの（生得的要因）と, 学習データなど の学習環境に由来するもの（環境的要因）が想定さ れ, 本研究では視覚情報の有無という環境的要因の 影響を，計算機シミュレーションのもと調査する。言語理解における視覚情報の重要性は長らく説かれ ているものの [18], (人工知能の) 言語獲得の視点で は，適切な言語知識なしに視覚情報を与えても，む
しろ表層的な疑似相関などの可能性が増え問題が過度に複雑になるといった批判もあり [19,20], 視覚情報が言語学習にどのような影響を与えるかは自明 でない。なお図 1 のような線形・階層的な規則の対立において，人間が階層的汎化を好むことは心理実験などで検証されてきた $[21,22]$. また，ニューラ ルモデルを用いた計算言語学的な検証は条件を統制 しやすいなどの利点をもち，人間を直接観察する方法論と相補的な役割を果たしてきた $[23,12,24]$.

## 3 問題設定

概要を図 1 に示す. 主語と動詞の数の一致の観点 から，線形的・階層的規則両方に整合するキャプ ションデータのもとでキャプション生成モデル（視覚情報が利用可能な言語モデル）を訓練し，視覚情報の有無で言語の汎化傾向が変わるかを調べる．視覚情報のもとでは, 階層的規則に整合する動詞の数 を選ぶ問題は，典型的にはその動作をしているもの が 1 つかそれ以上かを数える問題となり（表 1)，視覚情報により階層的規則に紐づく特徵量がより顕在的になる可能性がある1).

## 3.1 データ

既存の画像キャプションデータを収集したリアル なデータと，人工的に統制されたデータを用い，相補的な検証を行う．既存研究では人工コーパスでの 実験が主流であり [16], 視覚モダリティを追加した とともにリアルなデータと人工的なデータで結果を 比較したことも本論文の貢献である。

自然画像キャプション: Conceptual captions コーパ ス [27] から，以下を満たすデータを抽出した：

1）言語学的な数が，いわゆるものの数に必ずしも一致しない ことは指摘されており，議論の余地はある $[25,26]$.

・キャプションに主語・述語が存在する 2$)$

・キャプションの主語が family, pair of など単複判断の難しい集合名詞・表現でない

・キャプションに文法誤りがない3)

これらのうち，主動詞の数と直前の名詞の数が同一 である，線形的・階層的規則を峻別できないデータ (AmBIG.) と, 主動詞の直前の名詞と同士の数が異な る，階層的規則を支持するデータ (DisAmBIG.) に分 けた (表 1). DisAmbig. のような階層性を明示する データは実際の言語刺激において非常に少ないとい う議論（刺激の貧困） $[28,21]$ をもとに，本研究で は Ambig. データと DisAmbig. データが 100:1 になる ように学習データ（計 352,359 画像キャプションペ ア）を作成した ${ }^{4)}$. 残りの DisAmbig. データ $(1,269$ ペア）を評価データとした。

人エ画像キャプション: NUM1 COLOR1 SHAPE1 with NUM2 COLOR2 SHAPE2 VP というテンプレートから文 と画像をルールで生成した（付録 A). 表 1 に例を 示す. VP の主語は SHAPE1 であり, 画像中ではVP と SHAPE1 オブジェクトが近接し, 文中では数（屈折） が一致している。この設定では少なくとも，自然な データがもつ以下の性質を捨象している：
- 単語や画像の特徵に関するクラス不均衡性・多 クラス性・クラスの開放性

・着目すべき対象以外の視覚情報（背景など）

-ものや動作の呼び名と視覚特徴間の多対多関係
- 動作主と動作の視覚的に自然な構成（「人が走 る」画像では，本来人の姿勢が変わるべきだが，本データでは「走る」を示す画像を「人」の画像に重ねるようなアプローチをとっている)

上で述べた手続き同様, 数の一致から AMBIG. デー タと DisAmbiG. データに分け，100:1 で混ぜたもの を学習データ (16,500 ペア), 残りの DisAmBIG. デー タを評価データ（11,300 ペア）とした.

## 3.2 評価

評価データにおいて，動詞の数のみが異なる $2 \supset$ のキャプションを用意し (例えば，a red circle with three black circles plays/play a soccer), 対応する画像を 入力したもと, どちらのキャプションに高い生成確率を付与するかを観察する。階層的規則に整合する


キャプションを正解とし，二值分類問題としてモデ ルの選好を Macro F1 值で評価した。キャプション 生成能力の目安として，開発用データ5)で ROUGE-L F1 值 [29] ${ }^{6)}$ も計算した. また言語獲得効率に関心が あるため，学習初期ステップでの値も報告する.

## 3.3 モデル

Transformer 系列変換モデルを用いる [30]. ただ し入力が画像，出力が文となるキャプション生成 モデルであり，エンコーダには Vit [31] などの事前学習済みエンコーダを，デコーダには GPT-2 small （124M） [32]アーキテクチャに交差アテンションを 追加したものを採用する7) . 直観的には，交差アテ ンションを通して視覚情報にアクセス可能な（文レ ベル）言語モデルである．視覚情報を与えない設定 では学習・推論時共に無情報なノイズ画像を入力す る. ゼロからの言語獲得シナリオを想定し, デコー ダは初期化して学習を始めた. また，交差エントロ ピー誤差でモデルを訓練する。

エンコーダの初期値・構造として，大きさの異な る 3 つの Vit (base/large/huge) [31] と, Beit (base) [33], Deit (base) [34], Swin (base) [35] の計 6 種類を試し, モデル横断的な結論の一般性を検証する (付録 B).参考として，画像エンコーダを Vit-base にした上で パラメータ初期化した設定 (Scratch) と，デコーダに 学習済み GPT-2 [32] を用いる設定 (Vit-GPT2) も試し た. ハイパーパラメータは付録 C に記載する。

## 4 実験・結果

各設定において異なる 2 つのシードでモデルを訓練し，いずれの指標においても平均値を報告する.自然/人工画像キャプション実験における $10,000 / 500$ ステップはおよそ 2 エポック目終了時点である.

自然画像キャプション: 画像情報の有無による階層的汎化傾向の違いを表 2 中央に示す. 学習初期にお いて，視覚情報は階層的沨化を促す方向にはあるも のの，変化は限定的であった．画像を入力とする設定では ROUGE-L F1 值は 3-40程度に達しており，画像情報が活用されていることは確認できる. また，例えば 1000 ステップ目における階層的汎化への寄与 (階層的汎化における。- 行) に着目すると, 画像エンコーダの性能指標として用いられる ImageNet

表 2 学習過程におけるモデルの階層的規則への選好 (階層的汎化 F1 值）とキャプション生成能力 (ROUGE-L F1 値). $1,000,5,000,10,000$ といった数字はパラメータ更新ステップ数を示す. 目行は視覚情報ありのモデルの性能を示す.

響を与えたことを意味する。また参考として，各画像エンコーダのパラメータ数を一列目括弧内記記載し，エンコーダ の ImageNet top-1 正解率の報告値も載せる.

} \\

正解率の高いエンコーダ（Vit-large, Swin-base）やパ ラメータ数の大きいエンコーダ（Vit-huge）が必ず しも好影響を与えているわけではなく，画像処理的 な指標で良い画像エンコーダや巨大なエンコーダ が必ずしも言語モデリングに適切なバイアスを与 えるとは限らない可能性も予想した（付録D）。な お Vit-GPT2 では, 学習初期からほぼ完全な階層的汎化を達成しており, 大規模な言語データの観察の もとでは対処可能な問題設定であった．また今回は コーパスを基に学習データへの DISAmBIG. データの $1 \%$ の混入を認めたが，この程度の混入でも最終的 に階層的汎化に選好が寄ることは確認された。また DISAmbIG. データが $0 \%$ の場合でも予備実験をして おり,この場合は線形的汎化に選好が寄り，一貫し て視覚情報の好影響は観察されなかった。

人工画像キャプション: 結果を表 2 右部に示す. 学習初期（100 ステップ）において，視覚情報が階層的汎化を顕著に促しており, 言語の階層的規則の効率的な獲得が達成された. 学習初期において, 事前学習済みエンコーダを用いた際の階層的汎化の向上幅は Scratch（+5.10）よりも大きく, 視覚的事前知識が言語の階層的汎化を促していた. なお視覚情報
のない設定でもモデルごとに性能が異なり，この設定ではエンコーダが画像処理以外の用途 (入力非依存なメモリなど [36]）で活用された可能性もある.

## 5 考察・おわりに

ニューラルモデルがリアルな画像・文対から自然言語の階層性を学ぶ手がかりを得ることは困難であ ることが示唆された. 人工画像キャプションでの対照的な結果を踏まえると，自然な画像・言語特有の 性質が視覚情報からの言語獲得を困難にしている可能性が示唆され, 言語獲得の視点からは, (i) 視覚情報は言語獲得に寄与し得るが，リアルな視覚情報 を適切に抽象化し言語と対応付ける能力を先立って 獲得しておく必要がある，あるいは (ii) 視覚情報は 言語の階層的な汎化に直接影響を与えないという仮説が導かれる．自然・人工データのどのような差異 が結論の違いに紐づくのか人工データを制御して調査する方向や，データを幼児の言語獲得シナリオに 近づける（絵本など）方向，韻律情報など他のモダ リティを取り入れる方向などは今後検討している. また本研究は自然言語処理, 画像処理, 計算心理言語学の 3 領域をまたぐ学際研究として意義がある.

## 謝辞

日頃から助言いただいた乾健太郎先生，鈴木潤先生，原稿に助言いただいた小林悟郎氏をはじめ Tohoku NLP グループの皆様に感謝申し上げます. YANS 2022 にてコメントをくださった皆様にも感謝 いたします. 本研究は，JST，CREST，JPMJCR20D2 の支援を受けたものである.

## 参考文献

[1] Tom B Brown, et al. Language Models are Few-Shot Learners. In Proceedings of NeurIPS.

[2] Alex Warstadt and Samuel R Bowman. What artificial neural networks can tell us about human language acquisition. Algebraic Structures in Natural Language, p. 17, 2022.

[3] Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, and Ilya Sutskever. Zero-Shot Text-to-Image generation. Technical report, February 2021.

[4] Deb Roy and Ehud Reiter. Connecting language to the world. Artificial Intelligence, Vol. 167, No. 1-2, pp. 1-12, September 2005.

[5] Lawrence W Barsalou. Grounded cognition. Annual Review of Psychology, Vol. 59, pp. 617-645, 2008.

[6] Jean-Baptiste Alayrac, et al. Flamingo: a visual language model for Few-Shot learning. arXiv:2204.14198, April 2022.

[7] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, and Mark Chen. Hierarchical Text-Conditional image generation with CLIP latents. arXiv:2204.06125, April 2022.

[8] Alexander Ororbia, Ankur Mali, Matthew Kelly, and David Reitter. Like a baby: Visually situated neural language acquisition. In Proceedings of ACL.

[9] Tristan Thrush, Ryan Jiang, Max Bartolo, Amanpreet Singh, Adina Williams, Douwe Kiela, and Candace Ross. Winoground: Probing vision and language models for visio-linguistic compositionality. In Proceedings of CVPR, pp. 5238-5248, 2022.

[10] Tom M Mitchell. The need for biases in learning generalizations.

[11] Noam Chomsky. Rules and representations. Behavioral and Brain Sciences, Vol. 3, No. 1, pp. 1-15, March 1980.

[12] R Thomas McCoy, Robert Frank, and Tal Linzen. Revisiting the poverty of the stimulus: hierarchical generalization without a hierarchical bias in recurrent neural networks. Proceedings of Cogsci, 2018

[13] Morten H Christiansen and Nick Chater. Toward a connectionist model of recursion in human linguistic performance. Cognitive Science, Vol. 23, No. 2, pp. 157-205, 1999.

[14] Alex Warstadt and Samuel R Bowman. CAN NEURAL NETWORKS ACQUIRE a STRUCTURAL BIAS FROM RAW LINGUISTIC DATA? In Proceedings of Cogsci, 2020.

[15] Alex Warstadt, Yian Zhang, Xiaocheng Li, Haokun Liu, and Samuel R Bowman. Learning which features matter: RoBERTa acquires a preference for linguistic generalizations (eventually). In Proceedings of EMNLP.

[16] R Thomas McCoy, Robert Frank, and Tal Linzen. Does syntax need to grow on trees? sources of hierarchical inductive bias in Sequence-to-Sequence networks. TACL, Vol. 8, pp. 125-140, 2020.

[17] Tom McCoy, Ellie Pavlick, and Tal Linzen. Right for the wrong reasons: Diagnosing syntactic heuristics in natural language inference. In Proceedings of ACL.

[18] Emily M Bender and Alexander Koller. Climbing towards NLU: On meaning, form, and understanding in the age of data. In Pro- ceedings of ACL.

[19] Lila R Gleitman and Henry Gleitman. A picture is worth a thousand words, but that's the problem: The role of syntax in vocabulary acquisition. Current Directions in Psychological Science, Vol. 1, No. 1, pp. 31-35, February 1992.

[20] Emmanuel Dupoux. Cognitive science in the era of artificial intelligence: A roadmap for reverse-engineering the infant languagelearner. Cognition, Vol. 173, pp. 43-59, 2018.

[21] Julie Anne Legate and Charles D Yang. Empirical re-assessment of stimulus poverty arguments. The Linguistic Review, Vol. 19, No. 1-2, pp. 151-162, June 2002.

[22] Stephen Crain and Mineharu Nakayama. Structure dependence in grammar formation. Language, Vol. 63, No. 3, pp. 522-543, 1987.

[23] M W Crocker. Computational psycholinguistics. Computational Linguistics and Natural Language, 2010.

[24] J D Lewis and J L Elman. Learnability and the statistical structure of language: Poverty of stimulus arguments revisited. Proceedings of the 26th annual Boston University, 2001.

[25] Benjamin Spector. Aspects of the pragmatics of plural morphology: On Higher-Order implicatures. In Uli Sauerland and Penka Stateva, editors, Presupposition and Implicature in Compositional Semantics, pp. 243-281. Palgrave Macmillan UK, London, 2007.

[26] Eytan Zweig. Number-neutral bare plurals and the multiplicity implicature. Linguistic Philosophy, Vol. 32, No. 4, pp. 353407, August 2009

[27] Piyush Sharma, Nan Ding, Sebastian Goodman, and Radu Soricut. Conceptual captions: A cleaned, hypernymed, image alt-text dataset for automatic image captioning. In Proceedings of ACL.

[28] Noam Chomsky. Problems of Knowledge and Freedom: The Russell Lectures. New York: W.W. Norton, 1971.

[29] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Proceedings of text summarization branches out, pp. 74-81, 2004.

[30] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of NIPS, pp. 59986008, 2017.

[31] Alexey Dosovitskiy, et al. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In Proceedings of ICLR, 2020.

[32] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language Models are Unsupervised Multitask Learners. Technical report, OpenAI, 2019.

[33] Hangbo Bao, Li Dong, Songhao Piao, and Furu Wei. Beit: Bert pre-training of image transformers. In Proceedings of ICLR, 2021.

[34] Hugo Touvron, Matthieu Cord, Matthijs Douze, Francisco Massa, Alexandre Sablayrolles, and Herve Jegou. Training data-efficient image transformers \& distillation through attention. In Marina Meila and Tong Zhang, editors, Proceedings of ICML, Vol. 139, pp. 10347-10357. PMLR.

[35] Liu, Lin, Cao, Hu, Wei, Zhang, Lin, and Guo. Swin transformer: Hierarchical vision transformer using shifted windows. In Proceedings of ICCV.

[36] Mor Geva, Roei Schuster, Jonathan Berant, and Omer Levy. Transformer Feed-Forward layers are Key-Value memories. In Proceedings of EMNLP

[37] Ekin D Cubuk, Barret Zoph, Jonathon Shlens, and Quoc V Le. Randaugment: Practical automated data augmentation with a reduced search space. In Proceedings of CVPRW, pp. 702-703. IEEE, June 2020

[38] Xiaohua Zhai, Alexander Kolesnikov, Neil Houlsby, and Lucas Beyer. Scaling vision transformers. In Proceedings of CVPR, pp. 12104-12113, 2022.

## A 人工画像キャプションの生成

以下のようにテンプレートから文を作成した.

a lime circle with two red triangles runs

NUM1 COLOR1 SHAPE1 with NUM2 COLOR2 SHAPE2 VP

対応する画像を表 1 の例のように自動生成した. 各記号に対応す る語彙と対応する画像オブジェクトを表 3 に示す. NUM2 COLOR2 SHAPE2 オブジェクトは各 NUM1 COLOR1 SHAPE1 オブジェクトの 上部に小さく配置し，VP オブジェクトはNUM1 COLOR1 SHAPE1 オブジェクトの中央下部に配置している. 色の重複を防ぎ，計 $3 \times 3 \times 5 \times 4 \times 4 \times 4 \times 10=28,800$ 種類の画像を生成した $(16,500$ 学習データ，1,000 開発データ，11,300 評価データ).

表 3 人工画像キャプション作成時の語彙と画像特徴

## B 画像エンコーダ

各画像エンコーダの性質を簡潔に説明する. ImageNet-21k(22k) の上で訓練されたモデルを用い，解像度は $224^{2}$ ，パッチサイズ は16（に近いもの）に統一している.

Vit [31] 画像を分割したパッチをトークンと みなしてエンコードする．以下の実装を用いた：https： //huggingface.co/google/vit-base-patch16-224-in21k, https: //huggingface.co/google/vit-large-patch16-224-in21k,

https://huggingface.co/google/vit-huge-patch14-224-in21k.

Beit [33] Vit は画像分類タスクで学習されているのに対し， Beit では画像上でマスク穴埋め形式の自己教師あり事前学習を する。また，絶対位置埋め込みを用いるVit とは異なり，相対位置埋め込みを用いている。実装は, https://huggingface.co/ microsoft/beit-base-patch16-224-pt22k-ft22kを用いた.

Deit [34] 特殊な知識蒸留法によって，モデルサイズと訓練 コストを削減した．実装は，https://huggingface.co/facebook/ deit-base-distilled-patch16-224を用いた

Swin [35] 異なる粒度で画像のパッチ分割を行い，局所的な処理を適用することで計算コストを抑えつつ，画像の 階層的な特徴量を抽出する. 実装は, https://huggingface.co/ microsoft/swin-base-patch4-window7-224-in22kを用いた.

## C ハイパーパラメータ

全モデル共通のハイパーパラメータを表 4 に示す. エンコーダ のハイパーパラメータは対応する huggingface モデルの設定に従 い，ドロップアウト率のみを上書きしている．画像を提示する設定では，過学習を防ぐため学習画像に対し随時 RandAugment [37] を適用し，更に $20 \%$ の確率で実際の画像をノイズ画像に置き換え た. パラメータの固定はしていない.

表 4 共通のハイパーパラメータ

 \\

## D 画像エンコーダのスケーリング

画像エンコーダに関して, ImageNet 画像認識性能についてス ケーリング則が報告されている [38]. ImageNet での画像認識性能と階層的汎化の促進度に単調な関係がないことから，言語モデ ルに階層的なバイアスを与える画像エンコーダはスケーリング の結果得られるとは限らないことが予想された. なお本文では 言及していないが，Beit-large, Swin-large, Deit-small, Deit-tiny でも 実験をしており，より幅広い画像認識性能を持つエンコーダ間 で傾向を比較した。傾向を図 2 に示し，画像認識性能が良いエン コーダほど，言語の階層的な汎化を促すとは限らない.

図 2 自然画像キャプションデータでの学習 1000 ステッ プ目における，画像エンコーダの ImageNet top-1 正解率と 階層的汎化 $\mathrm{F} 1$ 值の向上度合いの関係. 各点は各訓練試行 に対応し，計 20 試行 $=\{$ 画像エンコーダ 10 種 $\times 2$ シード $\}$ の結果である。
 栗林 樹生 東北大学 Langsmith 株式会社 kuribayashi@tohoku.ac.jp  