# 算術問題におけるニューラルモデルの構成的推論能力

工藤慧音 1 青木洋一 1 栗林樹生 ${ }^{1,2}$ Ana Brassard ${ }^{3,1}$
吉川将司 1 坂口慶祐 1,3 乾健太郎 1,3
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所
\{keito.kudo.q4, youichi.aoki.p2 \}@dc.tohoku.ac.jp
\{kuribayashi, yoshikawa, keisuke.sakaguchi, kentaro.inui\}@tohoku.ac.jp
ana.brassard@riken.jp

## 概要

未知の問題への汎化を達成する上で，問題の構成要素を捉え既知の知識を組み合わせる能力が重要と なる.しかし，近年の言語モデルがどの程度構成性 を捉えられているかは記号推論の文脈ではまだ明ら かでない. そこで本研究は, 多段算術記号推論デー タセットを用いた実験を行い，構成的推論能力の検証を行なう，具体的には，問題の複雑さを整理した スキルツリーを定義し統制的に分析する. 実験の結果，言語モデルは体系性の習得が最も困難であり，単純な数式の組み合わせに対する汎化でさえ難し かった. また追加の分析から, 入力系列に書かれな い知識へのアクセスが必要な問題で, 体系性に対す る汎化が特に困難である明らかとなった。

## 1 はじめに

近年，ニューラルモデルに関する技術の発展によ り機械による自然言語理解は大きく進歩し, 多くの タスクがニューラルモデルによって解決されるよう になってきた. しかし, 言語処理を行う上で必要な 要素の 1 つである記号推論能力のニューラルモデル との融合については，重要な目標の 1 つとして $[1,2]$調査が進行中である [3]. 現状，ニューラルモデル がどの程記号推論を実現については相反する結果が 報告されている．例えば，ニューラルモデルが多段推論をある程度解くことができると報告する研究も ある一方 [4], 単純な記号演算を行うことさえ困難 であるとするものも存在し [5], どのような観点・条件において, どの程度の推論が実現可能なのかと いった統制的な分析が必要とされている.

本研究では，多段算術記号推論データセットを用 い，問題の複雑さを制御しながらニューラルモデル の多段推論能力を評価する. 特に，未知の問題への

図 1 算術記号推論における構成性の種類

汎化の際に重要となる構成性に焦点を当てて分析を 行う. 具体的には, 図 1 に示すように，(i) 体系性, (ii) 生産性，(iii) 代入可能性という3 3つ構成性を軸 として調査を行い, 単純な問題設定で学習したモデ ルが，そこで学習した要素を組み合わせ一段複雑な 問題を解けるかという，言語モデルの構成的な汎化性能を評価する。

モデルの能力を系統的に調査するために, 図 2 に示すように, 算術記号推論の複雑さを階層的に 定義した構成性に関するスキルツリーを導入する. (スキルツリーは教育学の分野において，段階的な 学習過程を可視化するための手法を示す用語であ る [6]. )この階層を足がかりに，ニューラル言語モ デルの構成的なの限界を明らかにする。主な実験結果は以下の通りである.
- 3 種類の構成性の中で体系性への汎化が最も困難であり, 比較的単純な組み合わせであっても 汎化を達成することが困難である。
- 特に, 入力系列中に明示されていない知識を要 する問題において体系性に対する汎化への困難度が増す。

・本実験の範囲では，途中の推論過程をモデルに 学習させた場合であっても, モデルが体系性を 捉えることは困難であった.

## 2 問題設定

典型的な記号推論（手続き型プログラミング言語，アセンブリ言語など）は，少なくとも3つの基本的な記号操作，代入 $(\mathrm{a}=2)$, 算術演算 $(1+2)$, 参照 (a=?) で構成される. そこで，これら 3 つの基本演算を組み合わせた以下のような多段算術推論問題を 解くことを目標とする。

問題： $A=1, B=2, C=A+2, C=$ ? 答え： 3

最後に特定の変数に代入されている値を問われ る. 答えは必ず一意に定まり，問題設定によって は，最後の問いに直接関わらない数式が含まれる. また，問題は以下の 5 種類の基本的な数式を並べ合 わせることで生成される：(i) $A=1$ （代入），(ii) $A=B$ (参照\&代入), (iii) $A=1+2$ （演算\&代入), (iv) $A=B+2$ (演算\&代入\&参照，参照)，(v) $A=$ ? (参照).

このような算術推論データセットでは，問題文中 の数や推論の複雑さを自由に制御することが可能で あり，統制した実験を行うために適している。自然言語でのモデルの推論能力評価という視点からは,自然言語の表現の多様さといった難しさとは切り分 けて，純粋な算術推論能力を調査する試みと見るこ とができる. また, 本研究で考える算術推論の問題 は，DROP [7] に見られるような自然言語の算術推論問題に自然に変換することが可能である.

## 3 算術推論におけるスキルツリー

## 3.1 多段記号推論における構成性

構成的な汎化を体系性，生産性，代入可能性の 3 つの軸に分解する [8]. これらの軸を基準として， ニューラル言語モデルがどの程度構成に対する汎化 を達成できているかを評価する。

体系性 (systematicity) は，既知の異なる概念を組 み合わせてより複雑な概念を理解する能力であ る.この能力を評価するため, 初めに，数種類 の基本的な処理 (例: 加算 $A=1+2, A=$ ? や選択参照 $A=1, B=2, B=$ ?) の学習を行う. その後, 学習した基本的な処理の組み合わによって構成される問題（例 : $A=1+2, B=2+3, B=$ ?) における性能を測定する.

生産性 (productivity) とは既知の短い問題の解き方 をもとにして，より長い問題や複雑な問題を理解す る能力のことである。この能力を評価するため，初 めに, 短い数式 (例: $A=1+2, B=2+3, B=$ ?) でモデルの学習を行う. その後, 同様の問題形式のより長い問題

図 2 構成的な汎化能力を評価するためのスキルツリー.事前学習に利用した基本演算は灰色，WA を計算するため のファインチューニング用いたデータは水色で示してい る. 各辺に示した“sys” (=体系性) “prod” (=生産性) はそ れぞれ，増加する複雑さの種類を表している。

(例: $A=1+2, B=2+3, C=3+4, C=$ ?) を解いたときの性能 を測定する。

代入可能性 (substitutivity) は，問題中の特定の構成要素が他の (見たことがない) 構成要素に置き換 わった場合であっても，変わらず推論を行うことが できる能力である.この能力を評価するため，学習時に見たことがない語彙が問題文中に現れた時 に，ニューラルモデルは推論することができるかど うかを測定する．具体的には，学習時とテスト時 で問題文に用いる変数名を変えて実験を行う（例： $A=1+2, A=$ ? で学習を行い，その後 $\alpha=1+2, \alpha=$ ? を解 くことができるかを評価する）.

## 3.2 スキルツリー

記号推論の複雑さを（階層的に）整理した構成性に関するスキルツリーを導入し，組み合わせの複雑さが異なる問題を用いて段階的にモデルを評価す ることで，多段記号推論におけるニューラル言語モ デルの弱点を正確に明らかにする。

具体的には，10 種類の記号推論タスクを設計す る. 各設定の概要と設定間の階層的な関係を図 2 の スキルツリーに示す. 各頂点が複雑さの異なるタス ク設定に対応し，各辺が階層的な複雑さの増加を表 す. 各設定のデータについては，図 2 に記述された 例題と同じ式の形式で問題を作成しており，変数 (A，B など) と数字 (1，2など) のみ無作為に変更し てデータセットを作成する（詳細は Appendix C を
表 1 それぞれの設定における正解率を示している. “task” の行は各設定におけるドメイン (学習 $\rightarrow$ 評価)を表 している。それぞれのタスク設定はスキルツリー (図 2) の値に対応している. “type” の行はそれぞれの設定にお いて評価の対象としている構成性の種類 (“sys.” = 体系性 “prod." = 生産性, “subst." = 代入可能性) を表している.

参照）。いずれも，一連の記号推論の後に問われた 変数に格納された数值を出力する問題である.

## 4 実験

## 4.1 実験設定

学習とテストの設定の組み合わせを適切に選択 することにより（例えば，図 2 のタスク $1 ， 2$ を学習ドメイン，4を評価ドメイン)，モデルの構成的 な汎化能力を多面的に評価した。例えば，タスク 1 $(A=1+2, A=?)$ と $2(A=1, B=2, B=$ ? )を学習データ, タス ク $4(A=1+2, B=2+3, B=$ ? を評価データとして, 演算操作 $(a+b)$ と参照操作 ( $A=c, B=d, B=$ ?) に対してモデ ルがどれだけ汎化しているのかを評価できる。

形式的には, $\mathscr{D}_{\text {train }}=\left.\{d_{\text {train1 }}, \cdots d_{\text {traink }}\right.\}$ と $d_{\text {test }}$ がそ れぞれ学習ドメイン集合と評価ドメインを表すもの とする.ここで，「ドメイン」とは，スキルツリー (図 2) の特定の頂点に相当する.

学習設定: 学習用ドメイン $d_{\text {train }}$ の学習データと, 各学習ドメインの問題を解くのに要する基本演算 (代入, 算術演算, 参照) によって構成された学習デー
タの和集合を用いてモデルを学習する． 5 エポック 続けて検証データセットにおける正解率が上がらな い，または正解率が $100 \%$ に到達した時点で学習を 停止する.

評価設定: テストドメイン $d_{\mathrm{test}}$ のテストデータに対 する正解率を計算する．ここでは，学習の効率を測 るために, (i) ゼロショット正解率 (ZA) と (ii) 加重平均正解率 (WA) という 2 つの指標を用いた [9]. WA の測定では，テストドメイン $d_{\text {test }}$ の学習データを用 いてモデルを追加で学習し，モデルのパラメータを 更新する度に検証データにおける正解率を測定し 加重平均を算出した（詳細は Appendix A を参照の こと).

モデルと事前学習: 事前学習済みの系列変換モデル として広く使われている T5 [10] の 3 種類のサイズ （base，large，xl）を使用した. 実験は事前学習した パラメータを初期値として行った。これは，最終的 な目標は自然言語上での数量推移論 (記号推論) 問題 を解くことにあるためである.

## 4.2 実験結果

表 1 の 1 列目に示した 9 つの学習ドメインと評価 ドメインの組み合わせについて実験を行った（学習 ドメイン $\rightarrow$ 評価ドメイン)．6つの設定については 体系性に対して，残り 3 つの設定は生産性に対する 汎化性能を評価した. さらに，各設定において，訓練ドメインで用いた変数名とは異なる変数名（例え ば，Aの代わりに）を用いた評価データを用いて，代入可能性に対する汎化性能の評価を行った.

表 1 に実験結果を示した. 実験の結果以下の 4 つ の傾向が見らた.

・体系性に対する汎化は生産性に対する汎化に比 べて困難であった。
- 単純な基本演算の組み合わせ (例: $1,2 \rightarrow 4$ ) で あっても，少数の学習データからの汎化は困難 であった.

・代入可能性に対する汎化は達成できた.

・モデルサイズによって性能に (特に ZA につい て) 大きな差は見られなかった.

また，意味解析の文脈でニューラルモデルが体系性に対する汎化能力を欠くことが示唆されていた [11]. 今回の結果は算術多段推論の文脈における, この知見を裏付けるものでもある。ここで，体系性 に対する汎化を検証する設定 $(2,3 \rightarrow 5)$ に着目し，

“String” は算術演算の代わりに文字列演算を用いた場合の 結果である. “Step” は途中の推論過程を生成させた場合の 結果である.

ニューラルモデルがなぜこの設定において苦戦する のかを理解するため，この設定における複雑さを分解し，追加のモデルの性能の分析を行った.

体系性に対する汎化の難しさは算術演算に 起因するのか? 四則演算を文字列演算 (詳細は Appendix C を参照のこと) に置き換え，その他は同様の設定で実験を行った. 算術演算と文字列演算の 違いは，文字列演算は入力系列の要素をコピーする だけで実現できるのに対し（例：12+34=1234），算術演算（例：1+2=3） はモデルの内部に格納されて いる算術知識にアクセスする必要がある点である.

実験の結果，モデルサイズが大きい場合には，文字列演算では体系性の弱点を克服する傾向が見ら れた. (例：x-large モデルでのゼロショット精度で $86.9 \%$ ).このことから，入力には示されていない推論中に生成される中間情報へのアクセスが，体系性 に対する汎化の難しさの要因となっていると考えら れる。

## 途中の推論過程を見せることに効果はあるのか?先行研究において, 途中の推論過程をモデルに出力 させることで，ニューラルモデルの多段推論能力が 向上することが示唆されている $[12,13]$. 同様に途中の推論過程を明示的に生成させることで，先の分析で明らかとなった体系性に対する汎化の難しさが 緩和されるかを検証した. 具体的には，学習 (事前学習とWAを測定するための学習）時に途中の推論過程 $(A=1+2, B=2+3, C=4+5, B=? ; B=2+3, B=5)$ を出力す るようにモデルを学習させた. 正解率は，途中の推論過程を含む出力が完全に一致する割合とした. 実験の結果，途中の推論過程の生成による大きな性能向上は見られなかった（表 2). このことから，少 なくともこのような統制された実験環境において は，途中の推論過程を生成させる手法の効果は限定的であることが明らかとなった。

## 5 関連研究

ニューラルモデルの構成的な汎化能力の解析と算術多段推論問題については，個別に研究がなされて きた. 本研究はこれら 2 つの研究の方向性を統合し たものである. ニューラルモデルの構成的な汎化能力については, SCAN [3], COGS [11], CFQ [14] な どのデータセットを用いて分析が行われてきた。こ れらは主に意味解析の文脈での構成性に着目してお り，記号推論における構成的な汎化能力には着目し ていない。算術推論に関しては，DROP [7]などのべ ンチマークを用いてニューラルモデルの能力を分析 することが一般的である。しかし，最近このような データセットにはタスクを解くための表面的な手が かりがあることが報告されている [15]. そのため, ニューラルモデルが実際にどの程度の算術推論を実現しているか不明であった．統制されたデータセッ 卜を用いた本研究は，算術推論でのニューラルモデ ルの弱点を正確に把握することに寄与している.

## 6 おわりに

本研究では，構成的な汎化能力という切り口で，近年のニューラル言語モデルの算術多段推論能力の 分析を行った. ニューラルモデルの能力を体系的に 分析するため，多段記号推論データセットの複雑さ を整理したスキルツリーを定義した. 実験の結果， ニューラルモデルは体系性に対する汎化が弱点で あり，単純な構成要素を組み合わせに対する汎化で あっても達成できないことが明らかとなった。ま た，追加の実験を通して，入力系列に書かれていな いモデルに格納された知識にアクセスする際に，体系性に対する汎化が特に困難となることが明らかと なった. さらに，途中の推論過程も生成させるよう に学習したモデルであっても，体系性を捉えること は困難であった。

今後は，自然言語上での記号推論実現を目指す。 そのために，本研究で明らかとなったような言語モ デルに不足した記号推論能力を，自由に設計できる 特徴がある形式言語で事前学習を行うことで獲得さ せることを目指す. その後，獲得した能力を後段の 自然言語タスクを解くために転移させるという枠組 みを想定している.

## 謝辞

本研究は JST CREST JPMJCR20D2 及び JSPS 科研

費 JP22H00524，21K21343 の助成を受けたものです. また，本研究を進めるにあたり多くの協力を賜り ました Tohoku NLP グループの皆様に感謝申し上げ ます。

## 参考文献

[1] Gary F Marcus. The algebraic mind: Integrating connectionism and cognitive science. MIT press, 2003.

[2] A Garcez and L Lamb. Neurosymbolic AI: The 3rd wave. CoRR, 2020.

[3] Brenden M. Lake and Marco Baroni. Generalization without systematicity: On the compositional skills of sequenceto-sequence recurrent networks. In ICML, 2018.

[4] Peter Clark, Oyvind Tafjord, and Kyle Richardson. Transformers as soft reasoners over language. In Christian Bessiere, editor, IJCAI, pp. 3882-3890. International Joint Conferences on Artificial Intelligence Organization, 7 2020. Main track.

[5] Jing Qian, Hong Wang, Zekun Li, Shiyang Li, and Xifeng Yan. Limitations of language models in arithmetic and symbolic induction. CoRR, Vol. abs/2208.05051, , 2022.

[6] Gustavo Tondello and Lennart Nacke. A pilot study of a digital skill tree in gameful education. 102019.

[7] Dheeru Dua, Yizhong Wang, Pradeep Dasigi, Gabriel Stanovsky, Sameer Singh, and Matt Gardner. DROP: A reading comprehension benchmark requiring discrete reasoning over paragraphs. In NAACL, pp. 2368-2378, Minneapolis, Minnesota, June 2019. ACL.

[8] Dieuwke Hupkes, Verna Dankers, Mathijs Mul, and Elia Bruni. Compositionality decomposed: How do neural networks generalise? (extended abstract). In Christian Bessiere, editor, IJCAI, pp. 5065-5069. IJCAI, 72020. Journal track.

[9] Alon Talmor, Yanai Elazar, Yoav Goldberg, and Jonathan Berant. oLMpics-On What Language Model Pre-training Captures. TACL, Vol. 8, pp. 743-758, 122020.

[10] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, No. 140, pp. 1-67, 2020.

[11] Najoung Kim and Tal Linzen. COGS: A compositional generalization challenge based on semantic interpretation. In EMNLP, pp. 9087-9105, Online, November 2020. Association for Computational Linguistics.

[12] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed H. Chi, Quoc Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models. CoRR, Vol. abs/2201.11903, , 2022.

[13] Maxwell Nye, Anders Johan Andreassen, Guy Gur-Ari, Henryk Michalewski, Jacob Austin, David Bieber, David Dohan, Aitor Lewkowycz, Maarten Bosma, David Luan, Charles Sutton, and Augustus Odena. Show your work:
Scratchpads for intermediate computation with language models. In DL4C, 2022.

[14] Daniel Keysers, Nathanael Schärli, Nathan Scales, Hylke Buisman, Daniel Furrer, Sergii Kashubin, Nikola Momchev, Danila Sinopalnikov, Lukasz Stafiniak, Tibor Tihon, Dmitry Tsarkov, Xiao Wang, Marc van Zee, and Olivier Bousquet. Measuring compositional generalization: A comprehensive method on realistic data. In ICLR, 2020.

[15] Hadeel Al-Negheimish, Pranava Madhyastha, and Alessandra Russo. Numerical reasoning in machine reading comprehension tasks: are we there yet? In EMNLP, pp. 9643-9649, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[16] Noam Shazeer and Mitchell Stern. Adafactor: Adaptive learning rates with sublinear memory cost. CoRR, Vol. abs/1804.04235, , 2018.
表 3 文字列演算の詳細.

 & $7873-73=87$ \\

## A WA の計算方法

4 章で述べたように，学習曲線を定量的に評価す るために, 加重平均精度 (WA)を導入した. この指標は, 初期の学習ステップにおける正解率に高い重 みを与えることで，汎化の効率（容易さ）を定量的 に評価するものである. 具体的には, 以下の式で重 み $w_{i}$ （i はモデルの更新回数）を算出した.

$
\begin{aligned}
w_{i} & =-a i+w_{\max } \\
a & =\frac{\left(w_{\max }-w_{\min }\right)}{N} \\
w_{\min } & =\frac{2}{(N+1)(\alpha+1)} \\
w_{\max } & =\alpha w_{\min }
\end{aligned}
$

ここで， $N$ はモデルの更新回数， $\alpha$ は初期の正解率にどれだけ重み付けするかを決めるハイパーパ ラメータである.この時, $\sum_{i=0}^{N} w_{i}=1$ となる. 本論文における，全ての実験では $\alpha=1000, N=100$ と した.

## B 学習設定

事前学習済みモデルとして T5 [10] (v1.1)を使用し た ${ }^{1)}$. モデルのパラメータ数は base, large, x-large それぞれ， 2.5 億， 8 億， 30 億である.

T5 のファインチューニングの設定に従い，最適化器には Adafactor [16] を使用し, 学習率のスケ ジューラは利用していない. 学習率は事前学習時は $1.0 \times 10^{-5}$, ファインチューニング時はで $5.0 \times 10^{-5}$, バッチサイズは 32 とした. 各モデルの学習は, NVIDIA A6000(48GB), A100(80GB) で行った.

事前学習: 事前学習を行うため, 各ドメイン (基本演算) ごとに 100,000 事例のデータを用意し, それ らを結合したデータによってモデルの学習を行っ た。ただし, 生産性に対する汎化能力の評価の際に は評価ドメインの数式よりも短い (構成要素が 1 つ

1) https://huggingface.co/docs/transformers/model_doc/ t5v1. 1少ない) データも含めて事前学習を行った．事前学習は検証データセットにおける正解率が $100 \%$ とな るか， 5 epoch の間正解率の改善が見られなくなる まで続けた。

事前学習の結果，全ての設定において事前学習に 用いたデータセットと同じドメインの評価データ セット (2,000 事例) において，少なくとも $99.5 \%$ の 正解率に達した.

ファインチューニング: ファインチューニング 時には，各ドメインごとに 3,200 事例のデータを用意した.これは WAを計算するために，モデルを 100 回更新する時に要するデータ数である. (バッチ サイズ $32 \times$ モデルのアップデート回数 100)

## C データセットの詳細

各設定において，数式に登場する数値は 0 から 99 までである. また，式の順番は任意である（必ずし も最初の式が先に計算されるべきとは限らない) こ とに注意されたい. 算術演算の演算子としては, 算術の加算 + , 減算-, 右の数のうち大きい方を返す max,左右の数のうち小さい方を返す $\min の 4$ 種類とし ている. また, 文字列演算の詳細については表 3 に 示す.
 工藤慧音 1 青木洋一 1 栗林樹生 ${ }^{1,2}$ Ana Brassard ${ }^{3,1}$ 吉川将司 1 坂口慶祐 1,3 乾健太郎 1,3 1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所 \{keito.kudo.q4, youichi.aoki.p2 \}@dc.tohoku.ac.jp \{kuribayashi, yoshikawa, keisuke.sakaguchi, kentaro.inui\}@tohoku.ac.jp ana.brassard@riken.jp  