# ニューラル数式ソルバーにおける途中結果の追跡と操作

松本 悠太 $\dagger \cdot$ Benjamin Heinzerling ${ }^{\dagger \dagger, \dagger} \cdot$ 吉川 将司 $\dagger \cdot$ 乾 健太郎 ${ }^{\dagger, \dagger \dagger}$

数值を処理できる言語モデルは実用的, 科学的のどちらの観点から見ても興味深い ものである. そのような言語モデルのより深い理解のためには，「どのような問題が 解けるのか」ということだけでなく，「モデル内部でどのような処理が行われている か」という観点も重要である。本研究は単純な数式とその途中結果に着目すること で, Transformer モデルが数学的能力を獲得し, 複数ステップに及ぶ処理を行ってい るかを検証する，途中結果の情報が符号化されている箇所を追跡 (Tracing) し，符号化されている箇所の状態を操作 (Manipulation) してモデルに対して因果的介入を行 うという二つの実験を行った結果, 内部表現の特定の方向が線形に近い形で途中結果を符号化していること, そしてそのような方向がモデルの推論結果に対して因果的にも関係していることを示す. 本手法は数学的な問題に対するモデルの解釈可能性を高めることにも繋がる。

キーワード：自然言語処理, 数学的能力, 計算問題, 途中結果, 解釈可能性
## Tracing and Manipulating Intermediate Results in Neural Math Problem Solvers

\author{
Yuta Matsumoto $^{\dagger}$, Benjamin Heinzerling ${ }^{\dagger \dagger, \dagger}$, Masashi Yoshikawa $^{\dagger}$ and
} Kentaro InU ${ }^{\dagger, \dagger \dagger}$

The ability of natural language processing models to handle numerical values is of practical and scientific interest. For a deeper understanding of these models, it is important to see how they handle math problems requiring multiple inference steps. We introduce a method for analyzing how a Transformer model handles these inputs by focusing on simple arithmetic problems and their intermediate results. To trace where information about intermediate results is encoded, we measure the correlation between intermediate values and the activations of the model using principal component analysis (PCA). Then, we perform a causal intervention by manipulating model weights. This intervention shows that the weights identified via tracing are not merely correlated with intermediate results, but causally related to model predictions. Our findings provide a deeper understanding of how Transformer models handle arithmetic problems, which has implications for improving their interpretability.


Key Words: Natural Language Processing, Numeracy, Math Problem, Intermediate Results, Interpretability

## 1 はじめに

近年，深層学習に基づく言語モデルは左右の文脈から単語の穴埋めをしたり (Devlin et al. 2019)，テキストからテキストを生成したり (Raffel et al. 2020), 次に続く単語を予測したり (Brown et al. 2020) して訓練することで，多くの自然言語処理タスクにおいて高性能を出せるような汎用的な表現を得ることができる.

また, このようなモデルを元にファインチューニングを行うことで, 数量推論のような複雑な処理が必要だと思われる問題においてもある程度高い性能を出せることが知られている (Geva et al. 2020). 数量推論の例を以下に示す.

Q. ジョンは 5 本ペンを持っていて、そのうち 3 本をマリーにあげた。ジョンは今ペンを何本持っている?
A. 2 本

このような問題に答えるためには， モデル内で「5」や「3」といった数や「あげる」という行為の意味を理解し， $5-3=2$ という処理を行う必要がある.「数」は実社会の至る所に存在しているため数を用いて推論することは世界理解や経済的な知的活動のためにも必要不可欠であり，このようなモデルは実用的にも有用である (Thawani et al. 2021; Chen et al. 2019). では, そもそも言語モデルはどの程度数値計算ができるのだろうか. 先ほどの例を以下のように単純化すると, 純粋な数值計算能力を問う問題となる.
Q. $5-3=$ ?
A. 2

複数の先行研究では線形代数や初等数学のような数値計算のタスクを通じて言語モデルが持つ潜在的な能力を測っており (Saxton et al. 2019; Charton 2021), 現在のモデルによって解ける問題や解けない問題の性質が分かりつつある。言語モデルの数学的な能力を調査することは数量推論時に必要な数値計算能力を調査できるという意味で実用上役立つだけでなく, ニューラルネットワークの記号処理能力を理解するという科学的な興味にも繋がる.

一方で，モデルがこのような問題を解く際，その内部で何が行われているかについての研究はほとんど行われていない. しかし， モデルの能力をよりよく理解するためには, 入出力の結果だけでなくその内部での処理を分析することも非常に重要だと考えられる．内部処理を明らかにすることはモデルの解釈可能性を向上させ，実用的にはエンジニアやユーザが数量推論モデルをより信頼できるようにすることができる。また，科学的視点からは，ニューラルネットワークの記号処理能力を入出力を分析するだけでは判断できない部分まで詳細に理解すること

が可能になる．例えば，モデルはヒューリスティックではなく本当に数学的能力を獲得できているのか, すなわち汎化できているのかという議論 (Razeghi et al. 2022; Patel et al. 2021)に対して新しい角度から証拠を提示することができる。

モデル内部での処理を分析するため，本研究では数式とその途中結果に着目する，我々人間が $54-((258+314)-(143-96))$ のような数式を解く時, まず $258+314=572,143-96=47$ を計算して，次は $572-47=525$ を計算して，というような途中結果を介した複数ステップに及ぶ推論を行っている。途中結果は任意の長さの数式を徐々に簡単化し, 最終的な答えを出すための非常に重要な要素である。では，モデルはこのような途中結果を介した推論を行っているのだろうか？これを検証するためには，(a) モデル内部に途中結果が保存されていること (b)保存されているだけでなく，途中結果がモデルに使用されていることを示せば良いと考えられる.これを調べるため, 本研究では数式が解けるモデル（これをニューラル数式ソルバーと呼ぶ）中の内部表現と数式の途中結果の相関関係，そして因果関係を分析する手法を提案する.本手法の概要を図 1 に示す.まず四則演算を学習した Transformer (Vaswani et al. 2017) の内部状態から主成分分析を用いて途中結果と相関の高い，すなわち途中結果を符号化しているような方向を抽出したのち, その部分のアクティベーションを連続的に操作してモデルの予測結果が意図したように変化するかを観察する1. これによって，途中結果を符号化している部分がモデルの推論に与える因果的な影響を調査する。その結果, 途中結果を符号化しているような方向の中には実際にモデルの推論時にも途中結果としてはたらくものがあることを発見し, モデルが途中結果を介した推論を行っている因果的な証拠を示した。また, 相関が高くてもモデルの推論には使用されていない方向も確認されたため, モデルの内部を分析する際に因果的な関係を調査することの重要性を示唆する結果となった.

本論文の貢献は，言語モデルが数学的な問題を途中結果を保存，使用しながら解いていることを明らかにした点である。また，数学的な問題を解く際のモデルの内部処理を詳細に分析できる手法を提案した，ということ自体も貢献である.

## 2 関連研究

言語モデルと数値言語モデルの数学的能力を調查することは科学的にも実用的にも興味深い研究課題である。科学的な立場から見れば，数学的な問題を通してニューラルネットワークの数値計算や記号処理に対する能力を調査，あるいは向上させることに繋がる。また実用的にも数を用いて推論することは常識を理解するために重要であり，特に科学論文や財務文書をモデル化する際などに有用である (Thawani et al. 2021).


図 1 途中結果の追跡 (Tracing) と操作 (Manipulation) の概要. Tracing（上部）では PCA を用いて, 数式中の途中結果と相関が高いモデル内の方向を追跡する. Manipulation（下部）では, Tracing で追跡された方向に沿ってアクティベーションの操作が行われたモデル（操作済みモデル）のモデル予測の変化を観察する。

そのような背景から, 言語モデルの数学的能力を調査, あるいは向上させる研究は一定数存在する。そのためのデータセットとして, Hosseini ら (Hosseini et al. 2014) は足し算と引き算が必要となる文章題のデータセットを作成した。また, Duaら (Dua et al. 2019) はより複雑な文書読解や常識が必要となるような数量推論のベンチーマークDROP を作成した。最近では Mishra ら (Mishra et al. 2022) によって多様な数学的能力を統一的に評価できるべンチマーク LiLAが提案された.

同様に，数学的な問題を言語モデルに解かせる手法も複数提案されている.このような夕スクに対し, 言語モデルの元々の学習目的を利用し, “ $2+3=[M A S K]$ ” から穴埋めを行うようなマスク言語モデルベースの手法 (Piekos et al. 2021)や，“ $2+3=”$ から “5”を生成させるような手法 (Geva et al. 2020) によって数量推論タスクの性能が向上することが示されている. また, GPT-3 (Brown et al. 2020)のような大規模自己回帰型言語モデルは追加学習をしなくても, 簡
単な演算はできることが観察されている。 さらに, 数値計算に特化させた Transformer は初等数学や線形代数といったより複雑な記号推論の問題をある程度解けることも示されている (Saxton et al. 2019; Charton 2021). 彼らの知見に基づき本研究では, モデルに解ける問題として四則演算を取り上げる。

多くの先行研究ではどのような数学的問題が解けるかという点に注目しているが，モデルの振る舞いについて注目している研究も存在する. Razeghi ら (Razeghi et al. 2022) は GPT-3 の数量推論における精度が事前学習時に含まれる項の頻度と相関があることを示した. また, Patel ら (Patel et al. 2021) は数量推論モデルのアテンションを定量的に観察し, モデルが浅いヒュー リスティックに依存している可能性を示唆した。

モデル内部の分析モデルの内部表現にどのような情報が符号化されているかについては，近年高い関心が集まっている。このような研究の多くはプロービングの文脈で行われているが (Jawahar et al. 2019; Raganato and Tiedemann 2018; Hewitt and Manning 2019), Shibata $\bigsqcup$ (Shibata et al. 2020) は本研究と似た手法で実験を行っている. 彼らは形式言語で訓練した言語モデルを分析して，形式言語の深さと高い相関を持つアクティベーションの存在を示した. Liu ら (Liu et al. 2022) らは汎化したモデルの内部はタスクの構造を反映している表現となっていることを理論的に示し，単純な足し算や剩余演算のトイデータセット上で実験的にも示した。一方で，例えプロービング等の手法である情報がモデル内部で符号化されていると示せても，その情報がモデルの推論時に使われていること，すなわち因果関係までは示せない (Lovering et al. 2021). 因果関係を示すには，モデルの内部表現に対して因果的介入を行う必要がある。内部表現に対する介入としては単語ベクトルの上位主成分を削除する (Mu and Viswanath 2018), 分類器を用いて特定の方向を繰り返し削除する (Ravfogel et al. 2020) などがある. Elzar ら (Elazar et al. 2021) は INLP (Ravfogel et al. 2020)という手法を用いてプロービングによって抽出できる言語的特徴は必ずしもモデルの推論には使われていないことを明らかにし，内部表現への因果的介入を行う重要性を示した。本研究ではモデルの隠れ層を分析対象として, 途中結果の情報を符号化している部分を抽出し，アクティベーションを連続的に変化させることで抽出された情報がモデルの推論に使用されているかについて粒度の細かい因果的介入を行う.

## 3 手法

本節では図 1 に示した本研究の提案手法について記述する。まず, +とー, そして ()を含む様々な複雑度の四則演算のデータを自動的に生成し, 図 2 に示すように Transformer を訓練す

図 2 数式によるモデルの学習のイメージ．数式はトークン化され，数式の答えを回帰する（実際の出力は 0 から 1 の間に正規化される).

る ${ }^{2}$. 次に，下記に示す 2 つの方法でモデルの内部状態と数式の途中結果の関係を調査する.

## 3.1 途中結果の追跡 (Tracing)

数式（入力）を変化させると, 出力と同時に隠れ層の表現も変化する. では, この表現は数式中の途中結果とどのような関係があるのだろうか. 1 節で述べたように, 人間は途中結果を介した推論を行うことで複雑な数式も解くことができる. すなわち, 途中結果とは数式を解く上で非常に重要な要素だと考えることができる。ここで汎化したモデルの表現空間はタスクの特徴を捉えたような構造になる (Liu et al. 2022)ことを考慮すると, モデルが四則演算に対して汎化し, 数学的能力を獲得しているのであれば数式中の途中結果は表現空間になんらかの形で符号化されているはずである。本研究では一番単純な符号化の形として, 表現空間中の特定の方向と途中結果の関係を調べる。まず，モデルの各層に対してその表現空間中で支配的な方向を見つける. モデルの $l$ 層目, $j$ 番目のトークンにおける表現 $h_{j}^{l}$ を全て横に結合した表現 $H^{l}=h_{1}^{l} \oplus h_{2}^{l} \oplus \cdots \oplus h_{n}^{l}$ に対して主成分分析 $(\mathrm{PCA})$ を行うことで, 主成分 $p_{k}^{l}, k \in[1, \ldots, K]$ を得ることができる。 $n$ は入力列の長さを表す3．データセット中のあるインスタンス $i$ に対してこの PCA モデルを適用すると, 各主成分の重み $p_{i, k}^{l}$ を得ることができる. 次に, 数式中の途中結果 $R_{i}^{j}$ と各主成分 $p_{k}^{l}$ の重みの相関 $\operatorname{corr}\left(R_{i}^{j}, p_{i, k}^{l}\right)$ を測る. これを各層における全ての途中結果と主成分の直積に対して行うことで，ある途中結果と最も相関の高い主成分である最大相関方向 $\hat{p}_{k}^{l}\left(R^{j}\right):=\operatorname{argmax}_{k}\left(\operatorname{corr}\left(R_{i}^{j}, p_{i, k}^{l}\right)\right)$ を得る. 仮に最大相関方向の相関が十分高ければ，対応


する途中結果を符号化していると考えることができる。例えば，図 1 のイメージは $a-(b-c)$ という数式における途中結果 $a$ や $b-c$ の値がある層のある主成分に符号化されていることを表す.この手法ではある位置で局所的な符号化がなされているかを見ることはできないが，本研究ではまず表現のどこかで途中結果が符号化されているかどうかを確かめることを主眼に置くため，全てのトークンにおける表現 $H^{l}$ を使用する.

## 3.2 途中結果の操作 (Manipulation)

本節では, Tracingによって得られた最大相関方向がモデルの推論に使用されているのかを検証するため，モデルに対して因果的介入を行う，具体的には図 1 下部に示すように，主成分に沿ってモデルのアクティベーションを操作し，それによるモデルの予測結果の変化を観察する.定式化して表すと, $l$ 層目の表現 $H^{l}$ に対して次の式に基づいて主成分 $p_{k}^{l}$ の重みを $r$ 倍することで，操作後の表現 $H^{l^{\prime}}$ を得る.

$
H^{l^{\prime}} \leftarrow H^{l}+(r-1)\left(p_{k}^{l^{\top}} H^{l}\right) p_{k}^{l}
$

直観的には $r$ を変化させることで主成分 $p_{k}^{l}$ に沿ってアクティベーション $H^{l}$ が移動し, それに伴ってモデルの予測結果も変化する.

もし最大相関方向 $\hat{p}_{k}^{l}\left(R^{j}\right)$ が因果的にも途中結果 $R^{j}$ を符号化しているのであれば, $p_{k}^{l}$ の重みを動かすことは数式の途中結果 $R^{j}$ を動かすことに対応していると考えられる 4. すなわち, $R_{i}^{j}=f\left(p_{i, k}^{l}\right)$ となるような関数 $f$ を定義できる. この時, 逆関数を取ることで途中結果から主成分の重みを予測する関数 $f_{p}=f^{-1}$ を定義することができる.「 $\hat{p}_{k}^{l}\left(R^{j}\right)$ が因果的にも途中結果 $R^{j}$ を符号化している」という仮説を検証するためには，この $f_{p}$ が正しいかを確かめれば良い. すなわち，実際に入力項を変更した際の最大相関方向 $\hat{p}_{k}^{l}\left(R^{j}\right)$ の重みを $p_{i, k}^{l}=f_{a}\left(R_{i}^{j}\right)$ のように表せる実測関数 $f_{a}$ と $f_{p}$ を比較して確かめる。具体的な操作は 5.2 節にて説明する.

## 4 実験設定

データセット足し算と引き算，括弧を含む四則演算のデータをテンプレートから自動生成する. 数式は Algorithm 1 で表される木構造を模した関数 GENERATE を再帰的に呼び出すことで生成される。各数式の計算木の深さは最大で 5 である。学習データと検証データのサイズはそれぞれ 19 万と 1 万であり，数式の各項 $x$ の大きさは $0<x<1000$ な整数である. 生成された数式データの例を表 1 に示す. 全データにおける数式の種類は 87797 種類である．また，内部
^{l}$ が追跡されたとする. ここで, $43-(50-20)$ という入力に対して $p l$ の操作を行って推論結果が 13 から 19 に変わったとすると, これはモデル中の $a=43$ の表現が 49 に変わっためだと仮定することができる.
}
状態の解析のために，項を $100 \leq x<1000$ と 3 桁に揃えた 5000 個の数式を用意した. $5.1,5.2$節で使用したデータセットの例を表 2 に示す.

モデル本研究では Transformer モデルとして Poor Man’s BERT (Sajjad et al. 2021) を使用する.これは BERT (Devlin et al. 2019)の 6 層分を使用したモデルで, [CLS] トークンから線形回帰を行う。このモデルは通常の Transformer よりも層数が少ないため，性能を落とさずに学習時間を短縮することができる。本研究では，答えが数という連続値になる数式を解く最も単純な設定として回帰を採用した. BERT を用いた数量推論で有効であることが示されている先行研究 (Geva et al. 2020) に従い，入力中の数字は 1 桁ごとにトークン化する. 例えば，“123”という数字は $1, \# \# 2, \# \# 3$ にトークン化される。出力はニューラルネットワークで回帰問題を解く際の一般的な設定にならい，各数式の答え $x_{i}$ を正規化した数を用いる。すなわち，教師デー

表 1 訓練に使用した四則演算データセットの例

表 2 分析用に数式の形, 桁数を揃えた四則演算データセットの例

${ }^{1}$ https://huggingface.co/bert-base-uncased
${ }^{2}$ https://pypi.org/project/pytorch-pretrained-bert

表 3 ハイパーパラメータの一覧

夕としては実際の答え $x_{i}$ ではなく以下の式で正規化された数 $x_{i}^{\prime}$ が使用される.

$
x_{i}^{\prime}=\frac{x_{i}-\min _{i}\left(x_{i}\right)}{\max _{i}\left(x_{i}\right)-\min _{i}\left(x_{i}\right)}
$

また，学習にはミニバッチ学習を採用し， $[\mathrm{PAD}]$ トークンを用いて系列長を同一に揃える。モデルの詳しい学習設定は表 3 に示す.

モデルの学習前述のモデルを上述のデータセットで訓練し, 検証セットで回帰を行った結果を図 3 に示す. 図 3 から，このモデルは高い回帰性能を発揮していることがわかる。つまり,異なるパターンの数式を並列に学習させても正しい答えを出力することができている．次節では, ここで学習したモデルに対して途中結果の追跡, 操作を行う.

## 5 結果

## 5.1 途中結果の追跡 (Tracing)

今回は, 途中結果を介した複数ステップの推論が必要だと思われる数式の中でできるだけ簡単な $a-(b-c),(a-b)-(c-d)$ の2 種類を分析の対象とする. 本実験において, Tracing を行うトークン数は訓練時と同じく $n=100$ とする. まず， $a-(b-c)$ という数式での結果を示す.例として $p_{i, 3}^{2}$ と $b-c$ の值の関係を図 4 に示す. 図 4 から, 途中結果の値と非常に高い相関を持つ成分が存在することがわかる。各途中結果と上位 10 主成分の重みの関係を測定した結果を図 5 に示す. 図 5 から, 中間層において数式中の途中結果と相関が高い最大相関方向が複数存在することがわかる．例えば， 1 層目の第 3 主成分の重みと $b$ の値の相関係数は $0.91,2$ 層目の

図 3 数式で学習したモデルによる回帰結果（モデル予測値は正規化された出力を戻している）。モデルは高い精度で数式を解くことができる。

図 4 主成分 $p_{3}^{2}$ の重みと $a-(b-c)$ における途中結果 $b-c$ の値の関係. 非常に高い相関が見られる.

第 3 主成分の重みと $b-c$ の値の相関係数は 0.97 である. ここから, 数式の途中結果はモデル内部の表現空間における特定の方向に線形的，局所的に符号化されていると考えることができる. 一方で図 5 からは $p_{1}^{4}$ が最終結果とほぼ 1 の相関を持っていることがわかり，4層目の時点で数値計算処理が終了していると推察できる. Tracing によって, このような層ごとの役割の違いも推察することができる.

続いて, $(a-b)-(c-d)$ という形の数式で同じ実験を行った結果を図 6 に示す. 図 6 から,

図 $5 a-(b-c)$ における層ごとの各主成分重みと数式の途中結果の相関関係のヒートマップ. 各セルは第 $k$ 主成分の重み（列）とある途中結果（行）との相関係数の絶対値を表す.

この数式においてもその相関が高い最大相関方向が存在することがわかる. 例えば, 1 層目の第 4 主成分は $b$ の値と $0.97,2$ 層目の第 3 主成分は $c-d$ の値と 0.94 の相関が見られる. これらの結果から, 複数の形の数式においてモデルの内部表現はその数式の特徴, すなわち途中結果を捉えたような構造になっていることがわかった。

## 5.2 途中結果の操作 (Manipulation)

まず，数式 $617-(555-602)$ とその途中結果 $b-c=-47$ を例に取り, Manipulation を行う. 5.1 節から, 数式 $a-(b-c)$ において, 最大相関方向 $\hat{p}_{3}^{2}(b-c)$ は 0.97 という高い相関を持つ. ここで, $p_{3}^{2}$ に沿ってモデルのアクティベーションを操作すると, モデルの予測結果は

図 $6(a-b)-(c-d)$ における層ごとの各主成分重みと数式の途中結果の相関関係のヒートマップ. 各セルは第 $k$ 主成分の重み（列）とある途中結果（行）との相関係数の絶対値を表す.

図 7(1) に示されるように, 元の予測結果 (664) から約 $-1000 \sim 2000$ まで変化することがわかる ${ }^{5}$. 本研究では, Manipulation 後の主成分の重みが 5000 個の同形データにおける重み $p_{i, k}^{l}$ に対し, $\min \left(p_{i, k}^{l}\right) \times 1.5$ から $\max \left(p_{i, k}^{l}\right) \times 1.5$ の範囲を超えないように変化量 $r$ を調整した. この時, 予測結果の変化をモデル内の途中結果 $b-c$ の表現を変えたものによるものたと仮定すると,図 7(1) の右軸を得ることができ, 軸を反転することで $p_{i, 3}^{2}=f_{p}(b-c)$ となるような関数 $f_{p}$ が得られる。この予測関数 $f_{p}$ を, 実際に $b-c$ の値を変化させた時の重みを $p_{i, 3}^{2}=f_{a}(b-c)$ と表せるような実測関数 $f_{a}$ と比較した結果を図 $7(2)$ に示す. 図 $7(2)$ から, 予測関数 $f_{p}$ と実測関数

$f_{a}$ の傾向は概して一致しており, 特に元データの周りでは一致度が高いことがわかる. これは, $\hat{p}_{3}^{2}(b-c)$ が $b$ の値を一定の範囲では因果的にも符号化している証拠だと考えることができる.

一方で, 相関は高いが実測関数と一致しないような成分も存在する. 例えば, $\hat{p}_{2}^{4}(b)$ は $b$ と 0.86 の高い相関を持つが，この方向に対して同じインスタンスで Manipulation を行った結果は図 8 のようになる. 図 8 からは, $\hat{p}_{2}^{4}(b)$ がモデル内で線形かつ局所的に $b$ の値として使用されているわけではないことが読み取れる。

定量評価として，同じ実験を異なる値を持つ $a-(b-c)$ の 1000 インスタンスで行った時の $\left|f_{p}(b-c)-f_{a}(b-c)\right|$ の中央値を図 9 に示す. 平均値でなく中央値を採用したのは, 誤差が大きい少数のインスタンスに全体としての結果が引っ張られないようにするためである. $f_{a}, f_{p}$ につ

(1) 重み操作によるモデル予測とそこから導いた途

(2) 途中結果と主成分の重みに関する実測関数 $f_{a}(b-$中結果の変化。

$c)$ と予測関数 $f_{p}(b-c)$ 。

図 $7 \quad \hat{p}_{3}^{2}(b-c)$ に対する Manipulation の結果. 影の部分はデータセット中に現れない重みの範囲を表す.

(1) 重み操作によるモデル予測とそこから導いた途 $(2)$ 途中結果と主成分の重みに関する実測関数 $f_{a}(b)$中結果の変化。

と予測関数 $f_{p}(b)$ 。

図 $8 \hat{p}_{2}^{4}(b)$ に対する Manipulation の結果. 影の部分はデータセット中に現れない重みの範囲を表す.

いてはどちらも最小二乗法による 4 次近似で点間を補完している ${ }^{6}$. 図 9 から, $\hat{p}_{3}^{2}(b-c)$ と比べると $\hat{p}_{2}^{4}(b)$ は誤差が非常に大きいことがわかる ${ }^{7}$. ここから, 特に元デー夕の近辺では $\hat{p}_{3}^{2}(b-c)$ が $b-c$ の値を因果的に符号化していること, $\hat{p}_{2}^{4}(b)$ は $b$ の值と相関は高いがモデルの推論に $b$ として使われているわけではないことが定量的にも観察される.

$(a-b)-(c-d)$ の数式においても同じくManipulation を行う. $(524-539)-(609-793)$ という数式を元データとして, $\hat{p}_{3}^{2}(c-d)$ に対して Manipulation を行った結果を図 10 に示す.図 10(2) から, $c-d$ が -250 から 600 の範囲では $f_{a}(c-d)$ と予測関数 $f_{p}(c-d)$ は一致度が高

(1) $\hat{p}_{3}^{2}(b-c)$ に対する Manipulation。

(2) $\hat{p}_{2}^{4}(b)$ に対する Manipulation。

図 91000 個の $a-(b-c)$ のデー夕に対して重みの操作を行った際の誤差 $\left|f_{p}(b-c)-f_{a}(b-c)\right|$ の中央値。横軸は操作前のインスタンスにおける $b-c$ の值からどれほど離れた值で誤差の測定を行ったかを表す.

(1) 重み操作によるモデル予測とそこから導いた途 $(2)$ 途中結果と主成分の重みに関する実測関数 $f_{a}(c-$中結果の変化。

$d)$ と予測関数 $f_{p}(c-d)$ 。

図 10 数式 $(a-b)-(c-d)$ について, $\hat{p}_{3}^{2}(c-d)$ に対する Manipulation の結果. 影の部分はデータセット中に現れない重みの範囲を表す。
^{6} f_{p}$ は多価関数になる可能性があるが，その際も同様の近似手法を用いている

 }^{7} \hat{p}_{3}^{2}(b-c)$ の誤差は最大で 10 程度だが， $\hat{p}_{2}^{4}(b)$ では 1000 以上にもなることが見て取れる.


図 111000 個の数式 $(a-b)-(c-d)$ に対して重みの操作を行った際の誤差 $\left|f_{p}(c-d)-f_{a}(c-d)\right|$ の中央値.

く, $p_{3}^{2}$ が $c-d$ の值を因果的に符号化していることがわかる. 同じ形を持つ 1000 個の数式デー 夕で Manipulationを行った際の誤差中央値を図 11 に示す. 図 11 から複数の数式で定量的に見ても, 元データの周りでは特に誤差が少なく, $p_{3}^{2}$ が $c-d$ の値を因果的に符号化していることがわかる.

## 6 議論

## 6.1 エラー分析

Manipulation を行った際の予測関数 $f_{p}$ と実測関数 $f_{a}$ の誤差にはインスタンスごとにバラつきがある. では誤差が大きいインスタンス（元データ）にはどのような性質があるのだろうか. 5.2 節の結果と同様に $(a-b)-(c-d)$ という数式の $\hat{p}_{3}^{2}(c-d)$ に対して Manipulation を行った際, 誤差平均值が最も大きかった 2 インスタンスの結果を図 12 に示す. 図 12 に示した例における共通点は, どちらも $c-d$ の値が 0 に近いことである. 1000 インスタンスにおける元データの $c-d$ の値と Manipulation 結果の誤差平均值の関係を図 13 に示す. 図 13 から途中結果 $c-d$ の値が 0 に近いほど誤差が大きい傾向にあることがわかるが，この結果は学習デー夕の分布に起因するものだと推察することができる．モデルの学習において項は 0 から 1000 までの整数からランダムで選ばれる。この時, ランダムな 2 項の引き算 $a-b$ の値の分布は図 14 のようになる. 図 13,14 はどちらも 0 付近で値が大きくなり, 類似した形となっていることが見てとれる.

(1) $(677-989)$ - (432 - 433) に対する Manipulation の結果。

(2) $(361-217)-(691-668)$ に対する Manipulation の結果。

図 12 Manipulation を行った際, 誤差 $\left|f_{p}(c-d)-f_{a}(c-d)\right|$ が大きくなる例.

ここから, 図 12 に示したような例で Manipulation が失敗するのは $c-d$ が 0 付近となるようなインスタンスが学習データ中に多く存在するため, その周りでの内部表現は過学習されたものとなっているためではないかと考えることができる。これは, ニューラル数式ソルバーの性能が学習データ中の頻度に依存するという先行研究 (Razeghi et al. 2022)の結果とも関連する.

## 6.2 本研究の限界

本研究で用いた手法や設定には複数の制限や限界がある. 本研究で用いたデータセットは足し算と引き算，かっこのみから構成されており，この狭いスコープで観察されたことがどこま

図 $13(a-b)-(c-d)$ における $c-d$ の値と Manipulation 誤差の関係.

図 14 ランダムな 2 項の引き算 $a-b$ の値の分布.

で一般化できるかについては疑問が残る。より複雑度を上げるためにはかけ算や割り算, 剰余などの演算子を導入することが考えられるが，特にかけ算を導入した場合は回帰の設定で訓練を行っていることもあり，答えの分布が疎になってしまうことに留意するべきである．また，本研究では直接数式の答えの大きさを予測する回帰の設定で行っているが，2 節で述べた数量推論の研究の多くは生成やマスク穴埋めによって答えを出す, シンボルからシンボルへの設定で行われている。この点においても，本研究の結果を一般的な数量推論モデルに適用する際のギャップがあると考えられる。一方で，内部状態さえ取得できれば手法を適用することは可能なため, GenBERT (Geva et al. 2020)のような本研究で使用したデータセットと近い数式でも訓練しているモデルに対して途中結果の追跡や操作を試みることが手段として考えられる。さ

らに, 本研究の手法は前提としてモデルの内部状態を取得できることが必要である．そのため, GPT-3のような入力と出力しか知ることができず，内部状態が公開されていないようなモデルに対してはそもそも途中結果の追跡や操作を行うことができない.

## 7 おわりに

本研究では言語モデルが数値計算を行う時に内部で行っている処理を明らかにするため, 数式中の途中結果に着目し追跡と操作を行った. その結果, 「数値計算ができるモデル」の内部では途中結果の情報が存在し, かつその情報はモデルの推論時にも使われていることを解明した.本研究の手法はアクティベーションを連続的に変化させることでモデルに対して詳細な因果推論を行うこと自体も貢献である．今後の方向性としては，本研究の知見を他のデータセット， あるいは他の設定でのモデルに適用して同様に数値計算能力を調査し, Tracing と Manipulation の分析道具としての有用性を示すといったことが考えられる。また, さらに複雑な数式を分析対象とし, 符号化される時とされない時の違いを調査するといったことも考えらえる.

## 謝 辞

本研究は JST CREST JPMJCR20D2, JSPS 科研費 21K17814の助成を受けたものです.

## 参考文献

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., and Amodei, D. (2020). "Language Models are Few-Shot Learners." In Larochelle, H., Ranzato, M., Hadsell, R., Balcan, M., and Lin, H. (Eds.), Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc.

Charton, F. (2021). "Linear Algebra with Transformers." arXiv preprint arXiv:2112.01898.

Chen, C.-C., Huang, H.-H., Takamura, H., and Chen, H.-H. (2019). "Numeracy-600K: Learning Numeracy for Detecting Exaggerated Information in Market Comments." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6307-6313, Florence, Italy. Association for Computational Linguistics.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidi-
rectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Dua, D., Wang, Y., Dasigi, P., Stanovsky, G., Singh, S., and Gardner, M. (2019). "DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2368-2378, Minneapolis, Minnesota. Association for Computational Linguistics.

Elazar, Y., Ravfogel, S., Jacovi, A., and Goldberg, Y. (2021). "Amnesic Probing: Behavioral Explanation with Amnesic Counterfactuals." Transactions of the Association for Computational Linguistics, 9, pp. 160-175.

Geva, M., Gupta, A., and Berant, J. (2020). "Injecting Numerical Reasoning Skills into Language Models." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 946-958, Online. Association for Computational Linguistics.

Hewitt, J. and Manning, C. D. (2019). "A Structural Probe for Finding Syntax in Word Representations." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4129-4138, Minneapolis, Minnesota. Association for Computational Linguistics.

Hosseini, M. J., Hajishirzi, H., Etzioni, O., and Kushman, N. (2014). "Learning to Solve Arithmetic Word Problems with Verb Categorization." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 523-533, Doha, Qatar. Association for Computational Linguistics.

Jawahar, G., Sagot, B., and Seddah, D. (2019). "What Does BERT Learn about the Structure of Language?" In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3651-3657, Florence, Italy. Association for Computational Linguistics.

Liu, Z., Kitouni, O., Nolte, N., Michaud, E. J., Tegmark, M., and Williams, M. (2022). "Towards Understanding Grokking: An Effective Theory of Representation Learning." In Oh, A. H., Agarwal, A., Belgrave, D., and Cho, K. (Eds.), Advances in Neural Information Processing Systems.

Lovering, C., Jha, R., Linzen, T., and Pavlick, E. (2021). "Predicting Inductive Biases of PreTrained Models." In International Conference on Learning Representations.

Mishra, S., Finlayson, M., Lu, P., Tang, L., Welleck, S., Baral, C., Rajpurohit, T., Tafjord,

O., Sabharwal, A., Clark, P., and Kalyan, A. (2022). "Lila: A Unified Benchmark for Mathematical Reasoning." In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5807-5832.

Mu, J. and Viswanath, P. (2018). "All-but-the-Top: Simple and Effective Postprocessing for Word Representations." In International Conference on Learning Representations.

Patel, A., Bhattamishra, S., and Goyal, N. (2021). "Are NLP Models really able to Solve Simple Math Word Problems?" In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2080-2094, Online. Association for Computational Linguistics.

Piekos, P., Malinowski, M., and Michalewski, H. (2021). "Measuring and Improving BERT's Mathematical Abilities by Predicting the Order of Reasoning." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 383-394, Online. Association for Computational Linguistics.

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2020). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." Journal of Machine Learning Research, 21 (140), pp. 1-67.

Raganato, A. and Tiedemann, J. (2018). "An Analysis of Encoder Representations in Transformer-Based Machine Translation." In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 287-297, Brussels, Belgium. Association for Computational Linguistics.

Ravfogel, S., Elazar, Y., Gonen, H., Twiton, M., and Goldberg, Y. (2020). "Null It Out: Guarding Protected Attributes by Iterative Nullspace Projection." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7237-7256, Online. Association for Computational Linguistics.

Razeghi, Y., Logan, R. L., Gardner, M., and Singh, S. (2022). "Impact of Pretraining Term Frequencies on Few-Shot Reasoning." arXiv preprint arXiv:2202.07206.

Sajjad, H., Dalvi, F., Durrani, N., and Nakov, P. (2021). "On the Effect of Dropping Layers of Pre-trained Transformer Models." arXiv preprint arXiv:2004.03844.

Saxton, D., Grefenstette, E., Hill, F., and Kohli, P. (2019). "Analysing Mathematical Reasoning Abilities of Neural Models." In International Conference on Learning Representations.

Shibata, C., Uchiumi, K., and Mochihashi, D. (2020). "How LSTM Encodes Syntax: Exploring Context Vectors and Semi-Quantization on Natural Text." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4033-4043, Barcelona, Spain

(Online). International Committee on Computational Linguistics.

Thawani, A., Pujara, J., Ilievski, F., and Szekely, P. (2021). "Representing Numbers in NLP: a Survey and a Vision." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 644-656, Online. Association for Computational Linguistics.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc.

## 略歴

松本悠太：2021 年東北大学工学部電気情報物理工学科卒業. 2023 年同大学院修士課程修了. 同年, 株式会社リクルートに機械学習エンジニアとして入社.

Benjamin Heinzerling: Benjamin Heinzerling is a postdoctoral researcher at RIKEN AIP and Tohoku University in Sendai, Japan. His research interests include the analysis of world knowledge in language models, linking texts and knowledge bases, and multilingual subword methods. He holds a PhD degree in Computational Linguistics from Heidelberg University, Germany.

吉川将司: 2020 年奈良先端科学技術大学院大学先端科学技術研究科情報科学領域博士課程修了. 同年, 東北大学助教.

乾健太郎：東北大学大学院情報科学研究科教授. 1995 年東京工業大学大学院情報理工学研究科博士課程修了. 同大学助手, 九州工業大学助教授, 奈良先端科学技術大学院大学助教授を経て, 2010 年より現職. 2016 年より理化学研究所 AIP センター自然言語理解チームリーダー兼任.

$\left.\begin{array}{ll}(2023 \text { 年 } 3 \text { 月 } 1 \text { 日 } & \text { 受付 }) \\ (2023 \text { 年 } 7 \text { 月 } 1 \text { 日 } & \text { 再受付 }) \\ (2023 \text { 年 } 8 \text { 月 } 10 \text { 日 } & \text { 採録 }\end{array}\right)$