# 深層距離学習を用いた動詞の意味フレーム推定

山田 康輔 $\dagger$ ・笹野 遼平 $\dagger,+\dagger$ ・武田 浩一 $\dagger$
}

意味フレーム推定において, 文脈化単語埋め込みを用いる手法が高い性能を達成す ることが報告されている。しかし, 汎用的な埋め込み空間は, 意味的に類似したフ レームの事例が近くに位置しているという人間の直観と必ずしも一致しているわけ ではないため, 事前学習のみに基づく文脈化単語埋め込みを用いる手法の性能には 限界がある。 そこで, 本研究では, 意味フレーム推定をコーパス内の一部の動詞に ついてのラベル付きデータの存在を仮定した教師ありタスクとして取り組み, 深層距離学習に基づき文脈化単語埋め込みモデルを fine-tuning することで高精度な意味 フレーム推定を実現する手法を提案する．FrameNetを用いた実験を通し，深層距離学習を適用することで 8 ポイント以上スコアが向上することを示す. さらに，教師 データが極めて少量である場合でも，提案手法が有効であることを示す.

キーワード：意味フレーム推定, 深層距離学習, 文脈化単語埋め込み, FrameNet
## Semantic Frame Induction with Deep Metric Learning

\author{
Kosuke Yamada ${ }^{\dagger}$, Ryohei Sasano ${ }^{\dagger \dagger \dagger}$ and Koichi Takeda ${ }^{\dagger}$
}

\begin{abstract}
Recent studies have demonstrated the usefulness of contextualized word embeddings in unsupervised semantic frame induction. However, they have also revealed that generic contextualized embeddings are not always consistent with human intuitions about semantic frames, which causes unsatisfactory performance for frame induction based on contextualized embeddings. In this paper, we tackle supervised semantic frame induction, which assumes the existence of frame-annotated data for a subset of verbs in a corpus and propose to fine-tune contextualized word embedding models using deep metric learning for high-performance semantic frame induction methods. Our experiments on FrameNet show that fine-tuning with deep metric learning considerably improves the clustering evaluation scores by about 8 points or more. We also demonstrate that our approach is effective even when the number of training instances is small.
\end{abstract}

Key Words: Semantic Frame Induction, Deep Metric Learning, Contextualized Word Embeddings, FrameNet

## 1 はじめに

人の日常生活に自然言語処理システムを取り入れるとき，そのシステムに人の語に関する背景知識を与えることで，より適切な動作が行えるようになるだう。たとえば，人やロボット に「洗濯機を運んで欲しい」と依頼する場面を考える。人に依頼する場合，人は「運ぶ」とい う動作に対して「誰が」「何を」「どこから」「どこへ」という情報が必要であることを理解して いるため,「どこへ」置いたら良いかが不明である場合には「どこへ置けば良い？」と聞き返し て, 運ぶ場所を特定し, その動作を達成することができる。一方で, ロボットに依頼する場合, ロボットが「運ぶ」の知識を持っていなければ，「どこへ」置けば良いかわからないまま運び，依頼者の意図通りにならない可能性がある。意味フレームとは，このような「運ぶ」に対して 「誰が」「何を」「どこから」「どこへ」という情報が必要であるといった人が持つ語の背景知識 をまとめたものであり，それを自然言語処理システムに明示的に与えることでこのような問題 は解消される可能性がある。

意味フレームの代表的なリソースとして FrameNet (Baker et al. 1998; Ruppenhofer et al. 2016) が存在する. FrameNetの意味フレームは, 特定の動作や状況などの概念に対応し, その フレームを喚起する語 (Lexical Units; LUs) とそのフレーム固有の意味役割であるフレーム要素 (Frame Elements; FEs) に関する知識で構成されている. FrameNet は高品質なリソースである が，人手で整備されたものであることから語彙やフレームのカバレッジに限界がある。このた め，大規模なテキストコーパスから動詞の意味フレームを自動構築する取り組みが行われてい る (Kawahara et al. 2014; Ustalov et al. 2018). しかし, これらは動詞や項の表層的な情報に基 づき構築されているため，それらの出現する文脈が十分に考慮されておらず，その品質は十分 とはいえない，そこで，本研究では，文脈を考慮した単語埋め込みを活用して動詞や項の出現文脈を考慮することで，より高品質な意味フレームの自動構築を目指す。これを実現するため には，動詞の意味フレーム推定とフレーム要素推定が必要であるが，本論文では，前者の動詞 の意味フレーム推定に焦点を当てる.

動詞の意味フレーム推定は，テキスト中の動詞を，その動詞が喚起するフレームごとにまと めるタスクである。たとえば，表 1 に示す FrameNetの 8 つの事例の場合, 各動詞が喚起するフ レームごとで事例をグループ化し, $\{(1),(2)\},\{(3),(4)\},\{(5),(6)\},\{(7),(8)\}$ の 4 つのクラス 夕を形成することが目標となる。本タスクでは，事例 (1)の「cover」と事例 (2)の「fill」のよ うに異なる動詞であっても同じ FILLING フレームを喚起する事例もあれば, 事例 (1)と (7) の動詞「cover」のように同じ動詞であっても異なるフレームを喚起する事例も存在するという特徴 がある。動詞の意味フレーム推定において, ELMo (Peters et al. 2018) や BERT (Devlin et al. 2019) などの文脈化単語埋め込みの有用性が報告されている (Arefyev et al. 2019a; Anwar et al. 2019; Ribeiro et al. 2019; Yamada et al. 2021b, 2021a). 図 1 (a) は FrameNet に含まれる事例中

表 1 FrameNet 内のフレームを喚起する動詞の事例

(a) Vanilla BERT

(b) Fine-tuned BERT w/ AdaCos

図 1 (a) Vanilla BERT と (b) AdaCos を用いて fine-tuning した BERT による動詞の文脈化単語埋め込

レームを示し，数字は表 1 と対応する。

の動詞の事前学習のみに基づく BERT (Vanilla BERT) による埋め込みを t-SNE (Maaten and Hinton 2008)で 2 次元に射影し, 可視化した結果である。動詞「cover」の事例 (1)と (7) は埋め 込み空間上で離れている一方, 同じ TOPIC フレームを喚起する動詞の事例 (7) と (8) は近くに 位置しており，ある程度，意味フレームの違いを反映した埋め込み空間であるといえる。しか し，同じフレームを喚起する動詞の事例が離れた位置に存在するケースも散見される。たとえ ば，同じ REmoving フレームを喚起する動詞の事例 (5) と (6) は互いに離れた位置に存在して いる。これは Vanilla BERT の埋め込み空間が，意味的に類似した事例が近い位置に，異なる 事例が離れた位置に存在するという人の直観と常に一致しているわけではないことを意味して $い る$.
本研究では，フレームに関する人の直観をより強く反映した意味フレーム推定を実現するた め，コーパス内の一部の述語に対して意味フレームラベルが付与された教師データの存在を仮定 し, 深層距離学習に基づき文脈化単語埋め达みを fine-tuning することで，高精度な意味フレー 么推定を実現する手法を提案する。深層距離学習とは, 同じラべルの事例を埋め込み空間上で 近づけ，異なるラベルの事例を遠ざける学習を行う手法であり，教師デー夕に基づく埋め达み 空間の調整が期待できる。図 1 (b) は代表的な深層距離学習手法の 1 つである AdaCos (Zhang et al. 2019)を用いて fine-tuning したBERT による埋め达みを 2 次元に射影し, 可視化した結果 である. Vanilla BERTにおいて同じ意味フレームを喚起する動詞の事例であるにも関わらず，距離が離れていた事例 (3) と (4), 事例 (5) と (6) が, AdaCos を用いて fine-tuning した BERT では，互いに近い位置に存在していることが確認できる。これは，深層距離学習によって，意味フレームに関する人の直観をより反映させた埋め达み空間が得られたことを示している。

## 2 関連研究

意味フレームの自動構築へ向けて, テキスト中の述語を，その述語が喚起するフレームごとに まとめるタスクとして，意味フレーム同定 (frame identification) と意味フレーム推定 (semantic frame induction)の2つのタスクが存在する.

意味フレーム同定は, 事前に定義された意味フレームを与えた上で，テキスト中の述語に対 して，その述語が喚起するフレームを同定するタスクである。これは意味フレーム解析のサブ タスクの 1 つとして扱われることが多く, 意味フレームが事前に定義されていることを前提と するため, フレーム数をはじめとして，フレームの定義文やフレーム要素知識などのフレーム 情報が利用可能な教師ありタスクとして取り組まれている。近年では，文脈化単語埋め込みモ デルである BERT を用いた手法が主流となっている。たとえば，Jiang and Riloff (2021)はフ レームと LUs の定義文に基づく文埋め込みを活用したフレーム同定モデルを構築しており，Su et al. (2021) はフレーム喚起語の周囲の文脈を埋め込む文脈エンコーダと，フレームの定義文 とフレーム要素を埋め达むフレームエンコーダを構築し，それらに基づき生成された埋め込み 表現を基にフレームを同定している，また，Yong and Torrent (2020) は，意味フレーム同定を クラスタリングタスクとして扱っている．具体的には，まず，異常検知モデルを応用すること で, FrameNet に存在しないフレームを喚起する述語を除去し, その後, 述語の文脈化単語埋め 込みとフレームの定義文に基づく文埋め込みを用いて，テキスト中の述語をクラスタリングす ることで，意味ごとにまとめている.

意味フレーム推定は，テキスト中の述語を，その述語が喚起するフレームごとにまとめる夕 スクである，多くの研究では，事前に定義されたフレームの存在を仮定せず，フレーム情報を 利用しない教師なしタスクとして取り組まれており，文脈化単語埋め込みを用いた手法が提案

されている. Arefyev et al. (2019a)は，まず，BERTによるフレーム喚起語の文脈化単語埋め込 みを用いて階層型クラスタリングを行い，その後，多義性のあるフレーム喚起語に対応するた め，BERT を用いてフレーム喚起語の言い換えを生成し，それを基に各クラスタを 2 分するこ とでフレームクラスタを生成している. Anwar et al. (2019) は, skip-gram (Mikolov et al. 2013) や ELMo によって獲得できる，フレーム喚起語の埋め込みと文中の全ての単語の埋め込みを平均した埋め込みを基に階層型クラスタリングを行っている. Ribeiro et al. (2019) は， フレーム 喚起語の ELMo による埋め込みに基づきグラフクラスタリングを行っている. Yamada et al. (2021a)は，フレーム喚起語の文脈化単語埋め込みを用いて一度に全ての事例をクラスタリング する従来手法の欠点を改善するため, マスクされたフレーム喚起語の文脈化埋め込みと 2 段階 クラスタリングを行う手法を提案している。これらの研究はすべて，教師データを使用しない 教師なし意味フレーム推定に焦点を当てている。一方, 本研究では，コーパス中に出現する述語のサブセットに対してフレームがラベルづけられたデータの存在を仮定した教師あり意味フ レーム推定に取り組む。

## 3 動詞の教師あり意味フレーム推定

本研究では，より性能の高い動詞の意味フレーム推定手法を実現するため，コーパス内の一部の動詞については教師データが存在することを仮定した教師あり意味フレーム推定に取り組 む. ベースライン手法として，教師なし意味フレーム推定で広く用いられているフレーム喚起語の文脈化単語埋め込みを用いてクラスタリングする手法を採用し, 教師データを用いて深層距離学習に基づき文脈化単語埋め込みモデルを fine-tuning することによって，より高性能な意味フレーム推定手法を実現する。

## 3.1 ベースライン手法

本研究では，2つのベースライン手法を使用する．まず，シンプルなベースライン手法とし て，動詞の文脈化単語埋め込みを用いて一度に全ての事例をクラスタリングする 1 段階クラス タリングを導入する．クラスタリング方法には，ユークリッド距離に基づく群平均法による階層型クラスタリングを採用する。群平均法では，クラスタリングの終了条件を決める必要があ るが, 本研究ではクラスタ間距離に関する閥値を導入し, その閥値より小さなクラスタ間距離と なるクラスタのペアがなくなった時点でクラスタリングを終了している。間値の決定には開発 セットを利用し，開発セットを対象にクラスタリングを実施した場合に，生成されるクラスタ の数と，開発セット中の用例に付与されたフレームの数が等しくなるような值に設定している.

もう1つのベースライン手法として，Yamada et al. (2021a)によって提案されたマスクされ た単語埋め込みと 2 段階クラスタリングを導入する. マスクされた単語埋め込み $\left(v_{\text {mask }}\right)$ とは,
動詞を特殊トークン“[MASK]”に置き換えたときの文脈化単語埋め込みのことである。これは 動詞の文脈化単語埋め込み $\left(v_{w o r d}\right)$ がその動詞の表層情報の影響を受けて意味ごとにまとまり にくい傾向がある欠点を解消するために提案されたものである. 本研究では, 式 (1) で定義さ れるように， $\alpha$ を重みとして， $v_{\text {word }}$ と $v_{\text {mask }}$ を加重平均した埋め込み $\left(v_{w+m}\right)$ を利用している.

$
v_{w+m}=(1-\alpha) \cdot v_{w o r d}+\alpha \cdot v_{m a s k}
$

2 段階クラスタリングは，1 段階クラスタリングのノイズとなる事例に弱い点を指摘して提案 された手法である。具体的には，1段階目に動詞ごとで事例をクラスタリング，2 段階目に動詞横断的にクラスタリングを行う手法である。ここで，1段階目で得られたクラスタは，意味ご とにまとめられた同じ動詞の事例のクラスタであるため, Yamada et al. (2021a) と同様に本論文では擬似 LU (pseudo-LU; pLU) と呼ぶことにする.クラスタリング手法として，1 段階目に X-means (Pelleg and Moore 2000)，2 段階目に群平均法を用いる。それぞれのクラスタ数に関 しても，Yamada et al. (2021a) と同様の手法を用いて決定する.

## 3.2 深層距離学習を用いた動詞の意味フレーム推定手法

本研究では, 深層距離学習を用いた動詞の意味フレーム推定手法を提案する。提案手法では, まず，意味フレームリソースの一部から作成した学習セットを用いて，深層距離学習に基づき文脈化単語埋め込みモデルを fine-tuning し, その後, ベースライン手法と同様の方法で, モデル から動詞の埋め込みを獲得し，クラスタリングを行うことで意味フレームクラスタを作成して いる. ここで提案する深層距離学習とは，埋め込み空間上で，同じラベルの事例を近づけるよ うに，異なるラベルの事例を遠ざけるように深層学習モデルを学習する方法である (Kaya and Bilge 2019; Musgrave et al. 2020). これによって, 埋め込み空間上で, 類似したフレームの事例 が近づき，異なるフレームの事例が遠ざかるため，動詞の意味フレーム推定手法の性能向上が 期待される。本論文では, 距離べースと分類べースの 2 つの代表的な深層距離学習アプローチ を採用する。

## 3.2.1 距離ベースのアプローチ

距離ベースのアプローチは，一般に複数エンコーダを用いて事例ぺア間の距離を直接学習す る方法である。事例ぺアは，ある事例をアンカーとし，アンカーと同じクラスの事例を正例，ア ンカーと異なるクラスの事例を負例としてそれぞれ作成される。本研究では，以下の 2 つ損失を導入する。

1 つ目は, Contrastive 損失 (Hadsell et al. 2006)である.これはパラメータを共有した 2 つの エンコーダを持つネットワークを用いて，事例ぺアの距離を学習するために使用される．具体
的には，正例ぺアを近づけ，負例ぺアを一定のマージン以上遠ざける学習を行うために使用さ れる。以下の式 (2) で定義される.

$
L_{\text {cont }}= \begin{cases}D\left(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}\right) & i=j \\ \max \left(m-D\left(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}\right), 0\right) & i \neq j\end{cases}
$

ここで， $\boldsymbol{x}_{i}$ はエンコーダを用いて得られるクラス $i$ の事例の埋め达み， $m$ はマージン,$D$ は平方ユークリッド距離に基づく距離関数を意味する.

2 つ目は Triplet 損失 (Weinberger and Saul 2009) である。これはパラメータを共有した 3 つ のエンコーダを持つネットワークを用いて, 事例の 3 つ組の距離を学習するために使用される.具体的には，事例の 3 つ組に対して，負例ぺアの距離を正例ぺアの距離より一定のマージン以上遠ざけるために使用される。 Triplet 損失は, 負例ぺアを正例ぺアに対して相対的に遠ざける 点で Contrastive 損失とは異なる。以下の式 (3) で定義される.

$
L_{\text {tri }}=\max \left(D\left(\boldsymbol{x}_{a}, \boldsymbol{x}_{p}\right)-D\left(\boldsymbol{x}_{a}, \boldsymbol{x}_{n}\right)+m, 0\right)
$

ここで, $\boldsymbol{x}_{a}$ はアンカー事例の埋め込み, $\boldsymbol{x}_{p}$ は正例の埋め込み, $\boldsymbol{x}_{n}$ は負例の埋め込みを意味する.

本研究では，1つのフレームを 1 つのクラスとみなし，同じフレームの事例を近づけ，異な るフレームの事例を遠ざける学習を行うことで，よりフレームの持つ情報を反映した埋め込み 表現の獲得を実現する。本研究における事例ぺアの作成方法は, 学習セット内の各事例におい て，その事例と同じフレームの事例を無作為に選択して正例とし，その事例と異なるフレーム の事例を無作為に選択して負例としている。その際に同じ動詞の事例であるか否かは考慮して いない. また, より汎用的な埋め込み空間を獲得するため, 学習時の事例ぺアはエポックごと で変更させている，マージンはハイパーパラメータであり，開発セットにおける評価スコアに 基づき決定している.

## 3.2 .2 分類ベースのアプローチ

分類ベースのアプローチは，近年，顔認識タスクを中心に広く利用されている。このアプロー チの多くは，単一のエンコーダと多クラス分類のための線形層を持つネットワークを利用して いる. 距離ベースのアプローチと比較して, サンプリングの検討が不要である点や, 単一エン コーダであることから学習時に必要なメモリを減らすことができる利点がある。このアプロー チに用いる損失は，式 (4) に示す Softmax 損失がベースとなっている.

$
L_{\mathrm{soft}}=-\log \frac{e^{\boldsymbol{w}_{i}^{\top} \boldsymbol{x}_{i}+b_{i}}}{\sum_{j=1}^{n} e^{\boldsymbol{w}_{j}^{\top} \boldsymbol{x}_{i}+b_{j}}}
$

ここで, $\boldsymbol{w}_{i}$ と $b_{i}$ はクラス $i$ の線形層の重みとバイアス, $n$ はクラス数を示している.
分類ベースのアプローチでは， Softmax 損失に対して様々なマージンを導入する損失が提案 されている (Liu et al. 2017; Wang et al. 2018; Deng et al. 2019). これらの損失では，線形層の 重み $\boldsymbol{w}_{i}$ をクラス $i$ の埋め込みと捉え, 事例とクラスの埋め込みの距離を学習するように設計さ れている. ArcFace 損失 (Deng et al. 2019) は, その中でも幾何的な解釈に優れることから広く 利用されている. ArcFace 損失は，式 (5)のように定義されており, Softmax 損失から線形層の バイアス $b_{i}$ を除き, $\boldsymbol{w}_{i}$ と $\boldsymbol{x}_{i}$ に $l_{2}$ 正規化を適用することで $\boldsymbol{w}_{i}^{\top} \boldsymbol{x}_{i}$ を $\cos \theta_{i}$ と表現している. 加 えて, 同じクラス内の集約性と異なるクラス間の分散性を強化するため, 角度べースのマージ ン $m$ とスケール $s$ を導入している.

$
L_{\mathrm{arc}}=-\log \frac{e^{s \cdot \cos \left(\theta_{i}+m\right)}}{e^{s \cdot \cos \left(\theta_{i}+m\right)}+\sum_{j=1, j \neq i}^{n} e^{s \cdot \cos \theta_{j}}}
$

Zhang et al. (2019) は ArcFace 損失を用いたモデルの性能がハイパーパラメータに依存する 点を指摘し，マージンやスケールの振る舞いを調査している。その結果，マージンとスケール の効果が類似することを確認したため，ArcFace 損失からマージンを除き，また，事例数やク ラス数に応じて動的に決めるスケール $\tilde{s}$ を導入した AdaCos 損失を提案している。 AdaCos 損失 は式 (6) で定義される.

$
L_{\mathrm{ada}}=-\log \frac{e^{\tilde{s} \cdot \cos \theta_{i}}}{\sum_{j=1}^{n} e^{\tilde{s} \cdot \cos \theta_{j}}}
$

本研究では, 1 つのフレームを 1 つのクラスとみなし, 学習セットに存在するフレームを分類 できるように学習を行うことで，よりフレームの持つ情報を反映した埋め込み表現の獲得を実現する。分類ベースのアプローチの中で Softmax 損失や AdaCos 損失を用いたモデルではハイ パーパラメータの探索が不要であるが, ArcFace 損失を用いたモデルではマージンとスケールを 探索する必要がある。本研究では, これらの働きが類似することが報告されている (Zhang et al. 2019) ことから片方のハイパーパラメータのみを探索することにし, 距離べースのアプローチが マージンを探索しているため, ArcFace 損失を用いたモデルもマージンのみを探索する.

## 4 実験

動詞の教師あり意味フレーム推定において，深層距離学習を用いた文脈化単語埋め込みモデ ルの fine-tuning の有用性を検証した。具体的には, fine-tuning したモデルを, fine-tuning して いないモデルや先行研究のモデルと性能を比較した。また，学習に用いた事例数の変化による 提案手法の性能への影響を調査した。

## 4.1 実験設定

データセット FrameNet 1.7 (Ruppenhofer et al. 2016) から，フレームを喚起する動詞の事例 を抽出し，データセットを作成した。学習セットに存在しない動詞の意味フレーム推定に対応 するため, データセットに含まれる事例を動詞単位で 3 分割し，3つのサブセットを作成した. このとき，サブセット間の多義動詞の割合は一定としている．作成した 3 つのサブセットは， 3 分割交差検証に利用され，それぞれ学習セット，開発セット，テストセットとして用いる。表 2 にその統計値を示す 1 。学習セットは文脈化単語埋め込みモデルの fine-tuning に使用し, 開発 セットは $v_{w+m}$ の重み $\alpha$, クラスタ数，マージンの決定に使用する。 $\alpha$ は 0 から 1 まで 0.1 刻み で探索し，マージンは Contrastive 損失と Triplet 損失では, $0.1,0.2,0.5,1.0$ の 4 値, ArcFace 損失では， $0.01,0.02,0.05,0.1$ の 4 值を候補に探索する。テストセットにおいて，動詞の事例 を意味ごとにまとめたフレームクラスタを生成することで手法の性能を評価する.

比較手法 文脈化単語埋め込みモデルとして, Hugging Faceのの Transformers (Wolf et al. 2020)で 提供されている事前学習済み BERT (bert-base-uncased) ${ }^{2}$ を使用する． fine-tuning していないモデ ル (Vanilla)と 5 つの fine-tuning したモデル (Contrastive, Triplet, Softmax, ArcFace, AdaCos) に対して，それぞれ 1 段階クラスタリングと 2 段階クラスタリングを用いた全部で 12 の手法を 比較する. Vanilla モデルを用いた 2 段階クラスタリングの手法は, Yamada et al. (2021a)の提案手法に対応している. 埋め込み表現は全て $l_{2}$ 正規化を適用している. ハイパーパラメータに 関して, バッチサイズは 32 , 学習率は $1 \mathrm{e}-5$, エポック数は 5 とし, ArcFace モデルのスケール は 64 に固定する。最適化アルゴリズムは, AdamW (Loshchilov and Hutter 2017) を使用する.

また，SemEval-2019 Task 2 のサブタスク A の共有タスク (QasemiZadeh et al. 2019) で用い られた 3 つの教師なし意味フレーム推定手法 (Arefyev et al. 2019a; Anwar et al. 2019; Ribeiro et al. 2019) も比較する. Arefyev らは，まず，フレームを喚起する動詞の BERTによる埋め込み 表現を利用して群平均法によるクラスタリングを行い，その後，その動詞の言い換えを BERT を用いて生成し，それに基づくTF-IDF 特徴量を用いて，各クラスタを 2 分割することでフレー

表 23 分割交差検証で用いた FrameNet データセットの統計値

ムクラスタを形成している. Anwar らは, skip-gram (Mikolov et al. 2013) によって得られる, フレームを喚起する動詞の埋め込みと，文中の全単語の埋め込みの平均を結合した表現を用い て，群平均法によるクラスタリングを行っている，Ribeiro らは，フレームを喚起する動詞の ELMo による埋め込みを用いて，Chinese whispers (Biemann 2006) によるグラフクラスタリン グを適用している。

評価指標 評価指標として, Purity (PU), Inverse Purity (IPU), およびその調和平均である F 值 (PIF) (Zhao and Karypis 2001) と, B-cubed Precision (BCP), Recall (BCR), およびその調和平均である $\mathrm{F}$ 値 (BCF) (Bagga and Baldwin 1998) を使用する。PU はクラスタが単一のラべ ルの事例で占められている度合いを示す指標であり，IPU は同じラベルの事例が単一のクラス 夕に集中する度合いを示す指標である。また， BCP と BCR は，クラスタとラベルを関連付け ずに，各事例の適合率と再現率をそれぞれ評価する指標である．SemEval-2019 Task 2 のサブタ スク Aの共有タスク (QasemiZadeh et al. 2019)では, BCF に従ってシステムをランク付けされ ている.

## 4.2 実験結果

実験結果を表 3 に示す.クラスタリング方法に関わらず，fine-tuning したモデルを用いた手法は，Vanilla モデルを用いた手法と比較して全体的に高い PIF および BCF を示している。特 に, Triplet, ArcFace, AdaCos モデルを用いた手法において, PIFで 73 ポイント以上, BCF で 62 ポイント以上の高いスコアを達成しており, これらのモデルを用いて文脈化単語埋め込みモ デルを fine-tuning する有用性が確認できる。一方, Contrastive モデルを用いた手法では相対的

表 33 分割交差検証による動詞の教師あり意味フレーム推定の実験結果. \# $\mathrm{pLU}$ と $\mathrm{C}$ はそれぞれ $\mathrm{pLU}$数とクラスタ数を示す.

に低いスコアとなっている。これは Contrastive モデルのマージンが適切な粒度のクラスタ構築 との親和性が低いことが主な要因であると考えられる。

クラスタリング方法を比較すると，2 段階クラスタリングの手法が 1 段階クラスタリングの 手法に比べて, 全体的に高いスコアを達成している. しかし, Vanilla モデルの場合では, BCF と P IF 共に 12 ポイント以上の差があったが, fine-tuning したモデルの最高スコアを比較する と, その差が 2 ポイント程度に縮まっている. この結果から, fine-tuningを行う場合, 2 段階ク ラスタリングだけではなく 1 段階クラスタリングも有望な選択肢になる。たたし， 1 段階クラ スタリングの手法は 2 段階クラスタリングの手法と比較して実装は容易であるが，一度にクラ スタリングする事例数が多いことから計算コストが高いことに注意が必要である ${ }^{3}$.

重み $\alpha$ に着目すると，スコアの高い AdaCos モデルや Triplet モデルを用いた 2 段階クラスタ リングの手法において，その值は 0.5 であるため, マスクされた単語埋め込みを考慮する効果が 確認できる。しかし, Vanilla モデルを用いたときほどの効果が確認できない. 一方, 1 段階ク ラスタリングの手法では, fine-tuning したモデルの方が Vanilla モデルよりマスクされた単語埋 め込みを考慮するという逆の傾向が確認できる。これは, Vanilla モデルを用いた 1 段階クラス タリングの手法では，十分にフレームを表現した埋め込み空間となっていなかったために，動詞の表層ごとでまとまる万がより尤もらしいフレームクラスタを構築できていたが, fine-tuning したモデルでは埋め込み空間が改善され，動詞の表層ではなく，意味ごとでまとまるようなフ レームクラスタを構築できるようになったためであると考えられる.

表 4 に先行研究の手法と, Triplet モデルと AdaCos モデルをそれぞれ用いた 1 段階クラスタ リングと 2 段階クラスタリングの手法の比較結果を示す. 提案手法は, 先行研究の手法より高 い評価スコアを達成しており, 提案手法の中でも最もスコアの高い AdaCos モデルを用いた 2

表 4 先行研究の手法と提案手法の比較結果
(3.20 \mathrm{GHz})$ を用い, 1 段階クラスタリングで約 10 分, 2 段階 クラスタリングで約 5 分の実行時間であった.
}
段階クラスタリングの手法では, 両評価指標において従来の最高スコアを 8 ポイント以上上回 る結果が得られており，その有用性が確認できる。

## 4.3 学習事例数の変化による性能への影響

前節の実験を通して, 約 30,000 という学習事例数が比較的多く存在する場合では，深層距離学習に基づき文脈化単語埋め込みモデルを fine-tuning することで高性能な動詞の意味フレーム 推定手法を実現できることを示した．しかし，提案手法を意味フレームリソースの存在しない 言語へ適用する場合，フレームを定義するコストやフレーム情報をテキストに付与するコスト が高いことから, 学習事例が少量しか存在しない場合であっても高い性能を示すことが重要と なる．そこで，学習事例数を変化させた実験を行い，学習事例数の性能への影響を調査した，具体的には, $\mathrm{LU}$ ごとの最大学習事例数の条件を '1', '2', '5', '10', 'all' と変化させて実験を行った. 3 セットの平均学習事例数は, それぞれ $1,273,2,445,5,680,10,053,27,537$ であった. ここで, LU ごとで学習事例数を変更しているため，学習セット内の動詞，LU，フレームの異なり数は 変更していない点, また，学習セットで使用する事例数のみを変更しているため，開発セット およびテストセットは変更していない点に注意が必要である.

表 5 に学習事例数を変化させたときの各手法の PIF と BCF のスコアを示す. Vanilla モデル は, fine-tuning を行わないため, 各設定で同じスコアとなっている. Triplet モデルの結果に着目すると, '1’や‘ 2 ’ 設定において, Vanilla モデルと比較してかなり高いスコアを示しており，少ない学習事例数においても有用であることが確認できる。特に，2 段階クラスタリングの手

表 5 学習事例数を変化させたときの実験結果. 各列は学習セット内の各 LU に対して使用された最大学習事例数を示す.
法では, '1’'と 'all'において学習事例数が 1,273 と 27,536 と大きな差があるにも関わらず, スコ アは 3 ポイント程度の差しかなかった。このため, 少量であっても教師データが存在するので あれば, Triplet モデルを用いた 2 段階クラスタリングの手法を使用することで，高性能な意味 フレーム推定が実現可能であると考えられる。一方, ArcFace モデルや AdaCos モデルは, '5， や‘10’ の設定では Triplet モデルと同程度のスコアを得ているが, さらに学習事例数が少ない場合, Vanilla モデルからの改善はほとんど確認できなかった. これは少量の学習事例数では線形層の重みの学習を十分に行えないためであると考えられる.

## 5 Fine-tuning した埋め込み表現の分析

クラスタリングによる評価は, 埋め达み表現だけではなくクラスタリング手法やクラスタ数 にも性能が影響されるため, 埋め込み表現のみの性質を分析することは容易ではない. そこで, fine-tuning した埋め込み表現をより直感的に理解するために，事例間の類似度に基づく評価と 埋め込み表現の可視化を行う.

## 5.1 類似度ランキング評価

深層距離学習に基づき文脈化単語埋め迄みモデルを fine-tuningすることによって，埋め込み 空間上で, 同じフレームの事例が近づき, 異なるフレームの事例が遠ざかっているのかを確認 するため, 埋め込み表現の類似度に応じて事例をランク付けし, 評価する類似度ランキング評価を行った．具体的には，特定の動詞の事例をクエリ事例とし，クエリ事例とそれ以外の事例 の埋め込みのコサイン類似度を計算して，その値を基に事例を降順に並べ，評価した．埋め达 み表現は，4.2 節の 1 段階クラスタリングの手法の $v_{w+m}$ を使用する. 評価指標には Recall を用 いている。これはクエリ事例と同じフレームの事例である正解事例と, 正解事例と同じ数のラ ンキング上位の事例を抽出して得られる予測事例の一致率である。たとえば，表 2 のセット 1 では, 全事例 28,314 件のうち, FILLING フレームの事例が 153 件存在する。このうちの 1 つを クエリ事例とするとき，正解事例は 152 件となる。全事例からクエリ事例に類似した上位 152 件の予測事例を抽出し，その中で 114 件が正解事例であれば, Recall は 114/152=0.75となる.各事例をクエリ事例として Recallを算出し，そのスコアの平均を評価する.

予測事例の対象に関して3つ設定で類似度ランキング評価を行う．1つ目は全事例が対象で ある ALLであり，これは埋め込み空間全体の改善が見られるかを検証するための設定である. 2 つ目はクエリ事例と同じ動詞の事例のみを対象4とする SAME であり, 表層が同じ事例に対し て，意味の異なることを埋め込み空間が反映しているかを検証するための設定である．3つ目は

クエリ事例と異なる動詞の事例のみを対象とする DIFFであり，これは埋め込み空間上で，異な る動詞で同じフレームの事例が互いに近い位置になっているかを検証する設定である．実験結果を表 6 に示す。まず，ALL に着目すると fine-tuning したすべてのモデルで Vanilla モデルか らの改善が見られる。特に Contrastive モデル以外の 4 つの fine-tuning したモデルは 20 ポイン ト以上スコアが向上し, 埋め込み空間がかなり改善されたことがわかる. 次に, SAME と DIFF に着目すると，その両方でスコアの向上が確認でき，動詞の表層に関係なく，深層距離学習に よる fine-tuning が有用であることがわかる. SAME と DIFF を比較すると，SAMEの方が対象事例数が少ないこともあり, 全体的に高いスコアとなっている。ただし, DIFF の方が SAMEより もスコアの向上度合いが大きく, fine-tuningによるクラスタリング性能の向上は, 主に同じフ レームを喚起する異なる動詞の事例が互いに近づくように学習したことに起因することが示唆 される.

また， fine-tuningによる意味フレーム推定手法の性能向上が，学習セットに含まれるフレー ムによるもののみではないことを検証することは重要である。 そこで，クエリ事例のフレーム が学習セットに含まれる場合 (OVERLAP) と含まれない場合 (NON-OVERLAP) に分けて, 表 6 の ALLのスコアを集約した。その結果を表 7 に示す. いずれの fine-tuning したモデルも，学習 セットに含まれるフレームだけではなく, 含まれないフレームについても, Vanilla モデルより 高いスコアを実現している。このため, 深層距離学習を用いた fine-tuningによって，学習セッ トに含まれていないフレームにも対応した埋め达み空間を獲得できることが確認できる。ここ で，Non-OvERLAP の設定の各手法のスコアが，OVERLAP の設定におけるスコアよりも全体的 に高くなっている。これは直感に反するかもしれないが, OVERLAP の設定に含まれるフレーム は多くの動詞の事例が存在するため, NON-OVERLAP の設定に比べて難しい設定となっている ことが要因だと考えられる。

表 63 分割交差検証による類似度ランキング評価の実験結果. ALL, SAME, DifF は，ランキングする 対象がそれぞれ，全事例，クエリ事例と同じ動詞の事例，クエリ事例と異なる動詞の事例を意味し ている。

表 7 表 6 の ALL の結果を,テストセットに含まれるフレームが学習セットに存在する場合 OVERLAP と 存在しない場合 NON-OVERLAP で分けて集約した結果である。

## 5.2 埋め込み表現の可視化

文脈化単語埋め迄みモデルの fine-tuning 前後で，埋め达み空間がどれほど変化しているのか を直感的に理解するため, 埋め込み表現の可視化を行った. 表 2 のセット 1 の全事例を対象に, Vanilla モデル, Triplet モデル, AdaCos モデルによるフレームを喚起する動詞の文脈化単語埋め 込みを t-SNEにより 2 次元に射影し，可視化した結果を図 2 に示す. Vanilla, AdaCos, Triplet のモデルにおいて，それぞれ $v_{w o r d}, v_{w+m}, v_{\text {mask }}$ を使用している， $v_{w+m}$ の重み $\alpha$ は， 4.2 節 の実験結果で Triplet モデルと AdaCos モデルを用いた 1 段階クラスタリングの手法の最適値で あった 0.3 としている ${ }^{5}$.

まず，Vanilla モデルに関して， $v_{\text {word }}$ の結果に着目すると，フレームごとに事例がまとまる 傾向は見られるものの，たとえば，SELF_MOTION フレームや EXPERIENCER_OBJ フレームの事例は 2 つの大きなグループに分かれており, REMOVING フレームの事例もかなり散在しており, フレームごとに十分にまとまっているとはいえない．また， $v_{\text {mask }}$ の結果を見ると， $v_{\text {word }}$ の結果より, さらに事例が全体的に散在する傾向が確認できる。 $v_{w+m}$ に関しては, $v_{\text {word }}$ と $v_{\text {mask }}$ に比べて，同じフレームの事例がまとまる傾向が確認でき，両方の埋め込みを考慮する利点が あることを示している.

次に， AdaCos モデルと Triplet モデルの $v_{\text {word }}$ は, Vanilla モデルの $v_{\text {word }}$ と比較して，意味 フレームごとで事例がまとまっていることが確認できる．特に，Vanilla モデルでは識別困難で あった PLACING フレームや FILLING フレームのような類似した意味のフレームの事例に対して も，ある程度識別可能であるような事例の分布になっていることが確認された. しかし，これ らのモデルの $v_{w o r d}$ は，同じ意味フレームごとでまとまっているが，その中で事例の塊のよう なものが観測される.これは深層距離学習による fine-tuningよって, 動詞の埋め込み表現がそ の表層情報を考慮しすぎていることを示唆している. AdaCos モデルと Triplet モデルの $v_{\text {mask }}$
^{5}$ Vanilla モデルでは, $v_{w+m}$ の $\alpha$ は 0 であったが, これは $v_{w o r d}$ と同じであるため, ここでは $\alpha$ が 0.3 のときの結果を示す.
}

SELF_MOTION 4 EXPERIIENCER_obJ
BODy_MOVEMENT $\quad$ COMMUNICATION_NOISE

Placing

$\star$ PATH_SHAPE

4 MAKE_NOISE

CAUSE_HARM REMOVING

図 2 Vanilla モデル, AdaCos モデル, Triplet モデルにおける $v_{w o r d}, v_{w+m}, v_{\text {mask }}$ の 2 次元マッピング.各色および形状は事例数の多い上位 10 フレームを示す.

の結果を見ると，Vanilla モデルの $v_{\text {mask }}$ よりは事例が意味フレームごとにまとまっている傾向 は確認できるものの，これらのモデルの $v_{\text {word }}$ ほど意味フレームごとにまとまらなかった。こ れは， $v_{\text {mask }}$ を獲得する際のトークンがすべて同じ“[MASK]” トークンであるため，学習が難し いことが要因であると考えられる。 AdaCos モデルと Triplet モデルの $v_{w+m}$ に関しては，他の
埋め込み表現と比較して, 最もフレームごとに事例ごとにまとまっており, その有用性が確認 できる. AdaCos モデルと Triplet モデルによる結果を比較すると，全体的に類似した事例の分布になっており, これは共に距離を学習している点は変わらないため, 類似した埋め込み空間 になっていると考えられる。

## 6 おわりに

本論文では, 文脈化単語埋め込みを深層距離学習に基づき fine-tuning することで高性能な 意味フレーム推定手法が可能となることを示した. fine-tuning したモデルの中では, Triplet, ArcFace, AdaCos モデルが全体的に高いスコアを達成しており, 意味フレーム推定における有用性が確認された. 特に, Triplet モデルにおいては, 少量の学習事例数でもVanilla モデルと 比較して，かなり性能が向上することから，人手で作成された意味フレームリソースが存在し ないような言語に対しても意味フレームリソース構築へ有用であることが期待できる。また, fine-tuning したモデルを利用する際には，2 段階クラスタリングの手法だけではなく，1 段階ク ラスタリングの手法も有用であることが明らかとなった.

本研究の最終目標は, 大規模なテキストコーパスから意味フレームを自動的に構築すること である。この目標を達成するためには，テキスト中の動詞を，その動詞が喚起するフレームご とにまとめる動詞の意味フレーム推定だけでなく, その項となる語句もその役割ごとにグルー プ化するフレーム要素推定も必要である. フレーム要素推定においても, 動詞の項となる語句 の役割を表現する埋め込み空間を獲得できれば実現可能であるため，本研究で提案した深層距離学習による fine-tuning が有効である可能性は高いと考えられる。また, FrameNet 内で実験 を行うだけではなく，実際に大規模なテキストコーパスにおいて，本手法を適用することで，意味フレームリソースの構築を行うことを考えている.

## 謝 辞

本研究は, JST 創発的研究支援事業 JPMJFR216N，およびJSPS 科研費 $21 K 12012$ と 23KJ1052 の支援を受けたものである。

## 参考文献

Anwar, S., Ustalov, D., Arefyev, N., Ponzetto, S. P., Biemann, C., and Panchenko, A. (2019). "HHMM at SemEval-2019 Task 2: Unsupervised Frame Induction using Contextualized

Word Embeddings." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 125-129.

Arefyev, N., Sheludko, B., Davletov, A., Kharchev, D., Nevidomsky, A., and Panchenko, A. (2019a). "Neural GRANNy at SemEval-2019 Task 2: A Combined Approach for Better Modeling of Semantic Relationships in Semantic Frame Induction." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 31-38.

Arefyev, N., Sheludko, B., and Panchenko, A. (2019b). "Combining Lexical Substitutes in Neural Word Sense Induction." In Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2019), pp. 62-70.

Bagga, A. and Baldwin, B. (1998). "Entity-Based Cross-Document Coreferencing Using the Vector Space Model." In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics (ACL-COLING 1998), pp. 79-85.

Baker, C. F., Fillmore, C. J., and Lowe, J. B. (1998). "The Berkeley FrameNet Project." In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics (ACL-COLING 1998), pp. 86-90.

Biemann, C. (2006). "Chinese Whispers: An Efficient Graph Clustering Algorithm and its Application to Natural Language Processing Problems." In Proceedings of TextGraphs: the First Workshop on Graph Based Methods for Natural Language Processing (TextGraphs 2006), pp. 73-80.

Deng, J., Guo, J., Xue, N., and Zafeiriou, S. (2019). "ArcFace: Additive Angular Margin Loss for Deep Face Recognition." In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2019), pp. 4690-4699.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL 2019), pp. 4171-4186.

Hadsell, R., Chopra, S., and LeCun, Y. (2006). "Dimensionality Reduction by Learning an Invariant Mapping." In Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2006), Vol. 2, pp. 1735-1742.

Jiang, T. and Riloff, E. (2021). "Exploiting Definitions for Frame Identification." In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2021), pp. 2429-2434.

Kawahara, D., Peterson, D., Popescu, O., and Palmer, M. (2014). "Inducing Example-based Semantic Frames from a Massive Amount of Verb Uses." In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2014), pp. 58-67.

Kaya, M. and Bilge, H. Ş. (2019). "Deep Metric Learning: A Survey." Symmetry, 11 (9), p. 1066.

Liu, W., Wen, Y., Yu, Z., Li, M., Raj, B., and Song, L. (2017). "SphereFace: Deep Hypersphere Embedding for Face Recognition." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2017), pp. 212-220.

Loshchilov, I. and Hutter, F. (2017). "Decoupled Weight Decay Regularization." In Proceedings of the 5th International Conference on Learning Representations (ICLR 2017).

Maaten, L. v. d. and Hinton, G. (2008). "Visualizing Data using t-SNE." Journal of Machine Learning Research, 9, pp. 2579-2605.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013). "Distributed Representations of Words and Phrases and their Compositionality." In Advances in Neural Information Processing Systems (NIPS 2013), pp. 3111-3119.

Musgrave, K., Belongie, S., and Lim, S.-N. (2020). "A Metric Learning Reality Check." In Proceedings of the 16th European Conference on Computer Vision (ECCV 2020), pp. 681-699.

Pelleg, D. and Moore, A. (2000). "X-means: Extending K-means with Efficient Estimation of the Number of Clusters." In Proceedings of the 17th International Conference on Machine Learning (ICML 2000), pp. 727-734.

Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2018), pp. 2227-2237.

QasemiZadeh, B., Petruck, M. R. L., Stodden, R., Kallmeyer, L., and Candito, M. (2019). "SemEval-2019 Task 2: Unsupervised Lexical Frame Induction." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 16-30.

Ribeiro, E., Mendonça, V., Ribeiro, R., Martins de Matos, D., Sardinha, A., Santos, A. L., and Coheur, L. (2019). "L2F/INESC-ID at SemEval-2019 Task 2: Unsupervised Lexical Semantic Frame Induction using Contextualized Word Representations." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 130-136.

Ruppenhofer, J., Ellsworth, M., Schwarzer-Petruck, M., Johnson, C. R., and Scheffczyk, J. (2016). FrameNet II: Extended Theory and Practice. International Computer Science Institute.

Su, X., Li, R., Li, X., Pan, J. Z., Zhang, H., Chai, Q., and Han, X. (2021). "A Knowledge-

Guided Framework for Frame Identification." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2021), pp. 5230-5240.

Ustalov, D., Panchenko, A., Kutuzov, A., Biemann, C., and Ponzetto, S. P. (2018). "Unsupervised Semantic Frame Induction using Triclustering." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL 2018), pp. 55-62.

Wang, H., Wang, Y., Zhou, Z., Ji, X., Gong, D., Zhou, J., Li, Z., and Liu, W. (2018). "CosFace: Large Margin Cosine Loss for Deep Face Recognition." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2018), pp. 5265-5274.

Weinberger, K. Q. and Saul, L. K. (2009). "Distance Metric Learning for Large Margin Nearest Neighbor Classification." Journal of Machine Learning Research, 10 (2), pp. 207-244.

Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., Davison, J., Shleifer, S., von Platen, P., Ma, C., Jernite, Y., Plu, J., Xu, C., Scao, T. L., Gugger, S., Drame, M., Lhoest, Q., and Rush, A. M. (2020). "Transformers: State-of-the-Art Natural Language Processing." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations (EMNLP 2020), pp. 38-45.

Yamada, K., Sasano, R., and Takeda, K. (2021a). "Semantic Frame Induction using Masked Word Embeddings and Two-Step Clustering." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2021), pp. 811-816.

Yamada, K., Sasano, R., and Takeda, K. (2021b). "Verb Sense Clustering using Contextualized Word Representations for Semantic Frame Induction." In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021 (ACL-IJCNLP 2021 Findings), pp. 4353-4362.

Yamada, K., Sasano, R., and Takeda, K. (2023). "Semantic Frame Induction with Deep Metric Learning." In Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2023), pp. 1833-1845.

山田康輔, 笹野遼平, 武田浩一 (2023). 深層距離学習を用いた動詞の意味フレーム推定. 言語処理学会第 29 回年次大会発表論文集, pp. 2422-2426. [K. Yamada et al. (2023). Semantic Frame Induction with Deep Metric Learning. Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 2422-2426.].

Yong, Z. X. and Torrent, T. T. (2020). "Semi-supervised Deep Embedded Clustering with Anomaly Detection for Semantic Frame Induction." In Proceedings of the 12th Language

Resources and Evaluation Conference (LREC 2020), pp. 3509-3519.

Zhang, X., Zhao, R., Qiao, Y., Wang, X., and Li, H. (2019). "AdaCos: Adaptively Scaling Cosine Logits for Effectively Learning Deep Face Representations." In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2019), pp. 10823-10832.

Zhao, Y. and Karypis, G. (2001). "Criterion Functions for Document Clustering: Experiments and Analysis." Tech. rep., Retrieved from the University of Minnesota Digital Conservancy.

## 略歴

山田 康輔：2021 年名古屋大学大学院情報学研究科博士前期課程修了. 同年,同大学院同研究科博士後期課程に進学. 2022 年より日本学術振興会特別研究員 (DC2).

笹野 遼平：2009 年東京大学大学院情報理工学系研究科博士課程修了. 京都大学特定研究員, 東京工業大学助教を経て, 2017 年より名古屋大学准教授. 博士 (情報理工学)。2019 年より理化学研究所 AIP センター客員研究員を兼任.武田 浩一：1983 年京都大学大学院工学研究科情報工学専攻修士課程修了. 同年日本アイ・ビー・エム株式会社に入社. 2017 年より名古屋大学教授. 博士 (情報学).


# ニューラル数式ソルバーにおける途中結果の追跡と操作

松本 悠太 $\dagger \cdot$ Benjamin Heinzerling ${ }^{\dagger \dagger, \dagger} \cdot$ 吉川 将司 $\dagger \cdot$ 乾 健太郎 ${ }^{\dagger, \dagger \dagger}$

数值を処理できる言語モデルは実用的, 科学的のどちらの観点から見ても興味深い ものである. そのような言語モデルのより深い理解のためには，「どのような問題が 解けるのか」ということだけでなく，「モデル内部でどのような処理が行われている か」という観点も重要である。本研究は単純な数式とその途中結果に着目すること で, Transformer モデルが数学的能力を獲得し, 複数ステップに及ぶ処理を行ってい るかを検証する，途中結果の情報が符号化されている箇所を追跡 (Tracing) し，符号化されている箇所の状態を操作 (Manipulation) してモデルに対して因果的介入を行 うという二つの実験を行った結果, 内部表現の特定の方向が線形に近い形で途中結果を符号化していること, そしてそのような方向がモデルの推論結果に対して因果的にも関係していることを示す. 本手法は数学的な問題に対するモデルの解釈可能性を高めることにも繋がる。

キーワード：自然言語処理, 数学的能力, 計算問題, 途中結果, 解釈可能性
## Tracing and Manipulating Intermediate Results in Neural Math Problem Solvers

\author{
Yuta Matsumoto $^{\dagger}$, Benjamin Heinzerling ${ }^{\dagger \dagger, \dagger}$, Masashi Yoshikawa $^{\dagger}$ and
} Kentaro InU ${ }^{\dagger, \dagger \dagger}$

The ability of natural language processing models to handle numerical values is of practical and scientific interest. For a deeper understanding of these models, it is important to see how they handle math problems requiring multiple inference steps. We introduce a method for analyzing how a Transformer model handles these inputs by focusing on simple arithmetic problems and their intermediate results. To trace where information about intermediate results is encoded, we measure the correlation between intermediate values and the activations of the model using principal component analysis (PCA). Then, we perform a causal intervention by manipulating model weights. This intervention shows that the weights identified via tracing are not merely correlated with intermediate results, but causally related to model predictions. Our findings provide a deeper understanding of how Transformer models handle arithmetic problems, which has implications for improving their interpretability.

Key Words: Natural Language Processing, Numeracy, Math Problem, Intermediate Results, Interpretability

## 1 はじめに

近年，深層学習に基づく言語モデルは左右の文脈から単語の穴埋めをしたり (Devlin et al. 2019)，テキストからテキストを生成したり (Raffel et al. 2020), 次に続く単語を予測したり (Brown et al. 2020) して訓練することで，多くの自然言語処理タスクにおいて高性能を出せる ような汎用的な表現を得ることができる.

また, このようなモデルを元にファインチューニングを行うことで, 数量推論のような複雑な 処理が必要だと思われる問題においてもある程度高い性能を出せることが知られている (Geva et al. 2020). 数量推論の例を以下に示す.

Q. ジョンは 5 本ペンを持っていて、そのうち 3 本をマリーにあげた。ジョンは今ペンを何本持っている?
A. 2 本

このような問題に答えるためには， モデル内で「5」や「3」といった数や「あげる」という行為の意味を理解し， $5-3=2$ という処理を行う必要がある.「数」は実社会の至る所に存在し ているため数を用いて推論することは世界理解や経済的な知的活動のためにも必要不可欠であ り，このようなモデルは実用的にも有用である (Thawani et al. 2021; Chen et al. 2019). では, そもそも言語モデルはどの程度数値計算ができるのだろうか. 先ほどの例を以下のように単純化すると, 純粋な数值計算能力を問う問題となる.
Q. $5-3=$ ?
A. 2

複数の先行研究では線形代数や初等数学のような数値計算のタスクを通じて言語モデルが持つ 潜在的な能力を測っており (Saxton et al. 2019; Charton 2021), 現在のモデルによって解ける問題や解けない問題の性質が分かりつつある。言語モデルの数学的な能力を調査することは数量推論時に必要な数値計算能力を調査できるという意味で実用上役立つだけでなく, ニューラル ネットワークの記号処理能力を理解するという科学的な興味にも繋がる.

一方で，モデルがこのような問題を解く際，その内部で何が行われているかについての研究 はほとんど行われていない. しかし， モデルの能力をよりよく理解するためには, 入出力の結果だけでなくその内部での処理を分析することも非常に重要だと考えられる．内部処理を明ら かにすることはモデルの解釈可能性を向上させ，実用的にはエンジニアやユーザが数量推論モ デルをより信頼できるようにすることができる。また，科学的視点からは，ニューラルネット ワークの記号処理能力を入出力を分析するだけでは判断できない部分まで詳細に理解すること

が可能になる．例えば，モデルはヒューリスティックではなく本当に数学的能力を獲得できて いるのか, すなわち汎化できているのかという議論 (Razeghi et al. 2022; Patel et al. 2021)に対 して新しい角度から証拠を提示することができる。

モデル内部での処理を分析するため，本研究では数式とその途中結果に着目する，我々人間 が $54-((258+314)-(143-96))$ のような数式を解く時, まず $258+314=572,143-96=47$ を計算して，次は $572-47=525$ を計算して，というような途中結果を介した複数ステップに 及ぶ推論を行っている。途中結果は任意の長さの数式を徐々に簡単化し, 最終的な答えを出す ための非常に重要な要素である。では，モデルはこのような途中結果を介した推論を行ってい るのだろうか？これを検証するためには，(a) モデル内部に途中結果が保存されていること (b)保存されているだけでなく，途中結果がモデルに使用されていることを示せば良いと考えられ る.これを調べるため, 本研究では数式が解けるモデル（これをニューラル数式ソルバーと呼 ぶ）中の内部表現と数式の途中結果の相関関係，そして因果関係を分析する手法を提案する.本手法の概要を図 1 に示す.まず四則演算を学習した Transformer (Vaswani et al. 2017) の内部状態から主成分分析を用いて途中結果と相関の高い，すなわち途中結果を符号化しているよう な方向を抽出したのち, その部分のアクティベーションを連続的に操作してモデルの予測結果 が意図したように変化するかを観察する1. これによって，途中結果を符号化している部分がモ デルの推論に与える因果的な影響を調査する。その結果, 途中結果を符号化しているような方向の中には実際にモデルの推論時にも途中結果としてはたらくものがあることを発見し, モデ ルが途中結果を介した推論を行っている因果的な証拠を示した。また, 相関が高くてもモデル の推論には使用されていない方向も確認されたため, モデルの内部を分析する際に因果的な関係を調査することの重要性を示唆する結果となった.

本論文の貢献は，言語モデルが数学的な問題を途中結果を保存，使用しながら解いているこ とを明らかにした点である。また，数学的な問題を解く際のモデルの内部処理を詳細に分析で きる手法を提案した，ということ自体も貢献である.

## 2 関連研究

言語モデルと数値 言語モデルの数学的能力を調查することは科学的にも実用的にも興味深い 研究課題である。科学的な立場から見れば，数学的な問題を通してニューラルネットワークの 数値計算や記号処理に対する能力を調査，あるいは向上させることに繋がる。また実用的にも 数を用いて推論することは常識を理解するために重要であり，特に科学論文や財務文書をモデ ル化する際などに有用である (Thawani et al. 2021).

図 1 途中結果の追跡 (Tracing) と操作 (Manipulation) の概要. Tracing（上部）では PCA を用いて, 数式中の途中結果と相関が高いモデル内の方向を追跡する. Manipulation（下部）では, Tracing で 追跡された方向に沿ってアクティベーションの操作が行われたモデル（操作済みモデル）のモデル 予測の変化を観察する。

そのような背景から, 言語モデルの数学的能力を調査, あるいは向上させる研究は一定数存在する。そのためのデータセットとして, Hosseini ら (Hosseini et al. 2014) は足し算と引き算 が必要となる文章題のデータセットを作成した。また, Duaら (Dua et al. 2019) はより複雑な 文書読解や常識が必要となるような数量推論のベンチーマークDROP を作成した。最近では Mishra ら (Mishra et al. 2022) によって多様な数学的能力を統一的に評価できるべンチマーク LiLAが提案された.

同様に，数学的な問題を言語モデルに解かせる手法も複数提案されている.このような夕ス クに対し, 言語モデルの元々の学習目的を利用し, “ $2+3=[M A S K]$ ” から穴埋めを行うような マスク言語モデルベースの手法 (Piekos et al. 2021)や，“ $2+3=”$ から “5”を生成させるような 手法 (Geva et al. 2020) によって数量推論タスクの性能が向上することが示されている. また, GPT-3 (Brown et al. 2020)のような大規模自己回帰型言語モデルは追加学習をしなくても, 簡
単な演算はできることが観察されている。 さらに, 数値計算に特化させた Transformer は初等数学や線形代数といったより複雑な記号推論の問題をある程度解けることも示されている (Saxton et al. 2019; Charton 2021). 彼らの知見に基づき本研究では, モデルに解ける問題として四則演算を取り上げる。

多くの先行研究ではどのような数学的問題が解けるかという点に注目しているが，モデルの振 る舞いについて注目している研究も存在する. Razeghi ら (Razeghi et al. 2022) は GPT-3 の数量推論における精度が事前学習時に含まれる項の頻度と相関があることを示した. また, Patel ら (Patel et al. 2021) は数量推論モデルのアテンションを定量的に観察し, モデルが浅いヒュー リスティックに依存している可能性を示唆した。

モデル内部の分析モデルの内部表現にどのような情報が符号化されているかについては，近年高い関心が集まっている。このような研究の多くはプロービングの文脈で行われているが (Jawahar et al. 2019; Raganato and Tiedemann 2018; Hewitt and Manning 2019), Shibata $\bigsqcup$ (Shibata et al. 2020) は本研究と似た手法で実験を行っている. 彼らは形式言語で訓練した言語 モデルを分析して，形式言語の深さと高い相関を持つアクティベーションの存在を示した. Liu ら (Liu et al. 2022) らは汎化したモデルの内部はタスクの構造を反映している表現となっている ことを理論的に示し，単純な足し算や剩余演算のトイデータセット上で実験的にも示した。一方で，例えプロービング等の手法である情報がモデル内部で符号化されていると示せても，その 情報がモデルの推論時に使われていること，すなわち因果関係までは示せない (Lovering et al. 2021). 因果関係を示すには，モデルの内部表現に対して因果的介入を行う必要がある。内部表現に対する介入としては単語ベクトルの上位主成分を削除する (Mu and Viswanath 2018), 分類器を用いて特定の方向を繰り返し削除する (Ravfogel et al. 2020) などがある. Elzar ら (Elazar et al. 2021) は INLP (Ravfogel et al. 2020)という手法を用いてプロービングによって抽出でき る言語的特徴は必ずしもモデルの推論には使われていないことを明らかにし，内部表現への因果的介入を行う重要性を示した。本研究ではモデルの隠れ層を分析対象として, 途中結果の情報を符号化している部分を抽出し，アクティベーションを連続的に変化させることで抽出され た情報がモデルの推論に使用されているかについて粒度の細かい因果的介入を行う.

## 3 手法

本節では図 1 に示した本研究の提案手法について記述する。まず, +とー, そして ()を含む 様々な複雑度の四則演算のデータを自動的に生成し, 図 2 に示すように Transformer を訓練す

図 2 数式によるモデルの学習のイメージ．数式はトークン化され，数式の答えを回帰する（実際の出力 は 0 から 1 の間に正規化される).

る ${ }^{2}$. 次に，下記に示す 2 つの方法でモデルの内部状態と数式の途中結果の関係を調査する.

## 3.1 途中結果の追跡 (Tracing)

数式（入力）を変化させると, 出力と同時に隠れ層の表現も変化する. では, この表現は数式中の途中結果とどのような関係があるのだろうか. 1 節で述べたように, 人間は途中結果を 介した推論を行うことで複雑な数式も解くことができる. すなわち, 途中結果とは数式を解く 上で非常に重要な要素だと考えることができる。ここで汎化したモデルの表現空間はタスク の特徴を捉えたような構造になる (Liu et al. 2022)ことを考慮すると, モデルが四則演算に対 して汎化し, 数学的能力を獲得しているのであれば数式中の途中結果は表現空間になんらかの 形で符号化されているはずである。本研究では一番単純な符号化の形として, 表現空間中の特定の方向と途中結果の関係を調べる。まず，モデルの各層に対してその表現空間中で支配的な 方向を見つける. モデルの $l$ 層目, $j$ 番目のトークンにおける表現 $h_{j}^{l}$ を全て横に結合した表現 $H^{l}=h_{1}^{l} \oplus h_{2}^{l} \oplus \cdots \oplus h_{n}^{l}$ に対して主成分分析 $(\mathrm{PCA})$ を行うことで, 主成分 $p_{k}^{l}, k \in[1, \ldots, K]$ を 得ることができる。 $n$ は入力列の長さを表す3．データセット中のあるインスタンス $i$ に対して この PCA モデルを適用すると, 各主成分の重み $p_{i, k}^{l}$ を得ることができる. 次に, 数式中の途中結果 $R_{i}^{j}$ と各主成分 $p_{k}^{l}$ の重みの相関 $\operatorname{corr}\left(R_{i}^{j}, p_{i, k}^{l}\right)$ を測る. これを各層における全ての途中結果 と主成分の直積に対して行うことで，ある途中結果と最も相関の高い主成分である最大相関方向 $\hat{p}_{k}^{l}\left(R^{j}\right):=\operatorname{argmax}_{k}\left(\operatorname{corr}\left(R_{i}^{j}, p_{i, k}^{l}\right)\right)$ を得る. 仮に最大相関方向の相関が十分高ければ，対応

する途中結果を符号化していると考えることができる。例えば，図 1 のイメージは $a-(b-c)$ という数式における途中結果 $a$ や $b-c$ の値がある層のある主成分に符号化されていることを表 す.この手法ではある位置で局所的な符号化がなされているかを見ることはできないが，本研究ではまず表現のどこかで途中結果が符号化されているかどうかを確かめることを主眼に置く ため，全てのトークンにおける表現 $H^{l}$ を使用する.

## 3.2 途中結果の操作 (Manipulation)

本節では, Tracingによって得られた最大相関方向がモデルの推論に使用されているのかを検証するため，モデルに対して因果的介入を行う，具体的には図 1 下部に示すように，主成分に 沿ってモデルのアクティベーションを操作し，それによるモデルの予測結果の変化を観察する.定式化して表すと, $l$ 層目の表現 $H^{l}$ に対して次の式に基づいて主成分 $p_{k}^{l}$ の重みを $r$ 倍するこ とで，操作後の表現 $H^{l^{\prime}}$ を得る.

$
H^{l^{\prime}} \leftarrow H^{l}+(r-1)\left(p_{k}^{l^{\top}} H^{l}\right) p_{k}^{l}
$

直観的には $r$ を変化させることで主成分 $p_{k}^{l}$ に沿ってアクティベーション $H^{l}$ が移動し, それに 伴ってモデルの予測結果も変化する.

もし最大相関方向 $\hat{p}_{k}^{l}\left(R^{j}\right)$ が因果的にも途中結果 $R^{j}$ を符号化しているのであれば, $p_{k}^{l}$ の重 みを動かすことは数式の途中結果 $R^{j}$ を動かすことに対応していると考えられる 4. すなわち, $R_{i}^{j}=f\left(p_{i, k}^{l}\right)$ となるような関数 $f$ を定義できる. この時, 逆関数を取ることで途中結果から主成分の重みを予測する関数 $f_{p}=f^{-1}$ を定義することができる.「 $\hat{p}_{k}^{l}\left(R^{j}\right)$ が因果的にも途中結果 $R^{j}$ を符号化している」という仮説を検証するためには，この $f_{p}$ が正しいかを確かめれば良い. すなわち，実際に入力項を変更した際の最大相関方向 $\hat{p}_{k}^{l}\left(R^{j}\right)$ の重みを $p_{i, k}^{l}=f_{a}\left(R_{i}^{j}\right)$ のように 表せる実測関数 $f_{a}$ と $f_{p}$ を比較して確かめる。具体的な操作は 5.2 節にて説明する.

## 4 実験設定

データセット 足し算と引き算，括弧を含む四則演算のデータをテンプレートから自動生成す る. 数式は Algorithm 1 で表される木構造を模した関数 GENERATE を再帰的に呼び出すこと で生成される。各数式の計算木の深さは最大で 5 である。学習データと検証データのサイズは それぞれ 19 万と 1 万であり，数式の各項 $x$ の大きさは $0<x<1000$ な整数である. 生成された 数式データの例を表 1 に示す. 全データにおける数式の種類は 87797 種類である．また，内部
^{l}$ が追跡されたとする. ここで, $43-(50-20)$ という入力に対して $p l$ の操作を行って推論結果が 13 から 19 に変わったとすると, これはモデル 中の $a=43$ の表現が 49 に変わっためだと仮定することができる.
}
状態の解析のために，項を $100 \leq x<1000$ と 3 桁に揃えた 5000 個の数式を用意した. $5.1,5.2$節で使用したデータセットの例を表 2 に示す.

モデル本研究では Transformer モデルとして Poor Man’s BERT (Sajjad et al. 2021) を使用す る.これは BERT (Devlin et al. 2019)の 6 層分を使用したモデルで, [CLS] トークンから線形回帰を行う。このモデルは通常の Transformer よりも層数が少ないため，性能を落とさずに学習時間を短縮することができる。本研究では，答えが数という連続値になる数式を解く最も単純 な設定として回帰を採用した. BERT を用いた数量推論で有効であることが示されている先行研究 (Geva et al. 2020) に従い，入力中の数字は 1 桁ごとにトークン化する. 例えば，“123”と いう数字は $1, \# \# 2, \# \# 3$ にトークン化される。出力はニューラルネットワークで回帰問題を解 く際の一般的な設定にならい，各数式の答え $x_{i}$ を正規化した数を用いる。すなわち，教師デー

表 1 訓練に使用した四則演算データセットの例

表 2 分析用に数式の形, 桁数を揃えた四則演算データセットの例

${ }^{1}$ https://huggingface.co/bert-base-uncased
${ }^{2}$ https://pypi.org/project/pytorch-pretrained-bert

表 3 ハイパーパラメータの一覧

夕としては実際の答え $x_{i}$ ではなく以下の式で正規化された数 $x_{i}^{\prime}$ が使用される.

$
x_{i}^{\prime}=\frac{x_{i}-\min _{i}\left(x_{i}\right)}{\max _{i}\left(x_{i}\right)-\min _{i}\left(x_{i}\right)}
$

また，学習にはミニバッチ学習を採用し， $[\mathrm{PAD}]$ トークンを用いて系列長を同一に揃える。モ デルの詳しい学習設定は表 3 に示す.

モデルの学習 前述のモデルを上述のデータセットで訓練し, 検証セットで回帰を行った結果 を図 3 に示す. 図 3 から，このモデルは高い回帰性能を発揮していることがわかる。つまり,異なるパターンの数式を並列に学習させても正しい答えを出力することができている．次節で は, ここで学習したモデルに対して途中結果の追跡, 操作を行う.

## 5 結果

## 5.1 途中結果の追跡 (Tracing)

今回は, 途中結果を介した複数ステップの推論が必要だと思われる数式の中でできるだけ簡単な $a-(b-c),(a-b)-(c-d)$ の2 種類を分析の対象とする. 本実験において, Tracing を行 うトークン数は訓練時と同じく $n=100$ とする. まず， $a-(b-c)$ という数式での結果を示す.例として $p_{i, 3}^{2}$ と $b-c$ の值の関係を図 4 に示す. 図 4 から, 途中結果の値と非常に高い相関を 持つ成分が存在することがわかる。各途中結果と上位 10 主成分の重みの関係を測定した結果を 図 5 に示す. 図 5 から, 中間層において数式中の途中結果と相関が高い最大相関方向が複数存在することがわかる．例えば， 1 層目の第 3 主成分の重みと $b$ の値の相関係数は $0.91,2$ 層目の

図 3 数式で学習したモデルによる回帰結果（モデル予測値は正規化された出力を戻している）。モデル は高い精度で数式を解くことができる。

図 4 主成分 $p_{3}^{2}$ の重みと $a-(b-c)$ における途中結果 $b-c$ の値の関係. 非常に高い相関が見られる.

第 3 主成分の重みと $b-c$ の値の相関係数は 0.97 である. ここから, 数式の途中結果はモデル 内部の表現空間における特定の方向に線形的，局所的に符号化されていると考えることができ る. 一方で図 5 からは $p_{1}^{4}$ が最終結果とほぼ 1 の相関を持っていることがわかり，4層目の時点 で数値計算処理が終了していると推察できる. Tracing によって, このような層ごとの役割の違 いも推察することができる.

続いて, $(a-b)-(c-d)$ という形の数式で同じ実験を行った結果を図 6 に示す. 図 6 から,

図 $5 a-(b-c)$ における層ごとの各主成分重みと数式の途中結果の相関関係のヒートマップ. 各セルは 第 $k$ 主成分の重み（列）とある途中結果（行）との相関係数の絶対値を表す.

この数式においてもその相関が高い最大相関方向が存在することがわかる. 例えば, 1 層目の 第 4 主成分は $b$ の値と $0.97,2$ 層目の第 3 主成分は $c-d$ の値と 0.94 の相関が見られる. これら の結果から, 複数の形の数式においてモデルの内部表現はその数式の特徴, すなわち途中結果 を捉えたような構造になっていることがわかった。

## 5.2 途中結果の操作 (Manipulation)

まず，数式 $617-(555-602)$ とその途中結果 $b-c=-47$ を例に取り, Manipulation を行 う. 5.1 節から, 数式 $a-(b-c)$ において, 最大相関方向 $\hat{p}_{3}^{2}(b-c)$ は 0.97 という高い相関を 持つ. ここで, $p_{3}^{2}$ に沿ってモデルのアクティベーションを操作すると, モデルの予測結果は

図 $6(a-b)-(c-d)$ における層ごとの各主成分重みと数式の途中結果の相関関係のヒートマップ. 各 セルは第 $k$ 主成分の重み（列）とある途中結果（行）との相関係数の絶対値を表す.

図 7(1) に示されるように, 元の予測結果 (664) から約 $-1000 \sim 2000$ まで変化することがわか る ${ }^{5}$. 本研究では, Manipulation 後の主成分の重みが 5000 個の同形データにおける重み $p_{i, k}^{l}$ に 対し, $\min \left(p_{i, k}^{l}\right) \times 1.5$ から $\max \left(p_{i, k}^{l}\right) \times 1.5$ の範囲を超えないように変化量 $r$ を調整した. この 時, 予測結果の変化をモデル内の途中結果 $b-c$ の表現を変えたものによるものたと仮定すると,図 7(1) の右軸を得ることができ, 軸を反転することで $p_{i, 3}^{2}=f_{p}(b-c)$ となるような関数 $f_{p}$ が 得られる。この予測関数 $f_{p}$ を, 実際に $b-c$ の値を変化させた時の重みを $p_{i, 3}^{2}=f_{a}(b-c)$ と表 せるような実測関数 $f_{a}$ と比較した結果を図 $7(2)$ に示す. 図 $7(2)$ から, 予測関数 $f_{p}$ と実測関数

$f_{a}$ の傾向は概して一致しており, 特に元データの周りでは一致度が高いことがわかる. これは, $\hat{p}_{3}^{2}(b-c)$ が $b$ の値を一定の範囲では因果的にも符号化している証拠だと考えることができる.

一方で, 相関は高いが実測関数と一致しないような成分も存在する. 例えば, $\hat{p}_{2}^{4}(b)$ は $b$ と 0.86 の高い相関を持つが，この方向に対して同じインスタンスで Manipulation を行った結果は 図 8 のようになる. 図 8 からは, $\hat{p}_{2}^{4}(b)$ がモデル内で線形かつ局所的に $b$ の値として使用されて いるわけではないことが読み取れる。

定量評価として，同じ実験を異なる値を持つ $a-(b-c)$ の 1000 インスタンスで行った時の $\left|f_{p}(b-c)-f_{a}(b-c)\right|$ の中央値を図 9 に示す. 平均値でなく中央値を採用したのは, 誤差が大き い少数のインスタンスに全体としての結果が引っ張られないようにするためである. $f_{a}, f_{p}$ につ

(1) 重み操作によるモデル予測とそこから導いた途

(2) 途中結果と主成分の重みに関する実測関数 $f_{a}(b-$中結果の変化。

$c)$ と予測関数 $f_{p}(b-c)$ 。

図 $7 \quad \hat{p}_{3}^{2}(b-c)$ に対する Manipulation の結果. 影の部分はデータセット中に現れない重みの範囲を表す.

(1) 重み操作によるモデル予測とそこから導いた途 $(2)$ 途中結果と主成分の重みに関する実測関数 $f_{a}(b)$中結果の変化。

と予測関数 $f_{p}(b)$ 。

図 $8 \hat{p}_{2}^{4}(b)$ に対する Manipulation の結果. 影の部分はデータセット中に現れない重みの範囲を表す.

いてはどちらも最小二乗法による 4 次近似で点間を補完している ${ }^{6}$. 図 9 から, $\hat{p}_{3}^{2}(b-c)$ と比べ ると $\hat{p}_{2}^{4}(b)$ は誤差が非常に大きいことがわかる ${ }^{7}$. ここから, 特に元デー夕の近辺では $\hat{p}_{3}^{2}(b-c)$ が $b-c$ の値を因果的に符号化していること, $\hat{p}_{2}^{4}(b)$ は $b$ の值と相関は高いがモデルの推論に $b$ と して使われているわけではないことが定量的にも観察される.

$(a-b)-(c-d)$ の数式においても同じくManipulation を行う. $(524-539)-(609-793)$ という数式を元データとして, $\hat{p}_{3}^{2}(c-d)$ に対して Manipulation を行った結果を図 10 に示す.図 10(2) から, $c-d$ が -250 から 600 の範囲では $f_{a}(c-d)$ と予測関数 $f_{p}(c-d)$ は一致度が高

(1) $\hat{p}_{3}^{2}(b-c)$ に対する Manipulation。

(2) $\hat{p}_{2}^{4}(b)$ に対する Manipulation。

図 91000 個の $a-(b-c)$ のデー夕に対して重みの操作を行った際の誤差 $\left|f_{p}(b-c)-f_{a}(b-c)\right|$ の中央値。横軸は操作前のインスタンスにおける $b-c$ の值からどれほど離れた值で誤差の測定を行った かを表す.

(1) 重み操作によるモデル予測とそこから導いた途 $(2)$ 途中結果と主成分の重みに関する実測関数 $f_{a}(c-$中結果の変化。

$d)$ と予測関数 $f_{p}(c-d)$ 。

図 10 数式 $(a-b)-(c-d)$ について, $\hat{p}_{3}^{2}(c-d)$ に対する Manipulation の結果. 影の部分はデータセッ ト中に現れない重みの範囲を表す。
^{6} f_{p}$ は多価関数になる可能性があるが，その際も同様の近似手法を用いている

 }^{7} \hat{p}_{3}^{2}(b-c)$ の誤差は最大で 10 程度だが， $\hat{p}_{2}^{4}(b)$ では 1000 以上にもなることが見て取れる.

図 111000 個の数式 $(a-b)-(c-d)$ に対して重みの操作を行った際の誤差 $\left|f_{p}(c-d)-f_{a}(c-d)\right|$ の中央値.

く, $p_{3}^{2}$ が $c-d$ の值を因果的に符号化していることがわかる. 同じ形を持つ 1000 個の数式デー 夕で Manipulationを行った際の誤差中央値を図 11 に示す. 図 11 から複数の数式で定量的に見 ても, 元データの周りでは特に誤差が少なく, $p_{3}^{2}$ が $c-d$ の値を因果的に符号化していること がわかる.

## 6 議論

## 6.1 エラー分析

Manipulation を行った際の予測関数 $f_{p}$ と実測関数 $f_{a}$ の誤差にはインスタンスごとにバラつ きがある. では誤差が大きいインスタンス（元データ）にはどのような性質があるのだろうか. 5.2 節の結果と同様に $(a-b)-(c-d)$ という数式の $\hat{p}_{3}^{2}(c-d)$ に対して Manipulation を行った 際, 誤差平均值が最も大きかった 2 インスタンスの結果を図 12 に示す. 図 12 に示した例にお ける共通点は, どちらも $c-d$ の値が 0 に近いことである. 1000 インスタンスにおける元データ の $c-d$ の値と Manipulation 結果の誤差平均值の関係を図 13 に示す. 図 13 から途中結果 $c-d$ の値が 0 に近いほど誤差が大きい傾向にあることがわかるが，この結果は学習デー夕の分布に 起因するものだと推察することができる．モデルの学習において項は 0 から 1000 までの整数か らランダムで選ばれる。この時, ランダムな 2 項の引き算 $a-b$ の値の分布は図 14 のようにな る. 図 13,14 はどちらも 0 付近で値が大きくなり, 類似した形となっていることが見てとれる.

(1) $(677-989)$ - (432 - 433) に対する Manipulation の結果。

(2) $(361-217)-(691-668)$ に対する Manipulation の結果。

図 12 Manipulation を行った際, 誤差 $\left|f_{p}(c-d)-f_{a}(c-d)\right|$ が大きくなる例.

ここから, 図 12 に示したような例で Manipulation が失敗するのは $c-d$ が 0 付近となるような インスタンスが学習データ中に多く存在するため, その周りでの内部表現は過学習されたもの となっているためではないかと考えることができる。これは, ニューラル数式ソルバーの性能 が学習データ中の頻度に依存するという先行研究 (Razeghi et al. 2022)の結果とも関連する.

## 6.2 本研究の限界

本研究で用いた手法や設定には複数の制限や限界がある. 本研究で用いたデータセットは足 し算と引き算，かっこのみから構成されており，この狭いスコープで観察されたことがどこま

図 $13(a-b)-(c-d)$ における $c-d$ の値と Manipulation 誤差の関係.

図 14 ランダムな 2 項の引き算 $a-b$ の値の分布.

で一般化できるかについては疑問が残る。より複雑度を上げるためにはかけ算や割り算, 剰余 などの演算子を導入することが考えられるが，特にかけ算を導入した場合は回帰の設定で訓練 を行っていることもあり，答えの分布が疎になってしまうことに留意するべきである．また，本研究では直接数式の答えの大きさを予測する回帰の設定で行っているが，2 節で述べた数量推論の研究の多くは生成やマスク穴埋めによって答えを出す, シンボルからシンボルへの設定 で行われている。この点においても，本研究の結果を一般的な数量推論モデルに適用する際の ギャップがあると考えられる。一方で，内部状態さえ取得できれば手法を適用することは可能 なため, GenBERT (Geva et al. 2020)のような本研究で使用したデータセットと近い数式でも 訓練しているモデルに対して途中結果の追跡や操作を試みることが手段として考えられる。さ

らに, 本研究の手法は前提としてモデルの内部状態を取得できることが必要である．そのため, GPT-3のような入力と出力しか知ることができず，内部状態が公開されていないようなモデル に対してはそもそも途中結果の追跡や操作を行うことができない.

## 7 おわりに

本研究では言語モデルが数値計算を行う時に内部で行っている処理を明らかにするため, 数式中の途中結果に着目し追跡と操作を行った. その結果, 「数値計算ができるモデル」の内部で は途中結果の情報が存在し, かつその情報はモデルの推論時にも使われていることを解明した.本研究の手法はアクティベーションを連続的に変化させることでモデルに対して詳細な因果推論を行うこと自体も貢献である．今後の方向性としては，本研究の知見を他のデータセット， あるいは他の設定でのモデルに適用して同様に数値計算能力を調査し, Tracing と Manipulation の分析道具としての有用性を示すといったことが考えられる。また, さらに複雑な数式を分析対象とし, 符号化される時とされない時の違いを調査するといったことも考えらえる.

## 謝 辞

本研究は JST CREST JPMJCR20D2, JSPS 科研費 21K17814の助成を受けたものです.

## 参考文献

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., and Amodei, D. (2020). "Language Models are Few-Shot Learners." In Larochelle, H., Ranzato, M., Hadsell, R., Balcan, M., and Lin, H. (Eds.), Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc.

Charton, F. (2021). "Linear Algebra with Transformers." arXiv preprint arXiv:2112.01898.

Chen, C.-C., Huang, H.-H., Takamura, H., and Chen, H.-H. (2019). "Numeracy-600K: Learning Numeracy for Detecting Exaggerated Information in Market Comments." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6307-6313, Florence, Italy. Association for Computational Linguistics.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidi-
rectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Dua, D., Wang, Y., Dasigi, P., Stanovsky, G., Singh, S., and Gardner, M. (2019). "DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2368-2378, Minneapolis, Minnesota. Association for Computational Linguistics.

Elazar, Y., Ravfogel, S., Jacovi, A., and Goldberg, Y. (2021). "Amnesic Probing: Behavioral Explanation with Amnesic Counterfactuals." Transactions of the Association for Computational Linguistics, 9, pp. 160-175.

Geva, M., Gupta, A., and Berant, J. (2020). "Injecting Numerical Reasoning Skills into Language Models." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 946-958, Online. Association for Computational Linguistics.

Hewitt, J. and Manning, C. D. (2019). "A Structural Probe for Finding Syntax in Word Representations." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4129-4138, Minneapolis, Minnesota. Association for Computational Linguistics.

Hosseini, M. J., Hajishirzi, H., Etzioni, O., and Kushman, N. (2014). "Learning to Solve Arithmetic Word Problems with Verb Categorization." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 523-533, Doha, Qatar. Association for Computational Linguistics.

Jawahar, G., Sagot, B., and Seddah, D. (2019). "What Does BERT Learn about the Structure of Language?" In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3651-3657, Florence, Italy. Association for Computational Linguistics.

Liu, Z., Kitouni, O., Nolte, N., Michaud, E. J., Tegmark, M., and Williams, M. (2022). "Towards Understanding Grokking: An Effective Theory of Representation Learning." In Oh, A. H., Agarwal, A., Belgrave, D., and Cho, K. (Eds.), Advances in Neural Information Processing Systems.

Lovering, C., Jha, R., Linzen, T., and Pavlick, E. (2021). "Predicting Inductive Biases of PreTrained Models." In International Conference on Learning Representations.

Mishra, S., Finlayson, M., Lu, P., Tang, L., Welleck, S., Baral, C., Rajpurohit, T., Tafjord,

O., Sabharwal, A., Clark, P., and Kalyan, A. (2022). "Lila: A Unified Benchmark for Mathematical Reasoning." In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5807-5832.

Mu, J. and Viswanath, P. (2018). "All-but-the-Top: Simple and Effective Postprocessing for Word Representations." In International Conference on Learning Representations.

Patel, A., Bhattamishra, S., and Goyal, N. (2021). "Are NLP Models really able to Solve Simple Math Word Problems?" In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2080-2094, Online. Association for Computational Linguistics.

Piekos, P., Malinowski, M., and Michalewski, H. (2021). "Measuring and Improving BERT's Mathematical Abilities by Predicting the Order of Reasoning." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 383-394, Online. Association for Computational Linguistics.

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2020). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." Journal of Machine Learning Research, 21 (140), pp. 1-67.

Raganato, A. and Tiedemann, J. (2018). "An Analysis of Encoder Representations in Transformer-Based Machine Translation." In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 287-297, Brussels, Belgium. Association for Computational Linguistics.

Ravfogel, S., Elazar, Y., Gonen, H., Twiton, M., and Goldberg, Y. (2020). "Null It Out: Guarding Protected Attributes by Iterative Nullspace Projection." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7237-7256, Online. Association for Computational Linguistics.

Razeghi, Y., Logan, R. L., Gardner, M., and Singh, S. (2022). "Impact of Pretraining Term Frequencies on Few-Shot Reasoning." arXiv preprint arXiv:2202.07206.

Sajjad, H., Dalvi, F., Durrani, N., and Nakov, P. (2021). "On the Effect of Dropping Layers of Pre-trained Transformer Models." arXiv preprint arXiv:2004.03844.

Saxton, D., Grefenstette, E., Hill, F., and Kohli, P. (2019). "Analysing Mathematical Reasoning Abilities of Neural Models." In International Conference on Learning Representations.

Shibata, C., Uchiumi, K., and Mochihashi, D. (2020). "How LSTM Encodes Syntax: Exploring Context Vectors and Semi-Quantization on Natural Text." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4033-4043, Barcelona, Spain

(Online). International Committee on Computational Linguistics.

Thawani, A., Pujara, J., Ilievski, F., and Szekely, P. (2021). "Representing Numbers in NLP: a Survey and a Vision." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 644-656, Online. Association for Computational Linguistics.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc.

## 略歴

松本 悠太：2021 年東北大学工学部電気情報物理工学科卒業. 2023 年同大学院修士課程修了. 同年, 株式会社リクルートに機械学習エンジニアとして入社.

Benjamin Heinzerling: Benjamin Heinzerling is a postdoctoral researcher at RIKEN AIP and Tohoku University in Sendai, Japan. His research interests include the analysis of world knowledge in language models, linking texts and knowledge bases, and multilingual subword methods. He holds a PhD degree in Computational Linguistics from Heidelberg University, Germany.

吉川 将司: 2020 年奈良先端科学技術大学院大学先端科学技術研究科情報科学領域博士課程修了. 同年, 東北大学助教.

乾 健太郎：東北大学大学院情報科学研究科教授. 1995 年東京工業大学大学院情報理工学研究科博士課程修了. 同大学助手, 九州工業大学助教授, 奈良先端科学技術大学院大学助教授を経て, 2010 年より現職. 2016 年より理化学研究所 AIP センター自然言語理解チームリーダー兼任.

$\left.\begin{array}{ll}(2023 \text { 年 } 3 \text { 月 } 1 \text { 日 } & \text { 受付 }) \\ (2023 \text { 年 } 7 \text { 月 } 1 \text { 日 } & \text { 再受付 }) \\ (2023 \text { 年 } 8 \text { 月 } 10 \text { 日 } & \text { 採録 }\end{array}\right)$

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/