# BERT の教師なし分野適応による数学問題テキスト構文解析の 精度向上要因の分析

吉田琉夏 松崎拓也
東京理科大学 理学部第一部 応用数学科
1419099@ed.tus.ac.jp matuzaki@rs.tus.ac.jp

## 概要

本研究では，BERT の分野適応によって数学テキ ストの構文解析精度が向上する要因およびその限界 を明らかにする。また，BERT の分野適応の効果は 分野固有のサブ言語である数式を表現する方式に依存することを示し，適切な方式を明らかにする。

実験の結果，BERT の分野適用を行う場合，数式全体を専用の特殊トークンで置き換える方式が最も 構文解析精度が高く, 分野適応を行わない場合に比 べて約 4 ポイント向上した. また，このとき数式を 含む構造に関する誤りが多く改善されていた。一方 で， fine-tuning に用いた新聞係り受けコーパスでの 出現頻度が低い構造に関する誤りは，BERT の分野適応のみでは改善されにくいことがわかった.

## 1 はじめに

数学テキスト・法律・技術文書など，読解に一定 の専門知識が必要になるテキストの構文アノテー ションは，高コストである。一方で，近年 BERT の 使用により高精度な係り受け解析が実現できること が示され [1], さらに, BERT の事前訓練に構文解析 の対象とする分野のテキストを用いることの有効性 が示されている [2]. そこで本研究では, 構文注釈付きデータが不要な BERT の分野適応のみによっ て，数学テキストの解析精度がどこまで向上するか を分析する．具体的には，数学テキストの文節単位 の係り受け解析において，Wikipedia のみで事前訓練した BERT を用いる場合と数学テキストでの事前学習を追加で行う場合を比較した。

また，数学テキストにはサブ言語である数式が頻出する. 数式はメイン言語, 例えば日本語とは語彙 も文法も全く異なるため，メイン言語のトークンと 同列に扱って BERT に入力するのが適切であるか 否かは不明である. 同様なことは化学式など分野固有のサブ言語を含む種々のテキストでも起きる。そ こで本研究では，BERT を数学テキストに適用する 際の数式の表現として，数式全体を 1 つの未知語 トークンで表す場合，新たに追加した特殊トークン で表す場合，数式に現れる記号を BERT の語彙に加 える場合，数式を数式専用 BERT に入力したときの [CLS]ベクトルで表す場合の 4 つを比較した.

実験の結果，BERT の分野適用を行う場合，数式 を専用の特殊トークンで表す方式が最も係り受け解析精度が高く, 分野適応を行わない場合に比べて約 4 ポイント向上した. しかし, さらに係り受け注釈付き数学テキストを訓練に使用した場合と比べると なお約 3 ポイントの差がある.

そこで，(1)BERT の分野適応によって改善する誤 りと (2)注釈付き数学テキストを用いた訓練によって のみ改善する誤りについて分析した. その結果，(1) では，数式を含むことが多い構造に関する誤り，(2) では，注釈付き新聞テキストでは低頻度な構造の誤 りが多く改善されることがわかった.

## 2 方法

本稿で比較する係り受け解析手法では全て東北大学が公開している Wikipedia での事前学習済み BERT-base モデル [3]（以下，東北大 BERT と呼ぶ） を用いた。そして，以下の 3 点について次節の表 3 の様に組み合わせた計 6 つの解析モデルを作成した:

1. 数学生テキストを用いた追加の事前訓練の有無
2. 4 つの数式表現方式のいずれを用いるか

3. 係り先予測の fine-tuning において，新聞に加え て数学係り受けデータを用いるか否か

## 2.1 使用データ

数学生テキストとして，1957 年〜2020 年の大学入試問題を収集し，数式を MathML 表記したもの [4]（以下，MRaw と表記）を用いた。注釈付き新聞
表 1 使用データのサイズ. 数式\%は各数式を 1 つの形態素と数えたときの全形態素に占める数式の割合

表 24 つの方式による数式を含む入力の表現の例

テキストとしては，京都大学テキストコーパス Ver. 4 （以下，KTC）[5]を用いた. 注釈付き数学テキスト としては，1997 年〜2011 年のセンター試験と 1994 年 2014 年の国立大学 2 次試験数学問題に KTC と 同じ基準で係り受け構造を付与したもの（以下， MDep）を用いた。

## 2.2 数式の表現方法

数式の表現として，以下の 4 つを比較した．表 2 にそれぞれの例を示す.

[UNK] 数式全体をまとめて東北大 BERT の語彙の 未知語トークン [UNK] で表す

[MATH] 新規追加した特殊トークン [MATH] で表す Mixed 数式に現れる個々の記号（以下，数式ト一 クン）を語彙に加え，日本語のサブトークンと 数式トークンが混じった列に BERT を適用する

ExprBERT 数式トークン列を数式専用 BERT に入力したときの [CLS] ベクトルを数式に対応する 単語埋め込みとして東北大 BERT に入力する

数式トークン列は，アルファベットや演算子，上付 き・下付きを表す記号等からなる LaTeX 風の記法 である．数式トークンの語彙サイズは 241 で，例え ば， $a_{n}=n^{2}+100 n$ であれば

$
a,-\{, n,\},=, n,^{\wedge}\{, 2,\},+, 100, n
$

のように表す. 数式専用 BERT の構成は BERT-base と同一である.

## 2.3 BERT の分野適応の手順

東北大 BERT を初期値とし，MRawを訓練デー タとする Masked Language Modeling (MLM) タスクに よって BERT の分野適応を行った. タスクの設定は Devlin ら [6] に従った. 数式の表現として ExprBERT

1） $\mathbf{e}_{1}, \mathbf{e}_{2}$ はそれぞれ対応する数式トークン列を数式専用 BERT に入力したときの [CLS] ベクトルを表す
を用いる場合は，マスクしたトークンを予測する代 わりに，東北大 BERT の単語埋め込みおよびミニ バッチ中の数式に対する数式専用 BERT による埋め 込みの中から，マスクしたトークンないし数式に対応するべクトルを選択するタスクとした。

## 2.4 係り受け解析モデル

Dozat と Manning[7]の Biaffine モデルを BERT と組 み合わせて文節単位の係り受けに適用した. Biaffine 関数への入力ベクトルは，係り元の文節の語形およ び係り先候補の主辞に相当する形態素それぞれの先頭のサブトークンに対する BERT の出力ベクトルと した. 主辞・語形の定義は文献 [8] に従った.

## 2.5 係り先予測 fine-tuning の手順

訓練データとして KTC，あるいは KTC と MDep を連結したものを使用して係り先予測タスクへの fine-tuning を行い，評価データとして MDep を用い た. 訓練データとして KTC のみを用いる場合は， その 1 割を検証データとし，KTCと MDepを連結し たものを用いる場合は，MDepの 1 割を検証データ，残りを訓練データとし，MDepを 5 分割した交差検証で評価した。

## 3 実験結果

表 3 亿，事前訓練データ・係り受け訓練データ・数式の表現方式の 6 つの組み合わせに対する評価結果を示す. 全体に対する精度に加え，数式を含む 文節を MATH，含まない文節をWORD と表すとき，係り元一係り先の 4 つのパターンごとの $F_{1}$ スコア を示した. Biaffine 関数の出力に基づく係り先予測 の結果が交差する係り受け関係を生じるケースは極 めて少なかったため, CKY 等の解析アルゴリズム は用いず，係り先予測の結果を評価した。

表 3 より，構文解析済みデータが存在しない場合 であっても，数学問題データで MLMを行うことに よってどの数式表現方式でも精度が向上しているこ とがわかる．特に数式を $[\mathrm{MATH}]$ で表す場合は，数式を [UNK] で表す場合に比べて約 4 ポイントの精度向上を達成しており，とりわけ MATH $\rightarrow$ MATH 型の $F_{1}$ スコアは約 11 ポイントも向上している.

BERTの分野適応のみを行う場合，ExprBERT， Mixed, [MATH] の 3 つの数式表現方法を比較する と, [MATH] の結果が最も良好で, 次いで Mixed, ExprBERT の順になっている. しかし，数式を
表 3 事前訓練データ・係り受け訓練データ・数式の表現方式の 6 つの組み合わせに対する評価結果

 &  &  &  &  &  &  &  \\

表 4 BERT の分野啇応により改善した誤りの内訳

$[\mathrm{MATH}]$ と表す場合であっても BERT の分野適応の み行う場合と，さらにMDepを用いて訓練する場合 との間で約 3 ポイントの精度の差が生じている.

## 4 誤りの改善例の分析

BERT の分野適応による構文解析精度の向上の要因およびその限界を明らかにするために，誤りの改善例を分析した，具体的には，事前訓練データ：係 り受け訓練データ : 数式表現の組み合わせを

設定(1) = Wiki : KTC : [UNK]

設定(2) = Wiki+MRaw : KTC : [MATH]

設定(3) = Wiki+MRaw : KTC+MDep : [MATH]

と名付けるとき，設定(1)から設定(2)で改善される誤 り (\$4.1)，および設定(2)から設定(3)で改善する誤り (\$4.2) について 5 分割交差検証のうちの 1 つ分から 改善された誤りを 100 個サンプリングし，分析し た. 実際の改善例は付録 §6 に示す。

また，数式を $[\mathrm{MATH}]$ で表す単純な方式が，数式 の構成要素まで考慮する方式を上回った理由を探る ため, $[\mathrm{MATH}]$ 方式および ExprBERT による数式の 埋め込みを観察した (\$4.3).

## 4.1 BERT の分野適応による改善例の分類

設定(1)から設定(2)で改善した誤りを分類した結果 を表 4 に示す. 表中の並列された数式との同格関係 の誤りとは，下図の様に，並列された数式のタイプ を表す名詞が，正しい係り先である最後の並列要素 に係らない誤りのことである。3)

2） Wiki は Wikipedia の略である.数式の並列の解析誤りとは，並列要素が，右隣の 並列要素に係らない誤りのことである:

ガ格を持たない命令形に関する誤りとは, 命令形 にガ格あるいは無格の名詞が係る誤りである．特に 並列された数式の一部が命令形に係る誤りが改善さ れた例が複数見られた。

これらの誤りが改善された理由として以下が予想 される。まず，Wikipedia では未知語トークンは点在して出現しやすいのに対し，特殊トークンを用い た MLM により，数式同士が近くに出現しやすいこ とが学習される。さらに，KTCによる係り受け訓練 で，近接する同種のトークンは，並列関係になりや すいことが学習されることで数式の並列を含む構造 が正しく解析されやすくなる.

## 4.2 数式係り受けデータによる訓練でのみ 改善した例の分類

設定(2)から設定(3)で改善した誤りを分類した結果 を表 6 に示す.「 「A は $B$ とする」型の誤りは，「A は」の文節が，「する」に係ってしまい，「A $B$ と (ともに何かを) する」という誤った解釈に対応する 構造となるものである: ${ }^{4)}$

条件が命令形に係る誤りとは，下図の様に「条件 が成り立つとき(のみ)～せよ」という誤った解釈に 対応する構造を出力する誤りである:

3）この項の図では，黒矢印は正解，赤矢印は設定(1)，青矢印 は設定(2)で出力される係り受け関係を表す。

4）この項の図では，黒矢印は正解，赤矢印は設定(2)，青矢印 は設定(3で出力された係り受け関係を表す.
表 5 異なる数式表現による数式埋め込みの比較

表 6 数式係り受けデータを用いた訓練で改善した 誤りの内訳

部分並列の解析誤りとは，「父は山，母は海が好 きだ」の様な構造における解析誤りである:

§4.1と $\$ 4.2$ で共通して多く見られた並列に関する 誤りの改善例を比べると， 84.1 の改善例の多くでは 並列要素が $2 \sim 3$ 個であるのに対し, $\$ 4.2$ の改善例で は並列要素をそれ以上含むものが多かった. 表 7 に KTC と MDep における読点で区切られた名詞並列中の要素数の分布を示す. この形の並列は KTC で は MDepに比べ少数で，かつ並列要素が少ないもの が主である. このため, 多数の要素からなる並列構造に関する誤りは MRaw での MLM と KTC での訓練のみでは十分に改善できなかったと考えられる。

$「 A$ は $B$ とる」型の誤りおよび条件が命令形に 係る誤りは，正解・誤りいずれの構造も文法的にあ りうるが，数学テキストで主である解釈に対応する 方の構造が，新聞では出現しにくいため，MDep で の学習によりはじめて改善されたと考えられる.

また，部分並列の解析誤りは，この構造が KTCで は $1 \%$ 未満の文しか出現しないのに対し, 数学テキ ストでは頻出すること，さらに「母は海が好きだ」 に対する正しい構造が「父は山，」が付加されること
で誤りになるという特殊性により，KTC のみでの係 り受け訓練では改善されにくかったと考えられる。

## 4.3 異なる数式表現による数式埋め込みの 比較

数式を [MATH] で表す単純な方式が，数式の構成要素まで考慮する方式を上回った理由を探るため， [MATH] 方式および ExprBERT による数式の埋め込 みを観察した。表 5 に，(1) “ 2 次関数 $y=a x^{2}+b x+c$ の..."および $(2)$ “. .2 点 $(0,4),(2, k)$ を...”の下線部の数式を，文脈とともに設定(2)の BERT に入力し た時と，文脈なしで ExprBERT に入力した時に得ら れる埋め込みと $\cos$ 距離が近くなる入力を示した.

表 5 より，入力 (1)に対しては，ExprBERTによる 数式埋め込みでは， 2 次関数に加え 3 次関数の埋め 込み，[MATH] 方式では，2 次関数との類似度が高 いことが分かる。 入力 (2)に対しては, ExprBERTに よる数式埋め込みでは，座標の埋め込み，[MATH]方式では，点を表す変数との類似度が高いことが分 かる.5)

これらの例より，[MATH] 方式による数式埋め込 みは，係り受け解析を目的とする場合，数式の特徴 を十分に捉えていることがうかがえる. よって，数式の表現が単一の特殊トークン [MATH] であって も，文脈によって数式同士の類似度が予測できるた め，より複雑な ExprBERT による数式埋め込みと同等以上の効果があったものと思われる。

## 5 おわりに

BERT の分野適用を行う場合，数式を専用の特殊 トークンで表す方式が最も構文解析精度が高いこと がわかった. さらに，BERT の分野適用のみで，数式を含む構造に関する誤りが多く改善されることが わかった。しかし， fine-tuningに用いた注釈付き新聞テキストで低頻度な構造は改善されにくいことが わかった。
$ 座標のみの数式である.
}

## 謝辞

数学問題テキストを提供頂いた広松芳紀様および 数学テキスト係り受けデータを提供頂いた「ロボッ トは東大に入れるか」プロジェクトの皆様に深く感謝いたします.

## 参考文献

[1] 柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会 第 25 回年次大会, 2019.

[2] Jenna Kanerva, Filip Ginter, and Sampo Pyysalo. Dependency parsing of biomedical text with bert. In BMC Bioinformatics, 2020.

[3] https://github.com/cl-tohoku/ bert-japanese.

[4] 広松芳紀. 大学入試数学問題集成, 2022. https: //mathexamtest.web.fc2.com/index.html.

[5] 黒橋禎夫, 長尾眞. 京都大学テキストコーパス・ プロジェクト. 言語処理学会 第 3 回年次大会, pp. 115-118, 1997.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In North American Chapter of the Association for Computational Linguistics (NAACL), 2019.

[7] Timothy Dozat and Christopher D. Manning. Deep biaffine attention for neural dependency parsing. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings, 2017.

[8] 工藤拓, 松本裕治. チャンキングの段階適用に よる係り受け解析. 情報処理学会, 2002.

## 6 付録

## 6.1 BERT の分野適応の手順

パラメータ最適化の最大エポック数は 50 で，検証データに対するロスが最小になるエポック数を選んだ. ミニバッチサイズは 16 とした. 最適化手法として AdamW を用い，学習率は $5 \times 10^{-5}$ とした.

## 6.2 係り先予測 fine-tuning の手順

最大エポック数を 5 とした以外は 86.1 と同じ設定でパラメータ最適化を行った.

## 6.3 BERT の分野適応により改善した誤りの実例

以下では，黒矢印は正解，赤矢印は設定(1)，青矢印は設定(2)で出力された係り受け関係を表す.

図 1 並列された数式との同格関係に関する誤りの実例 1

図 2 並列された数式との同格関係に関する誤りの実例 2

図 3 数式の並列の解析誤り

図4 ガ格を持たない命令形に関する誤り

## 6.4 数学係り受けデータを用いた訓練で改善した誤りの実例

以下では，黒矢印は正解，赤矢印は設定(2)，青矢印は設定(3で出力された係り受け関係を表す.

図 $5 「 A$ は $B$ とする」型の誤り，部分並列の解析誤りの実例

図 6 条件が命令形に係る誤りの実例


# 実世界の文書に対する構文解析器の疑似評価

金山博宮本 晃太郎
日本アイ・ビー・エム株式会社東京基礎研究所
\{hkana,kmiya\}@jp.ibm.com

## 概要

本研究では、構文解析器の実応用上での性能を、 ドメイン特有の名詞句の構造に着目して推定する手法を示す。構文構造を付与したコーパスに比して、当該ドメインの専門用語のリストは低コストで取得 でき、それらが部分木を形成するかをもって、解析器が重要な句を認識する能力を調べる。これによっ て、ドメインに特化した観点で複数の解析器の性能 を比較することや、実用性を大きく損なう現象に注目して解析器をチューニングすることが可能とな る。2つのドメインで 5 つの解析器の性能を測る実験では、一般のベンチマーク上のスコアとは異なる 傾向が観測され、実用の観点で考慮すべき点が示唆 された。

## 1 はじめに

文区切り・単語区切り・品詞タグ付け・依存構造解析などを行う自然言語の解析器はさまざまな 場面で利用されており、Universal Dependencies (UD) $[10,9]$ など各言語のリソースが整備され、学習や評価に使われるようになった。しかし、実応用の場面 で入力される文書は、特殊な語彙や文体を含むこと が多く、それらに対して既存の解析器が好適な結果 を出力できているとは限らない。例えば、自動車の 不具合の報告の中の文 (1) ${ }^{1}$ は、(1a) の構造2) を持ち、 このように “check engine light” が複合名詞句として 認識されれば、事物と動作の関係が抽出できて、現象の把握に役立つ。

(1) Check engine light came on.

しかし、ある解析器の出力では (1b) のように、

1）「エンジンを確認せよという警告が点灯する」の意。

2） comp. は compound ラベルを示す。 “check”が動詞とタグ付けされることにより名詞句 の部分が部分木を構成せず、文全体の構造が乱れて いた。これは後段の処理の大きな障害となりうる。

*(1b)

このように特定の分野の文書に対して解析器を適用して、意味役割付与 [1] や評価表現抽出 [6] などの 後段の処理をする局面で、現存する解析器が充分な 性能を出せているだろうか。その性能は UD のコー パス上でのベンチマークによって測ることができて いるだろうか。特に、複数の解析器やその様々なモ デルのうち最も適したものを用いたい時に、どれを 選択すれば望ましい出力が得やすいか。これらの質問に答えるための正確な測定には、当該分野の文書 に構文構造を付与したコーパスを用いることが望ま しいが、そのようなコーパスは存在しないし、それ を逐一作成するコストは膨大である。

一方で、テキストマイニングの運用の局面では、 しばしば当該分野で検索や分析の対象となる辞書 を作成したり [7, 13]、既存のオントロジーを流用す るなどして、名詞句や固有名詞が列挙されたリソー スが存在することが多い。文 (1)における“heck engine” ないし “check engine light”がそれに該当す る。これらの句が当該分野の文書中に現れた場合、 (1a) のように構文木の中で部分木を構成するはず である。一方、(1b) のように句が分断されている場合、解析器の明らかな出力誤りである場合が多い。

本論文では、分野特有の名詞句に対する解析結果 の構造を調べることによって、構文構造のアノテー ションに頼らずに解析器の実応用における性能を推定する方法を提案する。これによって、一般のベン チマーキングとは異なり、実応用の観点で複数の解析器の性能を比較することや、実用性を大きく損な う現象に絞って解析器のチューニングを行うことが できるようになる。
表 1 分野名詞句の例。

## 2 分野名詞句辞書

いわゆる複数語表現（MWE）で名詞的なもの [3] のうち、特定の分野で頻出する専門用語や固有名詞 をここでは分野名詞句と呼ぶ。表 1 に、自動車の不具合のレポートと、サービスの契約書の各ドメイン の分野名詞句の例を示す。分野名詞句は次のような性質を持つ。

1. 専門用語や固有名詞のリストであるため、これ らの語が文書中の表層上に現れた場合は、曖昧性が少なく、文脈により異なる解釈がされるこ とは稀である。

2.これらの語は、情報検索や関係抽出など、当該分野の文書を処理する上で重要であり、品詞タ グ付けや構文解析に失敗すると、構文解析結果 の有用性が大きく損なわれる。

それらを列挙した辞書のことを、分野名詞句辞書と呼ぶ。分野名詞句辞書は、各分野の専門家が分析等の目的で既に作成済であることが多く、そうで なくてもテキストマイニングにより頻出する語やフ レーズを集計するなどで半自動的に構築したり、重要キーフレーズの教師なし学習 [4] により獲得する ことができるなど、その構築自体に大きなコストは かからないという状況を想定している。

## 3 名詞句の構文構造

2 節で示した分野名詞句が、特定の分野の文の構文解析結果の中でどのような構造になっていると望 ましいか、逆にどのような構造が出力されたら解析 に失敗していると推定されるかを考える。そのため に、分野名詞句と表層が一致した部分の構文木の形 を以下の 6 種類に分類する。

right 分野名詞句の多くは、例 (2) の “safety concern” の部分 ${ }^{3}$ のように、compound のラベルで結ばれ

3）分野名詞句辞書に含まれる複合語と符合した部分を四角の 枠で示す。
る複合名詞となっている。このように、分野名詞句の中で、最も右の語が主辞であり、その中 の他のすべての語が名詞句内の語に係っている 形を right と呼ぶ。

(2)

left 固有名詞の場合、(3)のように、flat や nummod のラベルで左側が主辞となる構造となることが 一般的である。このように、最も左の語が主辞 であり、その他の語が名詞句内の語に係る形を left と呼ぶ。

(3)

mid 3 語以上からなる分野名詞句の場合、それら の組み合わせにより、(4)のように主辞が中間 に位置することがある。この形を mid と呼ぶ。

(4)

same 分野辞書にある名詞句が、さらに大きな名詞句の一部として出現する場合がある。構文解析器の出力 (5) では、“warning light” が分野名詞句として検出された。しかし “warning light message”がより大きな複合名詞であり、解析結果でも “warning”と “light” の双方が “message” に compound ラベルで係る形となっていること から、“warning light”に着目すると、その中で 係り受けが閉じていない。厳密には “warning” と “message” の係り受けは正しくないが、名詞句の内部構造を正確に捉えることは難しく4)、 “warning light message” が部分木を成せば全体の 構文構造に破綻をきたすほどではないと考え て、エラーとしては検出しないこととする。こ のように、分野名詞句のそれぞれの語が外側の 同じ語に係っている構造を same と呼ぶ。

4）UD のコーパスの中でも、 3 語以上の flat や compound の内部構造は詳細にアノテートされていない。

図 1 other となる例。分野名詞句 “stop light” の構造が分断されている。

conj 並列句において、名詞句の構造が分断される 場合も考慮する。(6) では、“repair shop”が分野名詞句であるが、“dealer”と “repair”が並列構造 をなして“shop”に係る構造となっており、左側主辞の原則により係り受けが分断されている が、これは構文構造として正しい。このような 場合、“dealer shop”が分野名詞句辞書にあるな ら、並列構造が正しいとみなして、解析誤りで はないと判定する。このようなケースを conj と 呼ぶ。

(6)

other これまでの分類に属さないものが other であ る。(1b)のように品詞タグ付けの誤りに起因す るものや、図 1 のように名詞句が分断される場合などが該当し、これらを潜在的に重大な解析誤りであると捉える。

また、(7) の並列構造では、検出された分野名詞句 “steering wheel” の構文構造が分断されて いるが、これは “truck”と“steering”が並列とみ なされるという誤った解析結果によるものであ る。“truck wheel”という語が分野名詞句辞書に 無いことから、これも other に分類され、解析誤りであるとみなせる。

*(7)

## 4 評価実験

本節では、英語の 2 つの分野を題材に、 3 節の基準で other と分類される分野名詞句の潜在的な解析誤りの量を調べることによって、当該分野における 解析器の有用性を評価する。また、一般のベンチ マークと比較して、各解析器の評価結果の傾向にど のような差異があるかを調べる。表 2 解析器 $A \sim E$ の単語区切り (Words) ・品詞タグ付け (UPOS) ・係り受け解析 (UAS, LAS) の精度 (F1 值) を UD_English-EWT コーパスで測定したもの。

## 4.1 分野のデータ

まず、自動車分野のデータとして、National Highway Traffic Safety Administration (NHTSA) [2] が収集・公開している「Consumer Complaints」 5)のうち の 10,000 レコードを用いた。

また、法的契約文書のデータとして、CUAD [5] データセット6）のうちの「2020」ディレクトリから 抽出された 10,000 レコードを用いた。

分野名詞句辞書として、自動車分野では分析に用 いていた既存の辞書にある 3,942 個の名詞句を活用 した。契約書分野では文書集合中で連続して単語の 先頭が大文字で書かれる頻度が高い名詞句 924 個を 抽出した。それらの例は表 1 に示した通りである。

## 4.2 解析器

英語の解析器として、ここでは、UDPipe 2 [12] の UD_EWT 2.6 モデル、Stanza 1.0.0 [11]、Trankit 1.0 .0 [8]、および 2 つの内製の解析器を含めた 5 つを比較 する。なお、各解析器の優劣を議論することは本論文の趣旨ではないので、以下ではこれらの順序を変 えて解析器 $A \sim E$ と表記する。

これらの解析器をUD_English-EWT のテストデー タで評価した結果を表 2 に示す。品詞タグ付け・依存構造解析とも、B, D, E の值が高い。UAS, LAS が 最も高い B は単語区切りの性能の高さによることも あり、D, E と本質的な性能に大きな差はない。

EWT コーパスにはさまざまな特殊な現象がある

5) https://www.nhtsa.gov/nhtsa-datasets-and-apis\# complaints

6) https://paperswithcode.com/dataset/cuad
表 3 各解析器の自動車分野での名詞句の構造の頻度。括弧は other となる割合を示す。

表 4 契約書分野での名詞句の構造の分類。

ことが知られており [14]、UD のベンチマークと実応用での有用性には乘離がある可能性がある。この 後の評価では分野のコーパスを用いて検証を行う。

## 4.3 評価結果

表 3 と表 4 に、 2 つの分野の文書での分野名詞句 の構造の頻度を示す。other となる場合が潜在的な 解析誤りであるとして、その割合を付記してある。解析器 A を除いて両分野で right が $90 \%$ を超えて いる通り、分野名詞句の大半は複合名詞として認識 されている。A では他よりも left ・ mid が多いが、複合名詞が左主辞の固有名詞と解釈される場合がほと んどで、それらは分析に大きな支障はない。解析器 C は same が多く、より広い範囲の複合名詞と捉え る傾向がある。

other の割合は契約書のほうが多い。フォーマル な文体ではあるものの長い文が多いことから解析が 難しいことがわかる。また、conj の頻度に並列句の 多さが現れている。

これらを表 2 で見た性能と比較すると、解析器 C は LAS のスコアが最も低いのに other の割合は小さ く、特に契約書分野ではエラーの割合が最も低い。契約書分野では UD 上の係り受けの誤り率7) と other の割合が負の相関を持っており、解析器の実データ 上での性能は UD-EWT でのベンチマークでは測定 できていないといえる。

表 5 各構造と実際の誤りの関係。

表 6 誤りの頻度の多い分野名詞句の例。

## 4.4 擬似評価の妥当性

other の検出による性能の評価が妥当であるかを 知るために、各カテゴリの名詞句の構文構造が実際 に正しいかどうかを、自動車分野の文に対する解析器 $A \sim E$ の解析結果から 40 件ずつサンプリングして 調査した。表 5 にその結果を示す。これより、other の分類によって分野名詞句の誤りを検出することの 適合率は $95 \%$ (=2/40)、再現率は各カテゴリの頻度 を考慮して $78.4 \%(=(49.8 / 40) /(63.5 / 40))$ と計算さ れ、簡単な方法でありながら名詞句周辺の解析誤り を正しく捉えられているといえる。

## 4.5 誤りの典型例

表 6 に、解析器 A が各分野で other となった分野名詞句のうち頻度が高いものを示す8)。自動車分野 では “warning”や“steering” などが動詞とみなされる ことによる誤りが目立つことなどがわかり、複合語 を集約して一語とみなすなどの前処理によって解析誤りを防ぐことができる。契約書分野でも、解析に 支障をきたす専門用語が見出された点が興味深い。

## 5 まとめ

本論文では、実応用上での解析器の性能を、分野特有の名詞句の解析結果に着目して推定する手法を 示した。これにより、新たなコーパスを作成するコ ストをかけずに、一般のベンチマークとは別の観点 で、当該分野の文書の解析において最も好ましい解析器やモデルを選択することができるようになっ た。また、後段の処理で致命的になりうる典型的な 誤りを検知することができて、有用な解析器を実現 するための示唆が得られた。

## 参考文献

[1] Xavier Carreras and Lluís Màrquez. Introduction to the CoNLL-2005 shared task: Semantic role labeling. In Proceedings of the ninth conference on computational natural language learning (CoNLL2005), pp. 152-164, 2005.

[2] Monica G. Eboli, Catherine M. Maberry, Ian A Gibbs, and Ramsi Haddad. Detecting potential vehicle concerns using natural language processing applied to automotive big data. In Proceedings of the 26th International Technical Conference on the Enhanced Safety of Vehicles (ESV), 2019.

[3] Meghdad Farahmand, Aaron Smith, and Joakim Nivre. A multiword expression data set: Annotating non-compositionality and conventionalization for English noun compounds. In Proceedings of the 11th Workshop on Multiword Expressions, pp. 29-33, Denver, Colorado, June 2015. Association for Computational Linguistics.

[4] Xiaotao Gu, Zihan Wang, Zhenyu Bi, Yu Meng, Liyuan Liu, Jiawei Han, and Jingbo Shang. UCPhrase: Unsupervised context-aware quality phrase tagging. In KDD'21: The 27th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, August 14-18, 2021, Vol. 2021, 2021.

[5] Dan Hendrycks, Collin Burns, Anya Chen, and Spencer Ball. CUAD: An expert-annotated NLP dataset for legal contract review. In J. Vanschoren and S. Yeung, editors, Proceedings of the Neural Information Processing Systems Track on Datasets and Benchmarks, Vol. 1, 2021.

[6] Hiroshi Kanayama and Ran Iwamoto. How Universal are Universal Dependencies? Exploiting Syntax for Multilingual Clause-level Sentiment Detection. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), pp. 40634073, 2020.

[7] Tetsuya Nasukawa and Tohru Nagano. Text analysis and knowledge mining system. IBM Systems Journal, Vol. 40, No. 4, pp. 967-984, 2001.

[8] Minh Van Nguyen, Viet Dac Lai, Amir Pouran Ben Veyseh, and Thien Huu Nguyen. Trankit: A light-weight transformer-based toolkit for multilingual natural language processing. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations, pp. 80-90, Online, April 2021. Association for Computational Linguistics.

[9] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Jan Hajič, Christopher D. Manning, Sampo Pyysalo, Sebastian Schuster, Francis Tyers, and Daniel Zeman. Universal Dependencies v2: An evergrowing multilingual treebank collection. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), pp. 4034-4043, Marseille, France, May 2020. European Language Resources Association.

[10] Joakim Nivre and et al. Universal Dependencies v1: A multilingual treebank collection. In Proceedings of LREC, Portorož, Slovenia, 2016.

[11] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108, Online, July 2020. Association for Computational Linguistics.

[12] Milan Straka and Jana Straková. Tokenizing, POS tagging, lemmatizing and parsing UD 2.0 with UDPipe. In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 88-99, Vancouver, Canada, August 2017.

[13] 那須川哲哉, 吉田一星, 宅間大介, 鈴木祥子, 村岡雅康, 小比田涼介. テキストマイニングのた めの辞書構築, 第 2 章, pp. 27-58. テキストマイ ニングの基礎技術と応用. 岩波書店, 2020.

[14] 金山博, 大湖卓也. UD_English-EWT との付き 合い方. 言語処理学会第 28 回年次大会予稿集, March 2022.


# 平仮名 BERT を用いた平仮名文の分割

井筒順 1 古宮嘉那子 2 新納浩幸 3
1 茨城大学大学院理工学研究科情報工学専攻 2 東京農工大学工学研究院
3 茨城大学大学院理工学研究科情報科学領域
21nm707h@vc.ibaraki.ac.jp kkomiya@go.tuat.ac.jp
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 概要

既存の日本語の形態素解析システムの性能は非常 に高いが、これらシステムは漢字仮名混じりの文を 対象にしているため、平仮名で書かれた文を単語分割することは難しい。本論文では漢字以外の文字、 つまり平仮名、数字、記号からなる文字べースの unigram BERT と bigram BERT を作成し、これらを利用して二種類の平仮名文の単語分割システムを構築 した。これらを KyTeaを利用した平仮名分割システ ムと比較したところ、unigram BERTによる平仮名分割システムの性能が最も高くなったことを示す。

## 1 はじめに

日本語には $\mathrm{MeCab}^{1)}$ や Chasen ${ }^{2}$ 等の形態素解析シ ステムが存在している。これらのシステムの性能は 非常に高いが、漢字仮名混じりの文を対象にしてい るため、ほとんど全てが平仮名で書かれた文3)を単語分割することは難しい。

日本語初学者が最初に習得するのは平仮名であり 平仮名で構成された文章を読む機会が多い。しかし 平仮名で構成された文章を滞ることなく読むことは 日本語の母語話者であっても難しい。

本稿では BERT を利用した 2 種類の平仮名文の分割システムを作成しその性能評価を行う。さらに、 $\mathrm{KyTea}^{4)}$ を用いた平仮名文 KeyTea 単語分割システム を作成し、作成した 2 種類の BERT による平仮名文 の単語分割システムと比較する。

## 2 関連研究

工藤ら [1] は，平仮名交じり文が生成される過程 を生成モデルを用いてモデル化した。そして、その

1) https://taku910.github.io/mecab/

2) https://chasen-legacy.osdn.jp

3）数字や記号は含まれている。

4) http://www. phontron.com/kytea/
パラメータを大規模 Webコーパスと EM アルゴリズ ムで推定することで、平仮名交じり文の解析性能を 向上させる手法を提案している。また、林ら [2] は 平仮名語の単語を辞書に追加することで形態素解析 の精度が向上することを報告している。井筒ら [3] は $\mathrm{MeCab}$ の ipadic 辞書を平仮名に変換し、平仮名 のみで構成されたコーパスを用いることで平仮名の みの文での形態素解析を行っている。さらに、井筒 ら [4] は Bi-LSTM CRF モデルを用いた平仮名文の形態素解析を行い、複数のジャンルの文に対して複数回、学習とファインチューニングを行うことで形態素解析の性能にどのように変化を与えられるかを報告している。また、森山ら [5] は RNNLMを用いた べた書きかな文の形態素解析を行ない、その性能が 単語分割と単語素性の全てを正解とする最も厳しい 基準において従来手法を有意に上回ることを報告し ている。さらに、森山ら [6] は RNN とロジスティッ ク回帰を用いた平仮名文の逐次的な形態素解析手法 を提案し、平仮名文における形態素解析の性能向上 とシステムの高速化を報告している。

分野に特化した BERTを作成する研究として代表的なものには鈴木ら [7] の研究がある。これは、金融文書を用い金融に関する文に特化した BERTを作成したことを報告する論文である。鈴木らは、汎用言語コーパスを用いて事前学習を行った BERT モデ ルに対して、金融コーパスを用いてファインチュー ニングを行うことが有効であるかの検証を行なって いる。

本論文は井筒 $[8]$ を再実験し、追加実験と考察を 加えたものである。

## 3 提案手法

本稿では平仮名文に特化した 2 種類の平仮名 BERT モデルを生成し、それぞれを利用して平仮名文の単語分割システムを作成した。平仮名 BERT モ

デルのうち、1つ目のモデルは unigram BERT モデ ルである。これは平仮名の文字 unigram で構成され た文集合を事前学習に利用して生成した BERT モデ ルである。2つ目のモデルは bigram BERT モデルで ある。これは平仮名の文字 bigram で構成された文集合を事前学習に利用して生成した BERT モデルで ある。我々は上記 2 つのモデルを平仮名文の単語分割のデータを使ってファインチューニングすること で、平仮名の文の単語分割システムを作成した。本研究では、これら 2 つの平仮名文の単語分割システ ムの $\mathrm{F}$ 值を比較する。さらに、KyTeaによる平仮名文の単語分割のモデルを作成し、上記 2 つの平仮名文の単語分割システムの $\mathrm{F}$ 値と比較する。

## 3.1 unigram BERT 単語分割システム

unigram BERT は、事前学習用データとして平仮名 の文字 unigram で構成された文を利用した BERT モ デルである。Wikipedia の漢字仮名交じり文を平仮名に変換し、さらに文字 unigram に分かち書きした データを事前学習用のデータとして使用した。この unigram BERT に対し、平仮名文の単語分割のデー タを使ってファインチューニングすることで、平仮名文の単語分割システムを作成した。これを以降、 unigram BERT 単語分割システムと呼ぶ。

## 3.2 bigram BERT 単語分割システム

bigram BERT は、事前学習用データとして、平仮名の文字 bigram で構成された文を利用した BERT モデルである。Wikipedia の漢字仮名交じり文を平仮名に変換し、さらに文字 bigram に分かち書きし たデータを事前学習用のデータとして使用した。こ の bigram BERT に対し、平仮名文の単語分割のデー 夕を使用してファインチューニングをすることで、平仮名文の単語分割システムを作成した。これを以降、bigram BERT 単語分割システムと呼ぶ。

4

## データ

## 4.1 Wikipedia による事前学習用データ

2 種類の平仮名 BERT を作成するための事前学習

本データの作成方法は以下である。まず、 Wikipedia の漢字仮名交じり文を MeCabを利用して

5) https://dumps.wikimedia.org/jawiki/latest/

6) jawiki-latest-pages-articles.xml.bz2形態素解析し、形態素解析結果における読み部分を 利用することで平仮名のみで構成された文を得る。 MeCab の辞書には Unidic を利用した。MeCab の読 みデータから作成しているため、出力される平仮名文は、正確な平仮名文ではなく、疑似的な平仮名文である。次に、平仮名のみで構成された文を文字 unigram の形と文字 bigram の形に変換した。ただ し、bigram の終端における文字列は、unigram との 文字数を揃えるために、句点に文字種「*」を追加し た「。*」としている。最後に、文の行頭と行末に対 してそれぞれ [CLS] タグと $[\mathrm{SEP}]$ タグを付与した。

上記の操作により 300 万文の Wikipedia による事前学習用データを得た。

## 4.2 Wikipedia による平仮名文の単語分か ち書きデータ

unigram BERT と bigram BERT におけるファイン チューニングに利用するデータとして、Wikipedia による平仮名文の単語分かち書きデータを作成し た。本データは、 $\mathrm{MeCab}$ の単語分割結果を信じ、そ の平仮名表記を利用して作成した。また、単語分割 を二値分類として処理するため、分割対象位置の文字を 1、それ以外の文字を 0 とするタグデータを作成した。

上記の操作により 100 万文の Wikipedia による平仮名文の単語分かち書きデータを得た。

## 4.3 日本語書き言葉コーパスによる平仮名文の単語分かち書きデータ

日本語書き言葉コーパス (以下 BCCWJ[9] と記す) のコアデータは人手により単語に分けられたデー タであるので、これを利用することにより正確な平仮名文を作成することが可能となる。BCCWJコア データを平仮名の分かち書きに変換したデータを平仮名文の単語分割システムのファインチューニング 用のデータおよびテストデータとして利用する。

本データの作成方法は以下である。まず BCCWJ のコアデータの読み情報を利用し、ほぼ平仮名で 構成された文に変換した。次にそれらの文を文字 unigram の形と文字 bigram の形に変換した。文字 unigram の形に変換したデータは unigram BERT の ファインチューニング用のデータとして利用し、文字 biram の形に変換したデータは bigram BERT の ファインチューニング用のデータとして利用する。 また BCCWJ のコアデータの単語区切りを利用し単語分割を二値分類として処理するための、分割対象位置の文字を 1 、それ以外の文字を 0 とするタグ

データを作成した。上記の操作により 40928 文の BCCWJによる平仮名の分かち書きデータを得た。 unigram BERT 作成及び bigram BERT 作成におい て使用した語彙の総数はそれぞれ 300 と 80956 であ る。語彙には平仮名、片仮名、アルファベット、数字、複数の記号が含まれている。

## 5 実験

作成した 2 種類の BERT における平仮名文の単語分割の $\mathrm{F}$ 值がファインチューニング時のデータ量と データの種類によりどのように変化するのかを検証 するために 2 つの実験を行った。

また二つの提案手法と比較するために、KyТeа を 用いて平仮名文の単語分割システムを作成した。こ れを以降、平仮名 KyTea 単語分割システムと呼ぶ。 KyTea は単語分割および読み推定の機能を持つシス テムである。部分的アノテーションから学習をする ことが可能であり、点予測を利用して文の解析を行 う。学習には、二つの提案手法による単語分割シス テムのファインチューニングに利用したデータと 同内容のものを用いた。ただし、フォーマットは KyTea に合うように変形した。

作成した単語分割システムは、テストデータに対 する正解率、適合率、再現率、 $\mathrm{F}$ 値を評価した。

## 5.1 実験 1：BCCWJによるファインチュー ニングの実験

この実験では、正確な平仮名文の単語分割情報の データを利用して、2 種類の BERT 単語分割システ ムの $\mathrm{F}$ 値を平仮名 KyTea 単語分割システムの $\mathrm{F}$ 値 と比較する。300万文の Wikipedia による事前学習用データを利用して平仮名 BERT を作成し、 40928 文の BCCWJによる平仮名文の単語分かち書きデー 夕を用いて単語分割システムの 5 分割交差検定を 行った。また平仮名 KyTea 単語分割システムにつ いても、 2 種類の BERT 単語分割システムと同様の データを用いて、 5 分割交差検定を行った。ただし、平仮名 KyTea 単語分割システムには、事前学習した BERTを用いていない。

次に、本実験において BERT の事前学習で使用し たパラメータを表 1 に、ファインチューニングで使用したパラメータを表 2 に示す。

表 2 ファインチューニングにおけるパラメータ

 &  & エポック数 & 50 \\

## 5.2 実験 2: Wikipedia によるファイン チューニングの実験

この実験では、疑似データである Wikipedia の単語分割情報を大量に利用した、3つの単語分割シス テムの F 值を比較する。300 万文の Wikipedia によ る事前学習用データを利用して平仮名 BERTを作成し、ファイチューニングのデータとして 100 万文 の Wikipedia による平仮名文の単語分かち書きデー タを利用して単語分割システムのファインチューニ ングを行った。なお、事前学習用のデータとファイ ンチューニング用のデータの重複はない。一方で、実験 1 における事前学習データと実験 2 における事前学習データは同一のものを利用している。また、 unigram BERT 単語分割システムおよび bigram BERT 単語分割システムに利用した 100 万文の Wikipedia による平仮名文の単語分かち書きデータを利用し、平仮名 KyTea 単語分割システムを作成し、評価し た。テストデータには 40 万文の Wikipedia のデータ と 40928 文の BCCWJによる平仮名文の単語分かち 書きデータをそれぞれ利用した。

実験 2 において BERT の事前学習で使用したパラ メータおよびファインチューニングで使用したパラ メータはどちらも epoch 数以外は実験 1 で利用した パラメータと同一である。実験 2 における epoch 数 は 24 とした。

## 6 実験結果

実験 1 : BCCWJによるファインチューニングの実験における各システムに対する 5 分割交差検定の正解率、適合率、再現率、 $\mathrm{F}$ 値を表 3 に示す。

表 3 実験 1 における各システムの結果

 &  &  \\

適合率 & $\mathbf{9 4 . 3 6}$ & 92.56 & 90.93 \\
再現率 & $\mathbf{9 4 . 2 4}$ & 92.60 & 88.56 \\
F 値 & $\mathbf{9 4 . 3 0}$ & 92.58 & 89.66 \\

表 3 から、unigram BERT 単語分割システムは平仮名 KyTea 単語分割システムと比較し、 $\mathrm{F}$ 值が 4.64 point 向上していることが分かる。また bigram BERT 単語分割システムは平仮名 KyTea 単語分割システム と比較して F 值が 2.92 point 向上している。さらに
unigram BERT 単語分割システムは bigram BERT 単語分割システムよりも $\mathrm{F}$ 値が 1.72 point 高い。

次に、実験 2 : Wikipediaによるファインチューニ ングの実験の結果を表 4 に示す。

表 4 実験 2 : Wikipediaによるファインチューニングの実験における各システムの結果

 &  &  \\

表 4 から unigram BERT 単語分割システムは、平仮名 KyTea 単語分割システムと比較し、Wikipedia をテストデータとした場合は $\mathrm{F}$ 値が 5.69point 向上

し、BCCWJ のコアデータをテストデータとして利用した場合は $\mathrm{F}$ 値が 4.59point 向上していることが 分かる。また bigram BERT 単語分割システムは、平仮名 KyTea 単語分割システムと比較し、Wikipedia をテストデータとした場合は $\mathrm{F}$ 值が 4.99point 向上 し、BCCWJをテストデータとして利用した場合 には F 値が 3.77point 向上していることが分かる。 さらに、unigram BERT 単語分割システムは bigram BERT 単語分割システムより高い $\mathrm{F}$ 値となった。 $\mathrm{F}$値の差は、Wikipediaをテストデータとした場合は 0.70point であり、BCCWJをテストデータとした場合は 0.82 point であった。

## 7 考察

表 3 と表 4 より、実験 1 と実験 2 でそれぞれ作成 した 2 つの平仮名 BERT 単語分割システムの $\mathrm{F}$ 值 は、平仮名 KyTea 単語分割システムの $\mathrm{F}$ 值よりも高 いことが確認できる。これにより、unigram BERT 単語分割システムと bigram BERT 単語分割システムが 有効であるといえる。

次に、実験 1 と実験 2 の結果を比較する。BCCWJ をテストデータにした実験結果同士（表 3 と表 4 の BCCWJ の結果）を比較すると、実験 1 における 2種類の平仮名 BERT 単語分割システムの $\mathrm{F}$ 値の方 が高い。これは、実験 1 のファインチューニング のデータはテストデータと同じ BCCWJであるが、実験 2 では Wikipeda のデータを利用しているため であると考えられる。特に、BCCWJでは正確な読 みと単語分割の区切りの情報を利用しているが、 Wikipedia は疑似データゆえに、Wikipedia データの 質は BCCWJ よりも低いと考えられる。実験 1 で利用した BCCWJ は約 4.5 万件であるのに対して実験 2 で利用した Wikipedia のデータは 100 万文であるこ とを考えると、ファインチューニングにおける疑似 データの量を増やしても、テストデータと同ドメイ ンの正確なデータには及ばないことが分かる。

一方で、大量の Wikipedia の疑似データを与えた 際、同 Wikipedia のテストデータに対する正解率は 99\%を超える（表 4)。そのため、テストデータと同 じドメインで、なおかつテストデータと整合性のあ る単語分割の情報をもつ大量のデータを利用して ファインチューニングした場合には、かなり単語分割の評価値が高くなることが分かる。

## 8 おわりに

本研究では、平仮名文に特化して学習した 2 種類 の BERTを利用した文単語分割システム、unigram BERT 単語分割システムと bigram BERT 単語分割シ ステムを作成した。このシステムは BERT の事前学習として、MeCabを利用して Wikipedia の平仮名文のデータから作成した文字 unigram または文字 bigram のデータを利用し、平仮名文の単語分かち書 きのデータでファインチューニングを行うことで 作成したものである。BCCWJ のコアデータを利用 した五分割交差実験と、Wikipedia のデータを利用 したファインチューニングによる実験において、平仮名文の単語分割の $\mathrm{F}$ 值は共に KyTea を用いた平仮名文単語分割システムの $\mathrm{F}$ 値を上回った。また、 unigram BERT 単語分割システムと bigram BERT 単語分割システムの $\mathrm{F}$ 値を比較すると、unigram BERT 単語分割システムの方が $\mathrm{F}$ 值が向上した。これには モデルの大きさに対する事前学習のデータ数が影響 したと考えられる。

また、実験により、ファインチューニングに利用するデータは、大量のドメインの異なった疑似 データよりも、少量のドメインの等しい、テスト データと整合性の取れたデータの方がよいことが分 かった。

## 謝辞

本研究は 2022 年度国立情報学研究所公募型共同研究（22FC04）と JSPS 科研費 $18 \mathrm{~K} 11421$ の助成を受 けています。

## 参考文献

[1] 工藤拓, 市川宙, David Talbot, 賀沢秀人. Web 上 のひらがな交じり文に頑健な形態素解析. 言語処理学会第 18 回年次大会発表論文集, pp. 1272-1275, 2012.

[2] 林聖人, 山村毅. ひらがな語の追加と形態素解析の精度についての考察析. 愛知県立大学情報科学部平成 28 年度卒業論文要旨, 2017.

[3] 井筒順, 明石陸, 加藤涼, 岸野望叶, 小林汰一郎,金野佑太, 古宮嘉那子. Mecabによる平仮名のみ の形態素解析. 言語処理学会第 26 回年次大会発表論文集, pp. 65-69, 2020.

[4] Jun Izutsu and Kanako Komiya. Morphological analysis of japanese hiragana sentences using the bi-lstm crf model,. 10th International Conference on Natural Language Processing (NLP 2021), 2021.

[5] 森山柊平, 大野誠寛, 増田英孝, 絹川博之ほか. Recurrent neural network language model を用いた べた書きかな文の形態素解析. 情報処理学会論文誌, Vol. 59, No. 10, pp. 1911-1921, 2018.

[6] 森山柊平, 大野誠寛. Rnn とロジスティック回帰 を用いた平仮名文の逐次的な形態素解析. 自然言語処理, Vol. 29, No. 2, pp. 367-394, 2022.

[7] 鈴木雅弘, 坂地泰紀, 和泉潔, 石川康. 金融文書を 用いた追加事前学習言語モデルの構築と検証.言語処理学会 第 28 回年次大会発表論文集, pp. 588-592, 2020.

[8] 井筒順, 古宮嘉那子, 新納浩幸. 平仮名 bert に よる平仮名文の分割. 研究報告自然言語処理 (NL), Vol. 2022-NL-253, No. 1, pp. 1-7, 2022.

[9] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written japanese. Language resources and evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

## A 追加実験

実験 1 と実験 2 の結果において、2 種類の平仮名 BERT 単語分割システムの $\mathrm{F}$ 値を比較すると、 unigram BERT 単語分割システムの $\mathrm{F}$ 值がより良い結果であることが確認できる。bigram の方が unigram より情報量が多くなるため、我々は bigram BERT 単語分割システムの方が、unigram BERT 単語分割シ ステムを上回ることを予想していたが、結果は逆 であった。この理由としては、モデルの大きさに 対応して必要になる学習データの差が考えられる。本研究において使用した平仮名 BERT の語彙数は unigram BERT 作成では 300 であり、bigram BERT 作成では 80956 であった。つまり語彙数に約 270 倍の 差が存在する。その分、モデルは大きくなるため、必要な学習データも多くなると考えられる。ところ が、 2 種類の平仮名 BERT 単語分割システムにおけ る事前学習で利用したデータ数はどちらも 300 万文であった。つまり、モデルの大きさに必要な学習 データ量に対して bigram BERT には十分な学習デー タではなかった可能性があり、それが unigram BERT 単語分割システムの $\mathrm{F}$ 值が bigram BERT の $\mathrm{F}$ 値を上回った要因であると考えられる。

語彙数に大幅な差があることに着目し、我々は、実験 1 のテストデータから記号等の文字種を除い たデータを利用し、各システムの評価を再度算出し た。実験 1 のテストデータから取り除かなかった文字種は、平仮名・片仮名・句点・読点・長音・符空白である。実験 1 のテストデータの各文に対して上記以外の文字種が含まれる文は評価せず、上記のみ の文字種で構成された文を各システムに入力し、評価した。本追加実験における結果を表 5 に示す。

表 5 実験 1 においてテストデータから記号を除いた場合 の各システムの結果

 &  &  \\

適合率 & $\mathbf{9 5 . 0 4}$ & 93.38 & 92.15 \\
再現率 & $\mathbf{9 4 . 9 3}$ & 93.50 & 89.81 \\
F 値 & $\mathbf{9 4 . 9 9}$ & 93.44 & 90.91 \\

表 5 より文字種を制限することにより全体的に F 值が向上していることが確認できる。特に、unigram BERT 単語分割システムと bigram BERT 単語分割シ ステムにおける F 值の差は 1.55pointである。表3に おける 2 つの単語分割システムの $\mathrm{F}$ 値の差が 1.72
であったことから、テストデータにおける文字種を 制限することで $\mathrm{F}$ 値の差が縮まっていることがわ かる。

## B 実験の可視化

実験 1 におけるシステム構築を可視化した図を図 1 に示す。また、実験 2 におけるシステム構築を可視化した図を図 2 に示す。

図1 実験 1 : BCCWJによるファインチューニングの実験

図 2 実験 2: Wikipedia によるファインチューニングの 実験


# 思考連鎖指示における大規模言語モデルの否定表現理解

葉夢宇 1 栗林樹生 1,2 舟山弘晃 1,3 鈴木潤 1,3
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所
\{ye.mengyu.s1, h.funa\}@dc.tohoku.ac.jp
\{kuribayashi, jun.suzuki\}@tohoku.ac.jp

## 概要

近年，推論過程の出力を指示することで大規模言語モデルの性能が向上することが示された. しかし 既存研究では，推論過程を経て生成された結論のみ が評価されており，モデルがどのような推論過程を 生成し, また過程から導かれる妥当な結論を下して いるのかといった推論内容の大規模な分析は行われ ていない. 本研究では，言語モデルについて，推論過程を踏まえて結論を生成する能力を評価し，特に 言語モデルが苦手としてきた否定表現の扱いに焦点 を当てる. 実験を通して，最先端の 175B 言語モデ ルですら，推論過程に not が存在する場合，結論と して noを生成するといった浅い理解に基づいた処理が行われている可能性を示す.

## 1 はじめに

近年，大規模言語モデルに少数事例を提示する ことで様々な言語タスクを解く, 少数事例指示 （few-shot prompting）[1]が注目を集めている. 特 に最近では，推論過程を生成するようモデルに指示する思考連鎖指示 (chain of thought prompting) [2] の有効性が示された. 例えば，「大谷翔平選手が 硬式ボールを投げた可能性はあるか」といった質問 に対して，思考連鎖指示に基づく推論では，モデ ルはまず「大谷選手は野球選手であり, 硬式ボー ルは野球で投げるので...」といった推論過程を生成 し, 続いて「はい」といった結論を導く. 既存研究 では，思考連鎖指示のもと最終的に得られる結論の 質が向上することは示されたものの，モデルが妥当 な過推論程を生成しているのか, モデルの結論が過程と一貫しているのかといった推論過程の妥当性に ついては十分に分析されていない.

本研究では，一連の思考指示を (i) 推論仮定を生成する段階と (ii) 与えられた過程から結論を出す段階に分解し, 評価の容易さから，まずは後者の与え問題：「大谷翔平選手が硬式ボールを投 げた」はあり得そうか？推論過程を明示して答えよ。

推論過程 : 大谷選手は野球選手であり,硬式ボールは野球のみで投げるので,

図1 思考連鎖指示を元に，大規模言語モデルを用いて，否定表現が含まれる推論過程から論理的に適切な結論を 導くことができるかを調査する

られた過程から結論を導く能力について統制的に調査を行う．特に，言語モデルが苦手としてきた否定表現の処理に焦点を当て，only やnot といった否定表現が含まれる推論過程から論理的に適切な結論を 導くことができるかを調査する（図 1).

GPT-3（text-davinci-002，パラメータサイズ 175B） $[3,1]$ と OPT-66B (Open Pre-trained Transformer Language Models）[4]を含む大規模言語モデルを対象 とした実験の結果，only，not，implausible といった 表現に誤誘導 (mispriming) され，否定的な表現が 推論過程に含まれるだけで，論理的な帰結に反して モデルの下す結果は大きく noに偏ることが観察さ れた.

この結果から，依然として深い言語理解に基づく 論理的な推論が行われていないことが示唆された.

## 2 実験設定

評価したい能力: 思考連鎖指示では，少なくとも (i) 推論過程を生成し (ii) 推論過程を踏まえて結論を

$
\begin{aligned}
& \text { Determine whether an artificially constructed sentence } \\
& \text { relating to sports is plausible or not. } \\
& \text { Q: Is the following sentence plausible? "Bam Adebayo } \\
& \text { scored a reverse layup in the Western Conference Finals." } \\
& \text { A: Let's think step by step. } \\
& \text { Bam Adebayo is an American basketball player. Scoring a } \\
& \text { reverse layup only happens in basketball. So the answer is } \\
& \text { yes. } \\
& \text { Q: Is the following sentence plausible? "Santi Cazorla } \\
& \text { scored a touchdown." } \\
& \text { A: Let's think step by step. } \\
& \text { Santi Cazorla is a soccer player. Touchdowns are only } \\
& \text { happen in football. So the answer is no. } \\
& \text { Q: Is the following sentence plausible? "DeMar DeRozan } \\
& \text { was called for the goaltend." } \\
& \text { A: Let's think step by step. } \\
& \text { DeMar DeRozan is an American basketball player. } \\
& \text { Goaltending only happens in basketball. So the answer is } \\
& \text { yes. }
\end{aligned}
$

図 2 少数事例指示文の例，緑色は推論過程の部分を表す

出力するという 2 つの能力が求められる. 本研究で は，後者に焦点を当てて評価を行う，後者に焦点を 当てる理由としては，yes/no の答えのみを出力する 段階は分類問題であるため評価が比較的簡単である ことと，この能力は思考連鎖指示が達成されるため の必要条件であるため，最低限の要請として達成で きることを期待したいという点があげられる.

問題設定: 例題として，「Pが A をした」という文 の尤もらしさをモデルに自然言語で問う設定を採用 した1）。ここでPは人名(player，スポーツ選手名）, A は行動（action，ボールを踣るなど）を表し，推論過程ではPが何のスポーツ S の選手であるか，また A がそのスポーツS で行われているかを段階的に推論するシナリオを採用した。図 2 に示す通り，実際 の問題は英語で書かれている.

実験では，問題と推論過程（So the answer is まで） をモデルに入力し，モデルが yes/no のどちらを回答 するか分析することで，推論過程を踏まえて適切な 結論を出力する能力を評価する．結論を導くステッ プでは「PはSの選手である，SではAしない. よっ てPはAしない」といった簡単な論理推論が求めら れている。この段階において，例えば推論過程に

$n o t$ のような否定表現が出現したら結論を no とす るといった表層的な処理が行われているかを調査 する.

なお，推論過程はあらかじめ準備した適当なもの を入力しており，ある人名があるスポーツの選手で ありそうか，ある行動がそのスポーツで行われるか といった常識的知識をモデルに問わない。この点は 3.1 節でも更に対処する。

少数事例指示: 先行研究 [6] に倣い，タスクに関 する説明と，問題文・模範的な推論過程・結論を合計 3 問をモデルに入力したのち，実際に解かせたい 問題の問題文と推論過程を入力する．以降導入する 否定語を挿入した設定などにおいても，指示文は共通のものを用いている。

モデル： 実験では，GPT-3（text-davinci-002，パラ メータサイズ 175B） [3,1] と OPT(Open Pre-trained Transformer Language Models) [4] を用いた. OPT に ついては Huggingface ${ }^{2)}$ 上に公開されているパラ メータサイズの異なる 7 モデル (350M, 1.3B, 2.7B, 6.7B, 13B, 30B, 66B）を評価対象とした。

## 3 実験

まず初めに，推論過程を踏まえて正しく回答でき るかを精緻に問うため，常識知識ではなく推論過程 を見なければ解けない問題設定を導入する (3.1 節).次に，否定表現の有無とモデルの振る舞いについて 調査を行う (3.2 節).

## 3.1 事前実験: FICTION 設定の導入

設定 BIG-Bench の Sports understanding 問題 [5] か ら収集したデータセット (REAL) に加え，架空の選手名・スポーツ名から構成したデータセット（FICTION） を用意した (付録 A). 既存の REAL セットは実世界 の常識に即した問題になっているが，本研究の関心 のもとでは，モデルが正解した時に推論過程の内容 を理解して結論を導いたのか，モデルが持つ常識知識に基づいて回答できたのかの切り分けが難しい.従って，推論過程を踏まえないと答えることのでき ない FICTION 設定を導入した。なお，正解ラベルの 分布は $1: 1$ であることが期待されるが，乱数シード の都合上，REAL 設定では正解ラベルが yes の問題 が 496 問，正解ラベルが no の問題が 504 問であり， FICTION 設定では正解ラベルが yes の問題が 495 問，
 opt
表 1 結果（yes: yes の割合，no: no の割合）

正解ラベルが no の問題が 505 問である.

結果 表 1 に各設定での正解率と, モデルが yes/no と回答した割合を示す.また前述の通り， データセット中の yes/no が回答である問題の比はお よそ $1: 1$ である。事前学習の知識が使えない FICTION 設定では全体的に正解率が下がり，特に OPT-30B お よび OPT-2.7B においては, 出力が yes か no のどち らかに大きく偏ることになった. このことから思考連鎖指示中には生成した推論過程のみでなく，モデ ルが有する知識も活用されていることが示唆され，推論過程の分析をする上で，事前知識が使えない設定を導入することの意義が確認された. 以降の実験 では，FICTION 設定に編集を加えていく。

## 3.2 実験: 否定語の影響

設定： 否定表現に関する 4 つの設定を導入す る. ONLY 設定において，元の問題設定 [5] では，「P は $\mathrm{S}_{1}$ の選手である. A $\mathrm{S}_{2}$ で行われる. よって no」 というシナリオで問題が設計されているが，「Aが $\mathrm{S}_{2}$ で行われる」ことは「Aが $\mathrm{S}_{1}$ で行われない」こ とを含意しないため, 厳密には曖昧性のある問題で あった. そこで「Aが $\mathrm{S}_{2}$ のみで行われる」といっ た制限を導入することで，問題を解きやすくする。 Not 設定は，否定表現の意味合いを強まることの影響を調べるために導入する． Implausible+（Not）は FICTION 設定と同じ問題構成で，質問文や推論過程内の機能語を変えた場合でも，モデルがその変化に 応じて正しい出力をするかを調査する. 各設定の概略を以下に示す. モデルには質問と，回答における \{はいいいえ $\}$ の直前までが入力される。また図 3 の例のように，実際はこれらの問題は英語で記述さ れている.

## ONLY

質問:「Pが A した.」という文はあり得そうか？回答: $P$ は $S_{1}$ 選手であり, $A$ は $\left.\{S_{1} / S_{2}\right.\}$ のみで行

Q: Is the following sentence plausible? "Judy Hogan
set the pick and roll."
A: Let's think step by step.
Judy Hogan is a fileball player. Set the pick and roll
only happens in caseball. So the answer is
Q: Is the following sentence plausible? "Judy Hogan
set the pick and roll."
A: Let's think step by step.
Judy Hogan is a fileball player. Set the pick and roll
did not happen in fileball. So the answer is

Q: Is the following sentence implausible? "Judy
Hogan set the pick and roll."
A: Let's think step by step.
Judy Hogan is a fileball player. Set the pick and roll
only happen in caseball. So the answer is

Not+Implausible設定
Qogan set the pick and roll."
A: Let's think step by step.
Judy Hogan is a fileball player. Set the pick and roll
did not happen in fileball. So the answer is

図 3 ONLy, Not, Implausible および Not+ImPlaUSIBLE の設定における入力文の例.

われるので，\{はい/いえ\}

## Not

質問: 「PがALた.」という文はあり得そうか？

回答: $\mathrm{P}$ は $\mathrm{S}_{1}$ 選手であり，A $\left.\{\mathrm{S}_{1}\right.$ のみで行わ れる/ $S_{1}$ で行われない $\}$ ので，\{はい/いえ\}

## IMPLAUSIBLE

質問:「Pが A Lた.」という文はあり得ないか？

回答: $\mathrm{P}$ は $\mathrm{S}_{1}$ 選手であり, $A$ は $\left.\{\mathrm{S}_{1} / \mathrm{S}_{2}\right.\}$ のみで行 われるので，\{いいえ/いい\}\})

## IMPLAUSIBLE+NOT

質問: 「PがALた.」という文はあり得ないか？

回答: $\mathrm{P}$ は $\mathrm{S}_{1}$ 選手であり, $\mathrm{A}$ は $\left.\{\mathrm{S}_{1}\right.$ のみで行わ れる/ $S_{1}$ で行われない $\}$ ので，\{いいえ/はい\} $\}$

## 3.3 結果・考察

表 2 に結果を示す. 全てのタスクにおいて, noが 出力された問題の割合の大幅な上昇を観測した.こ の結果から, 出力が否定的な意味合いを持つ単語に 誤誘導されていることが示唆される.

ONLY 設定: この設定では，問題が明確化されたに も関わらず，FicTION 設定と比較すると no の生成率 が高まることから，言語モデルは onlyによって誤誘

表 2 結果（yes: yes の割合， no: no の割合）

導されたことが確認された. この点からも，言語モ デルが論理的な推論といった深い言語理解に基づい て思考連鎖指示をできているとは考えづらい.

Noт 設定：この設定では，yes の問題は onlyを用 いた ONLY 設定と同様のものを，noの問題は not を 用いた推論過程に書き換えたものである. この設定 でも FICTION 設定と比較すると no の生成率が高くな り，依然として否定語の扱いに苦戦していることが 観察された。

ImPLAUSIble (+Not) 設定 : ImplAUSIBLE 設定と ImPLAUSIBLE+NOT 設定の共通点は, 少数事例指示文の 部分に変更を加えずに, implausible かという質問に 変更したことである。この 2 つの設定でも，FICTION 設定より多くの no が生成され, 否定表現に誤誘導 され，GPT-3，そしてどんなパラメータ数の OPT に 関しても，implausible という単語に誤誘導され，ほ ぼ noしか答えない現象が観察された。

以上の観察より，単なる否定的な単語の出現によ り，論理的に妥当な帰結に反して，言語モデルの 回答は no に誤誘導されていくことが確認された.従って，思考連鎖指示では生成された推論過程に含 まれる浅い特徴によって，結論を導いている可能性 が示唆された。

## 4 関連研究

思考連鎖指示による性能向上 これまでの思考連鎖指示に関する研究では，主に最終的な結論の 正当性が評価され，推論過程の妥当性に関して の大規模な評価は行われていなかった. 例えば， BIG-Bench [5] を代表とした横断的評価において，思考連鎖指示を用いることによって，多数のタスク において人間の正解率を上回ったことが報告され た [6].

本研究は，結論の正当性と共に，推論の過程の妥当性や，モデルの推論におけるある種の癖を分析し
たものであり，本研究の結果から，思考連鎖指示の 評価の解像度を上げ，近年の言語モデルの能力につ いて知見を深めることも期待される。

言語モデルにおける誤誘導効果と否定表現 事前学習済み言語モデルでは，例えば Talk? Birds can [MASK] と入力すると Birds can talk と生成してしま うように，質問に直接関係のない単語に出力が誘導 される誤誘導効果が報告されている [7].

アリストテレスの「命題論」では，全ての宣言文 は肯定と否定のいずれかに分類されている [8], 否定表現は自然言語を扱うための重要な概念であると されている。．否定表現に焦点を絞ったデータセット が多数存在している $[9,10,11,12]$. それらのデータ セットを用いた評価結果から，否定表現を理解する ことは事前学習済みモデルにとって挑戦的なタスク であることが確認されている [13]. 本研究の結果で は，推論過程や問題文に否定表現が含まれる際，最近の大規模言語モデルでも，no と結論を下してしま うような誤誘導効果が生じることを確認した。

## 5 おわりに

本稿では，大規模言語モデルの推論能力の向上に 寄与する思考連鎖指示を対象に，推論過程から結論 を導く部分，特に否定表現に注目し，大規模言語モ デルは妥当な推論過程を行なっているかどうかを検証した. GPT-3 とOPTを対象とした実験では，論理関係ではなく，否定表現が存在するからnoを生成 するというような浅い推論を行なっている可能性を 明らかにした。

今後はより多くの思考連鎖指示が有効とされるタ スクに検証対象を拡張しさらに深堀りしていく.ま た，これまでに BERT [14] などを対象とした内部解析手法を用い，大規模言語モデルの内部挙動を分析 する方向性も興味深い。

## 謝辞

本研究は，JSPS 科研費 JP21H04901，JST ムーン ショット型研究開発事業 JPMJMS2011 (fundamental research), JST 次世代研究者挑戦的研究プログラム JPMJSP2114 の助成を受けて実施されたものである.

## 参考文献

[1] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, and et al. Language models are few-shot learners. In Hugo Larochelle, Marc'Aurelio Ranzato, Raia Hadsell, Maria-Florina Balcan, and Hsuan-Tien Lin, editors, Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual, 2020.

[2] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed H. Chi, Quoc Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models. CoRR, Vol. abs/2201.11903, , 2022.

[3] Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul F. Christiano, Jan Leike, and Ryan Lowe. Training language models to follow instructions with human feedback. CoRR, Vol. abs/2203.02155, , 2022.

[4] Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona T. Diab, Xian Li, Xi Victoria Lin, Todor Mihaylov, Myle Ott, Sam Shleifer, Kurt Shuster, Daniel Simig, Punit Singh Koura, Anjali Sridhar, Tianlu Wang, and Luke Zettlemoyer. OPT: open pre-trained transformer language models. CoRR, Vol. abs/2205.01068, , 2022.

[5] Aarohi Srivastava, Abhinav Rastogi, Abhishek Rao, Abu Awal Md Shoeb, Abubakar Abid, Adam Fisch, Adam R. Brown, Adam Santoro, Aditya Gupta, Adrià Garriga-Alonso, and et al. Beyond the imitation game: Quantifying and extrapolating the capabilities of language models. CoRR, Vol. abs/2206.04615, , 2022.

[6] Mirac Suzgun, Nathan Scales, Nathanael Schärli, Sebastian Gehrmann, Yi Tay, Hyung Won Chung, Aakanksha Chowdhery, Quoc V. Le, Ed H. Chi, Denny Zhou, and Jason Wei. Challenging big-bench tasks and whether chain-of-thought can solve them. CoRR, Vol. abs/2210.09261, , 2022.

[7] Nora Kassner and Hinrich Schütze. Negated and misprimed probes for pretrained language models: Birds can talk, but cannot fly. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 7811-7818. Association for Computational Linguistics, 2020.

[8] John L Ackrill and et al. Categories and De interpretatione. Clarendon Press, 1975.

[9] Atticus Geiger, Kyle Richardson, and Christopher Potts. Neural natural language inference models partially embed theories of lexical entailment and negation. In Afra Alishahi, Yonatan Belinkov, Grzegorz Chrupala, Dieuwke Hupkes, Yuval Pinter, and Hassan Sajjad, editors, Proceedings of the Third BlackboxNLP Workshop on Analyzing and Interpreting Neural Networks for NLP, BlackboxNLP@EMNLP 2020, Online, November 2020, pp. 163-173. Association for Computational Linguistics, 2020.

[10] Abhilasha Ravichander, Matt Gardner, and Ana Marasovic. CONDAQA: A contrastive reading comprehension dataset for reasoning about negation. CoRR, Vol. abs/2211.00295, , 2022.

[11] Roser Morante and Eduardo Blanco. *sem 2012 shared task: Resolving the scope and focus of negation. In Eneko Agirre, Johan Bos, and Mona T. Diab, editors, Proceedings of the First Joint Conference on Lexical and Computational Semantics, * SEM 2012, June 7-8, 2012, Montréal, Canada, pp. 265-274. Association for Computational Linguistics, 2012.

[12] Johan Reitan, Jørgen Faret, Björn Gambäck, and Lars Bungum. Negation scope detection for twitter sentiment analysis. In Alexandra Balahur, Erik Van der Goot, Piek Vossen, and Andrés Montoyo, editors, Proceedings of the 6th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, WASSA@EMNLP 2015, 17 September 2015, Lisbon, Portugal, pp. 99-108. The Association for Computer Linguistics, 2015.

[13] Md Mosharaf Hossain, Venelin Kovatchev, Pranoy Dutta, Tiffany Kao, Elizabeth Wei, and Eduardo Blanco. An analysis of natural language inference benchmarks through the lens of negation. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pp. 9106-9118. Association for Computational Linguistics, 2020.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

## A Fiction データセット

FICTION 設定では，架空のスポーツ名を 5 個，そして一種目につき 100 個の架空の選手名，合計 500 個の選手名を作った.ここで架空スポーツ名の全部および架空選手名の一部（50 個）を表 3 に示す.

表 3 FICTIONデータセットの一部詳細


# Classification of Polysemous and Homograph Word Usages using Semi-Supervised Learning

Sangjun Han ${ }^{1}$ Brian Kenji Iwana ${ }^{2}$ Satoru Uchida ${ }^{3}$
${ }^{1}$ Department of Electrical Engineering and Computer Science, Kyushu University
${ }^{2}$ Department of Advanced Information Technology, Kyushu University
${ }^{3}$ Faculty of Languages and Cultures, Kyushu University
\{sangjun.han, brian\}@human.ait.kyushu-u.ac.jp uchida@flc.kyushu-u.ac.jp
}

\begin{abstract}
Words can have different meanings based on the context of how they are used. Therefore, to help language understanding, it is important to be able to distinguish between the word usages. To do this, we propose to automatically classify word meaning using a Transformer neural network. However, annotating large amounts of word usages for effective machine learning can be time-consuming and expensive. Thus, we propose using unlabeled data for Pseudo Labeling to improve the robustness of the model.
\end{abstract
## 1 Introduction

Words can have different meanings, or usages, depending on the context. For example, the word "see" can have many different meanings, such as, to see something with your eyes, to understand something, to imagine something in a particular way, etc. Polysemous words are words with related origins and homographs are words with different origins.

The study of polysemous words and homographs is important for language learning [1,2]. Language learners often have difficulties knowing the intended meaning of words when using dictionaries [3]. Due to this, it is common for language learners to only use the top definition in dictionaries [4]. Thus, correct identification of word usage can be an important tool.

In order to address this problem, we propose the use of machine learning, namely text classification, to predict the usage of words. Namely, we use a Bidirectional Encoder Representations from Transformer (BERT) [5] neural network to embed words into a word-wise semantic vector and use a classifier to learn the usage based on the vector.
Through this, we show that it is possible to predict the word usage within the context of a sentence.

However, one issue with using neural networks is the requirement for data. Specifically, a large amount of annotated data is required to train accurate models and acquiring the annotations can be a time-consuming and expensive process. Therefore, we propose the use of SemiSupervised Learning (SSL) to make up for the lack of data. SSL combines the use of supervised data, i.e. labeled data, and unsupervised data, i.e. unlabeled data. Specifically, Pseudo Labeling [6] is used. In Pseudo Labeling, the unlabeled data is classified and given Pseudo Labels based on the classifier confidence.

The contributions are as follows:
- We develop a word usage classifier that is able to learn the usage of a word based on the context.
- We demonstrate that SSL, specifically Pseudo Labeling, can help make up for the difficulty of annotating data.
- We show that the word embeddings learned by BERT contain contextual usage information.
- A case study is conducted on specific words with polysemous and homograph definitions to show the effectiveness of our approach.

## 2 Related Work

While word embedding research [7] and text classification research $[8,9]$ are widely studied fields, specific word usage classification is not often explored.

In a related problem set, homograph disambiguation aims to differentiate homographs in text, most often used with text-to-speech generation $[10,11]$. Notably, SSL has been used for homograph disambiguation in text-to-speech
generation Mandarin [12] and Persian [13]. While these methods are similar, they differ in that they only separate homographs by sound and not specifically by meaning. This means that the labels typically follow part of speech, very broad meanings, or labels that have different meanings but the same pronunciations [10]. The aim of our work is to predict the usage of words from a comprehensive set of definitions.

## 3 Bidirectional Encoder Representations from Transformers (BERT)

Transformers [14] are feed forward neural networks that consist of blocks of a Multi-Head Self-Attention (MHSA) layer and a fully-connected layer. The MHSA layer uses parallel self-attention layers to learn pairwise relationships between tokens of the input. After the MHSA, there is a fully-connected layer. The output of a Transformer layer is vector embeddings corresponding to each input token.

Bidirectional Encoder Representations from Transformer (BERT) [5] is an extension to the original Transformer. Some of the improvements include using a bidirectional self-attention, adding segment encodings, and training using BooksCorpus [15], which contains the contents of 11,038 books.

## 3.1 Tokenization

The input representations of BERT are constructed of summing token embeddings, positional encodings, and segment encodings [5]. The token embeddings are WordPiece vectors [16] embedded in vectors using a linear layer.

The WordPiece vectors represent pieces of words, including full words, in a 30,522 word-part token vocabulary. The positional encodings represent the position that the word piece appears in the sentence, and the segment encoding is the sentence number.

## 3.2 Embeddings

BERT is trained in an encoder-decoder structure. The encoder layers create an embedding corresponding to each input token vector. This allows Transformer layers to be stacked and to be used with a decoder Transformer for training. Thus, the output of the encoder layers is a set of token-wise vector embeddings. Due to this, as shown in Fig. 1, we use these word embeddings as representations for our classifier.

Aside from the word embeddings, there is a special clas-

Figure 1 Word Usage Classification Using BERT

Figure 2 Pseudo Labeling

sification embedding (CLS) and sentence separation embeddings (SEP). In traditional text classification, the CLS token is used to classify the entire document. However, in our case, we do not use the CLS embedding because we focus on individual word usage.

## 4 Semi-Supervised Learning

SSL is a problem setup that incorporates supervised data and unsupervised data to train models. The benefit of SSL is that it makes it possible to leverage large amounts of unlabeled data to supplement the labeled data. This is useful because annotating unlabeled data can be costly and time-consuming.

One method of SSL is the use of Pseudo Labeling [6]. Pseudo Labeling is a method of labeling the unlabeled data based on probabilistic confidence to be used alongside the already labeled data. Pseudo Labeling is performed in multiple rounds of training, as shown in Fig. 2. First, the model is trained using the labeled data. Next, the unlabeled data is classified using the trained model. When the unlabeled

Table 1 Details of the datasets

 & 70 & 95 & 64 & 703 \\

data is classified, a confidence score $p$ is determined. For the purpose of Pseudo Labeling, the confidence is defined as the probability of the predicted class. Then, the predicted unlabeled data with a high confidence threshold $\tau$ is labeled, i.e. where $p \geq \tau$, which becomes pseudo labels. The model is then trained again using the combined annotated labels and pseudo labels. Finally, this process is repeated $N$ number of rounds or until satisfied.

## 5 Experimental Results

## 5.1 Dataset

In this study, we use data from two corpora. The first corpus is the English Vocabulary Profile (EVP) Online word list [17]. The corpus includes a list of words with definitions, usages, and example sentences, hereafter referred to as dictionary examples. For this study, the American English definitions are used. In addition, EVP also includes learner examples which are sentences written by varying levels of language learners. The second is a privately gathered book corpus consisting of Common European Framework of Reference (CEFR) graded materials. The EVP corpus is used to create the supervised datasets and the book corpus is used for the unsupervised data.

From the corpora, we created five datasets, as shown in Table 1. Each dataset is used to classify the usage of a single word. Also, it should be noted that each dataset incorporates all tenses of the word. Four of the datasets, "get," "let," "play," and "see (1)" use the usage labels determined by EVP. We use the dictionary examples as the training set and the learner examples as the test set. For each unlabeled set, lines of text that contained the specific word were gathered from the book corpus.

In addition to datasets determined by EVP Online, a second dataset, "see (2)" was annotated manually. This dataset combines all sentences with the word "see" (and its tenses) from the entire EVP corpus. Each sentence was annotated based on the eight high-level definitions by two English speakers. The classes are "see (use eyes)," "see (meet)," "see (on media)," "see (understand)," "see (information)," "see (consider)," "see (happen)," and "see (believe)." The problem with the previous datasets is that there are only a few dictionary examples for each class. This dataset is used to evaluate the proposed method but on a larger dataset. The total number of sentences was 1,113 and a training and test split was created by taking $20 \%$ from each class to be saved for the test data.

## 5.2 Architecture and Training

To acquire the word embeddings, a 12 transformer layer pre-trained BERT is used. The pre-trained BERT is fed word piece sequences created from each sentence and outputs word embeddings. As recommended by Bertas-service [18], the embeddings from the second-to-last transformer layer is used, i.e. the 11th layer. This is done because Bert-as-service found that the last layer embeddings tend to be learned in a way for the Masked Language Model (MLM) [5]. The second-to-last layer contains more contextual information and word meaning.

The word embedding vectors are then classified using a Multi-Layer Perceptron (MLP) neural network. The network consists of two layers, one hidden layer and one output layer. The hidden layer has 512 nodes. The hidden layer uses Rectified Linear Unit (ReLU) activations and Dropout with a probability of 0.5 . The weights were initialized using a Xavier uniform initialization [19]. The word embedding vectors are then classified using a fullyconnected layer with the number of nodes equalling the number of classes and a softmax activation.

The MLP is trained using Adam optimizer [20] for 1,000 epochs. We use a batch size of 10 and an initial learning rate of 0.0001 . For the SSL, rounds of Pseudo Labeling were performed until all of the unlabeled data was labeled or a maximum of 10 rounds has passed. The threshold was set to $\tau=0.99$.

## 5.3 Results

The results are shown in Table 2. In the table, MLP is the classifier using the BERT word embeddings without Pseudo Labeling, and MLP+PL uses Pseudo Labeling. For comparison, we use 1-Nearest Neighbor (1-NN) with the

Table 2 Classification Accuracy $(\%)$

Table 3 Example Test Set Instances with the Same Token Embedding but Different Word Embeddings That Were Correctly Classified

BERT embeddings. For "play," $\tau=0.95$ was used because no unlabeled data had a confidence of 0.99 . The results show that the Pseudo Labeling is able to help improve the accuracy of "see (2)."

Conversely, the datasets with a very high unlabeled to labeled ratio performed worse. Calculated from Table 1, the "get," "let," "play," and "see (1)" datasets have an unlabeled to labeled training data ratio of 7.4:1, 3.1:1, 11.2:1, 15.3:1, respectively. This indicates that Pseudo Labeling is weak in instances where there are not enough training samples compared to the unlabeled samples.

Table 3 shows instances where the target word, "see," had the same input embedding but different output word embeddings. Importantly, the word embedding was able to be used to correctly classify the usage in each sentence. Thus, it can be inferred that the embeddings from BERT contain semantic information and is able to separate homographs.

## 5.4 Ablation

In order to determine the threshold for Pseudo Labeling, we performed a parameter search. The analysis is performed on the larger "see (2)" dataset to increase the reliability of the analysis. The results in Table 4 show that the best $\tau$ is 0.99 for Pseudo Labeling.

## 5.5 Examining the Pseudo Labels

It is important for the unlabeled data to be assigned accurate Pseudo Labels for SSL to work. Therefore, in
Table 4 Affect of the Threshold Accuracy (\%)

Table 5 Example Pseudo Labels and Confidences for "See (2)"

 \\

Table 5, we examine some of the Pseudo Labels assigned by the model. In the examples where the confidence $p$ was higher than $\tau=0.99$, the correct Pseudo Label was assigned.

Furthermore, in the table, (4) and (5) were mislabeled. (4) should be "see (use eyes)" and (5) should be "see (understand)." Due to their low confidence scores, they were correctly not Pseudo Labeled. However, despite example (6) having low confidence, it was labeled correctly, thus, not selected as a Pseudo Label.

## 6 Conclusion

In this research, we verified whether the output word vectors of BERT can represent the usage of words, and made classifiers using the output word vectors. Also, we improved our classifier through the use of Pseudo Labeling. We demonstrate that the use of Pseudo Labeling is useful in helping improve the model. However, there are limitations to Pseudo Labeling and when there are many more unlabeled patterns than there are labeled patterns, then the accuracy is degraded. In the future, we will increase the words and incorporate other information inherent to text to improve Pseudo Labeling.

## Acknowledgments

This work was supported by MEXT-Japan (Grant No. JP21K17808, JP22H00677, JP20H00095).

## References

[1] Marjolijn Verspoor and Wander Lowie. Making sense of polysemous words. Language Learning, Vol. 53, No. 3, pp. 547-586, jul 2003.

[2] Victoria Abou-Khalil, Samar Helou, Brendan Flanagan, Mei-Rong Alice Chen, and Hiroaki Ogata. Learning isolated polysemous words: identifying the intended meaning of language learners in informal ubiquitous language learning environments. Smart Learning Environments, Vol. 6, No. 1, nov 2019.

[3] Alex Boulton and Sylvie De Cock. Dictionaries as aids for language learning. In International Handbook of Modern Lexis and Lexicography, pp. 1-17. Springer, dec 2016.

[4] Li Jin and Elizabeth Deifell. Foreign language learners' use and perception of online dictionaries: A survey study. Journal of Online Learning and Teaching, Vol. 9, No. 4, p. 515, 2013.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[6] Dong-Hyun Lee. Pseudo-label: The simple and efficient semi-supervised learning method for deep neural networks. In ICML Workshops, Vol. 3, p. 2, 2013.

[7] S. Selva Birunda and R. Kanniga Devi. A review on word embedding techniques for text classification. In Innovative Data Communication Technologies and Application, pp. 267-281. Springer, 2021.

[8] Andrea Gasparetto, Matteo Marcuzzo, Alessandro Zangari, and Andrea Albarelli. A survey on text classification algorithms: From text to predictions. Information, Vol. 13, No. 2, p. 83, feb 2022.

[9] Qian Li, Hao Peng, Jianxin Li, Congying Xia, Renyu Yang, Lichao Sun, Philip S. Yu, and Lifang He. A survey on text classification: From traditional to deep learning. ACM Transactions on Intelligent Systems and Technology, Vol. 13, No. 2, pp. 1-41, apr 2022.

[10] Kyle Gorman, Gleb Mazovetskiy, and Vitaly Nikolaev. Improving homograph disambiguation with supervised machine learning. In Language Resources and Evaluation, 2018 .

[11] Marco Nicolis and Viacheslav Klimkov. Homograph disambiguation with contextual word embeddings for TTS systems. In ISCA Speech Synthesis Workshop, 2021.

[12] Binbin Shen, Zhiyong Wu, Yongxin Wang, and Lianhong Cai. Combining active and semi-supervised learning for homograph disambiguation in mandarin text-to-speech synthesis. In Interspeech, 2011.

[13] Noushin Riahi and Fatemeh Sedghi. A semi-supervised method for persian homograph disambiguation. In Iranian Conference on Electrical Engineering, 2012.
[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems (NeurIPS), 2017.

[15] Yukun Zhu, Ryan Kiros, Rich Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Aligning books and movies: Towards story-like visual explanations by watching movies and reading books. In International Conference on Computer Vision (ICCV), 2015.

[16] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, et al. Google's neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint arXiv:1609.08144, 2016.

[17] English Vocabulary Profile. English vocabulary profile online - american english. https://www. englishprofile. org/american-english, 2023.

[18] Han Xiao. Bert-as-service. https://github.com/ hanxiao/bert-as-service, 2018.

[19] Xavier Glorot and Yoshua Bengio. Understanding the difficulty of training deep feedforward neural networks. In International Conference on Artificial Intelligence and Statistics, pp. 249-256, 2010.

[20] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.


# 単語に対して複数の表現を使用した上位概念の発見

盛野晃平 ${ }^{1}$ Tad Gonsalves ${ }^{1}$
${ }^{1}$ 上智大学 理工学研究科 理工学専攻 情報学領域
k-morino-5m6@eagle.sophia. ac.jp t-gonsal@sophia. ac.jp

## 概要

単語同士の関係性を機械学習を用いて見つけるこ とは自然言語処理の分野で重要なタスクである。そ の中でも本研究では上位概念の発見という，単語を より抽象度の高い単語で表すタスクに取り組む. 先行研究では， 1 つの単語に対して 1 つ表現を使用 して学習を行っていたが提案するモデルでは単語に 対して意味を考慮した複数の表現を用いて学習する ことを提案する. SemEval2018 task9 [5] というコンペ ティションで提供されているデータで学習と評価を 行った.

## 1 はじめに

自然言語の上位概念・下位概念の関係は言語の意味的な関係においてとても重要なものである.ある 単語のより抽象的な意味を表す上位語と, ある単語 をより具体的に説明する下位語の関係である. 本研究で取り組むタスクは上位概念の発見である.この タスクは, 単語が与えられたときに上位概念の候補 の単語の中から, その単語の上位概念としてふさわ しい単語にランキングをつけて出力することが目的 である. 本研究では教師あり学習を使用し, CRIM [4] が提案するモデルをもとに，単語に対して意味を考慮した複数の表現を出力できる Adaptive Skip-gram [3] (AdaGram)を使用して学習および精度の検証を行 う.

## 2 関連研究

上位概念の発見にはパターンベースのアプローチ と分散表現を使用したアプローチがある.

パターンベースのアプローチでは Hearst [6]が提案 した文法のパターンを使用して上位語と下位語の関係を見つけ出す，簡単にできる一方で，計算時間の 問題, 言語依存, 上位語と下位語が同じ文章内で現
れる必要があることによる低い再現率といった問題 が挙げられる。

2つ目の方法として分散表現を用いたアプローチは，教師あり学習または教師なし学習を使用し, 単語の 埋め込み表現を使用して関係性を見つけ出すことを 目標にしている. Adapt [8]は上位概念の発見のため に Skip-gram [9]を用いて単語の埋め込み表現を学習 し, 得られた単語の埋め込み表現をもとにコサイン 類似度を用いて上位概念か否かの判定をする教師な し学習のモデルを提案している。より一般的なのは 教師あり学習のモデルである．教師あり学習では単語の埋め込み表現が入力され, 正解のペアデータを 用いてモデルを学習する. CRIM は教師なし学習と 教師あり学習を共に使うことで精度の向上をした.

[2]のモデルでは教師なし学習で上位語の発見の夕 スクに挑戦している，このモデルではコサイン類似度とコーパスにおける単語の出現の回数を基にした ランキング付けを行うメソッドを基に学習を行って いる.

精度を向上させるための別のアプローチとして, 単語の埋め込み表現に工夫を加えるものが挙げられる。 [1]は BoxE という，エンティティをポイントして埋 め込み，基本的な論理的な性質を特徴づけた超長方形のセットに関係性を埋め込む方法を提案した。

[10]は box embedding を上位概念の発見で使用する モデルである HyperBox を提案した。

## 3 提案手法

## 3.1 前処理

まず，単語の表現のモデルを作成するためにラベ ル付けされていない文章の単語の前処理を行う。全 ての単語の文字を小文字にして，複数の単語で成り 立つ言葉の単語間のスペースをアンダースコアに変換し 1 つの単語として学習を行う. さらに, ノイズ になる単語を取り除く。

## 3.2 単語埋め込み表現のモデル

本研究では, Skip-gram を使用して単語の埋め込み 表現を得ている CRIM と異なり, それぞれの単語に 対して複数の表現を用いる. そのために AdaGram を 使用する.この手法は， 1 つの表現で単語のすべて の意味を考慮することは難しいのではないかという 推測のもと提案され, word similarity のタスクで従来 の Skip-gram に比べて良い精度を示した. AdaGram を用いて学習することで意味を考慮した単語埋め込 み表現を得ることができる。また, AdaGram は自動的に単語の意味の数を学習することができる. それ ぞれの単語は意味ごとの表現に従ってインデックス が付与される.

## 3.3 ペアの選択

それぞれの単語に対して複数の表現を用いるため にはトレーニングのペアの選択を慎重に行う必要が ある. 学習で用いるラベル付けされたデータは, 1 つ の下位語と 1 つ以上の上位語で成り立っている. そ れぞれの単語に対してどの単語の表現を使用するか を決める必要があるので, この選択はコサイン類似度をもとに行う. 下位語 $\mathrm{q}$ が $\mathrm{n}$ 個の意味を, 上位語 $\mathrm{h}_{\mathrm{i}}(\mathrm{i}=1,2, \ldots \mathrm{k})$ が $\mathrm{m}_{\mathrm{i}}$ 個の意味を持っていた場合に，す べての下位語と上位語の意味を考慮した表現同士の コサイン類似度を計算するので，

$
P=n \times \sum_{i=1}^{k} m_{i}
$

$\mathrm{P}$ 個の計算結果を比較し, その中でベストな値を示 したぺアをトレーニングデータとして採用する.こ の時に，コサイン類似度が 0 より大きいペアのみ採用する. Algorithm1 に実際の選択方法を示す.

図 1 に上記の計算を行うことで選択されるぺアの 例を示す. Algorithm1 に従って, それぞれの単語に は事前学習済みの単語埋め込み表現モデルが出力す る意味を考慮した表現の数に従ってインデックスが 付与される. インデックスが付与された単語のぺア を使用して学習を行う. 検証, テスト用のペアは意味を考慮したインデックスが付与されていない.コ サイン類似度を用いれば，これらのペアにもインデ ックスを付与することは可能だが正確性に欠けてし まう. 推論の際に出力されるのは意味のインデック スが付与された単語であるので, 検証とテストを行

う際には，それらのインデックスを取り除く必要が ある。学習済みのモデルは, 単語ごとに上位語とし て予測した単語をスコアとともに出力する.このス コアは上位語としてどれだけふさわしいかを表した ものである. このスコアをもとにランキングを作成 し上位 $\mathrm{n}$ 語の単語を取得し評価を行う. 評価手法に 関しては 4.2 で説明する.

図 1 意味に応じてインデックスが付与されたペア

## 3.4 上位概念発見のモデル

上位概念の関係を見つけるためのモデルは CRIM が提案したモデルをもとに作成する。学習は Projection learning [11]という単語の埋め込み表現の 射影ベクトルを使用した方法で行う. 下位概念の単語の埋め込み表現の射影ベクトルと上位語の候補の 単語の埋め込み表現のベクトルの距離を計算しスコ アを出力する．上位語のランキングを作成するとき には, 出力されたこのスコアが高いものから順に上位語としてふさわしいと判断をした. 活性化関数に は sigmoid 関数を使用し, 損失関数は Binary cross entropy を使用した. Negative sampling を用いて学習 を行うので, 出力されたスコアを正解のデータでは 1 に不正解のデータを 0 に近づけるように学習を行 った。学習の際のロスは正例と負例におけるロスを 合計したものを使用した. 最適化には Adam [7]を使用した. 図 2 にモデルの学習手順を示す.

図 2 トレーニング手順

## 4 実験

## 4.1 データセット

本研究では, SemEval2018 task9 で提供されている 英語のデータセット（1A, 2A, 2B）を用いて実験を 行った. それぞれのデータセットはラベル付けをさ れていないテキストデータと上位語・下位語のぺア のデータで構成されている.2Aのデータは医療の領域, 2B のデータは音楽の領域の単語のペアを持つ. $1 \mathrm{~A}$ のデータが 1 番多く,学習とテストデータは 1,500個あり，2Aと 2B は 500 個ある. それぞれ 1 つ以上 の上位概念・下位概念のぺアを持つ. $1 \mathrm{~A}$ のデータの 検証用のデータ数が 50 個あるのに対して $2 \mathrm{~A}$ と $2 \mathrm{~B}$ の検証用のデータの数は 15 語しかないので学習の 精度に影響を及ぼす可能性がある。単語の埋め込み 表現のモデルはそれぞれのデータセットのテキスト データを基に作成した。

## 4. 2 評価指標

提案するモデルは最大で上位 15 語の予測結果を 3 つの指標を用いて評価した. SemEval 2018 task 9 で使われている評価指標と同じものを使用した。 1 つ目は, Mean Average Precision(MAP)である. MAP を提案するモデルの評価の主要な指標として 用いた. Average Precision は, その順位までの正解率を特定のデータにおいて平均を求めたものであ る.この指標の平均が MAP にあたる.

$
\mathrm{MAP}=\frac{1}{|Q|} \sum_{q \in Q} A P(q)
$

2つ目は, Mean Reciprocal Rank(MRR)である. MRR は最初に現れた正解データの順位の逆数の平均をとったものである.

$
\mathrm{MRR}=\frac{1}{|Q|} \sum_{i=1}^{|Q|} \frac{1}{\text { rank }_{i}}
$

3 つ目が，P@1である．P@n (n は自然数)は上位 $\mathrm{n}$個における Precision である. HyperBox と精度の比較を行う際には $\mathrm{P} @ 5 を$ 使用した。

## 4. 3 実験手順

まず, 3.1 で説明した前処理を行った. 次に, 単語 をべクトル表現するためのモデル(Emb model)を AdaGram を用いて作成した.このモデルが出力する 単語埋め込み表現の次元は CRIM が用いている単語埋め込み表現の次元に合わせて 300 である. 加えて， Emb model はコーパスで現れる回数が 5 回未満の単語を無視した. さらに，そのモデルにおいて単語が どれくらいの数の意味を持っているかは, AdaGram の論文で採用されている閾値 $10^{-3}$ を用いて定めた。作成された Emb model をもとに 3.3 で説明されてい る手順に従ってトレーニング用の上位概念・下位概念のペアを作成した．学習時に使用する不正解のデ 一夕は, その単語の上位概念の正解データに含まれ ない他のペアの上位語をランダムに取得し使用した.

CRIM のモデルは結果の評価をする際にはデータの 種類に関わらず, $1 \mathrm{~A}$ のデータのみでパラメータのチ ユーニングしたモデルを使用していたので，それに 倣って 1A のデータのみでチューニングしたパラメ 一タを $2 \mathrm{~A} ， 2 \mathrm{~B}$ のデータセットでのトレーニングに も用いた。トレーニング中で最も高い MAP を得る ことができたモデルをテストに用いた。テストでは 先ほど説明した評価指標をもとに CRIM との精度の 比較を行った。

## 5 実験結果

## 5.1 英語のデータにおける実験結果

表 1 に英語のデータにおける実験の結果を示す. CRIM の精度は提案するモデルと公平に評価するた めに, 教師あり学習でパターンを基にしたアプロー チを使用していないものを用いた. CRIMでは Hearst が提案した上位概念・下位概念の関係を見つけるこ とができる文法のパターンを用いて上位語の発見を 行っている. 提案するモデルは CRIM と比べると $2 \mathrm{~A}$ データセットの MAP の結果を除き他の全ての指標 で精度を上回った. 特に, MRR と $\mathrm{P} @ 1$ の指標で大幅に精度を改善することができた。

Algorithm1 で説明をしたコサイン類似度が 0 より大 きいぺアのみ選択する処理を行わないと $1 \mathrm{~A}$ のデー タセットにおいて MAPが 35.96\%, MRRが 18.77\%, P@1が 29.73\%となった.

## 5.2 チューニングを行った際の実験結果

CRIM との結果を比較したが，提案するモデルは 2A, 2B のデータに対してはパラメータのチューニン グを行っていないので，それぞれのデータセットに対してチューニングを行えばより高い結果が得られ ると推測した. 結果の比較の際には，2A と 2B のデ ータセットでCRIM に比べて高い精度を示している HyperBox を使用する. 提案するモデルでは $2 \mathrm{~A}$ に対 してパラメータのチューニングを行ったときには精度の改善が見られたが，2B のデータで行った際に は精度の改善ができなかったので 2B の実験結果に 関しては表 1 と同じ結果を使用する。表 2 に結果の 比較を示す。全ての項目で提案するモデルは HyperBox の精度を上回った. 特に MRR のスコアに 関しては大幅に精度を上回った. 英語のデータでの 実験の際にも同じように MRR の大幅な改善が見ら れた. このことから提案するモデルは，上位語の単語をより高い順位で出力することができたことがわ かった.

表 2 チューニング後の実験結果

## 6 まとめ

本研究では，上位概念の発見のタスクにおいて， 1つの単語に対して意味を考慮した複数の単語の表現を用いることで予測の精度を改善できることを示 した. さらに，モデルを構築するためのトレーニン グペアを選択する方法を説明した。提案するモデル は，意味を考慮した単語の表現を得るために人間が 構築した辞書などを必要としないので，学習用の上位概念・下位概念のぺアがあれば容易に適応するこ とができる.

## 参照文献

1. ABBOUD, Ralph, et al. Boxe: A box embedding model for knowledge base completion. Advances in Neural Information Processing Systems, 2020, 33: 9649-9661.

2. ATZORI, Maurizio; BALLOCCU, Simone. Fullyunsupervised embeddings-based hypernym discovery. Information, 2020, 11.5: 268.

3. BARTUNOV, Sergey, et al. Breaking sticks and ambiguities with adaptive skip-gram. In: artificial intelligence and statistics. PMLR, 2016. p. 130-138.

4. BERNIER-COLBORNE, Gabriel; BARRIERE, Caroline. Crim at semeval-2018 task 9: A hybrid approach to hypernym discovery. Proceedings of the 12 th international workshop on semantic evaluation. 2018. p. 725-731.

5. CAMACHO-COLLADOS, Jose, et al. SemEval2018 task 9: Hypernym discovery. Proceedings of the 12th International Workshop on Semantic Evaluation (SemEval-2018); 2018 Jun 5-6; New Orleans, LA. Stroudsburg (PA): ACL; 2018. p. 71224. ACL (Association for Computational Linguistics), 2018.

6. HEARST, Marti A. Automatic acquisition of hyponyms from large text corpora. COLING 1992 Volume 2: The 14th International Conference on Computational Linguistics. 1992.

7. KINGMA, Diederik P.; BA, Jimmy. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

8. MALDONADO, Alfredo; KLUBIČKA, Filip. Adapt at semeval-2018 task 9: Skip-gram word embeddings for unsupervised hypernym discovery in specialised corpora. Proceedings of The 12th International Workshop on Semantic Evaluation. 2018. p. 924-927.

9. MIKOLOV, Tomas, et al. Distributed representations of words and phrases and their compositionality. Advances in neural information processing systems, 2013, 26.

10. PARMAR, Maulik, et al. HyperBox: A Supervised Approach for Hypernym Discovery using Box
Embeddings. arXiv preprint arXiv:2204.02058, 2022.

11. YAMANE, Josuke, et al. Distributional hypernym generation by jointly learning clusters and projections. Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers. 2016. p. 1871-1879.


# 深層学習を利用した PropBank 形式の 日本語意味役割付与モデル

タロックカラム 1 竹内孔一 2 バトラーアラステア 3
長崎郁 4 パルデシプラシャント 5
1 岡山大学大学院 2 岡山大学学術研究院
3 弘前大学 4 名古屋大学 5 国立国語研究所
poq93z0h@s. okayama-u.ac.jp
takeuc-k@okayama-u.ac.jp

## 概要

本論文では日本語に対して述語項構造シソーラ スの概念フレームを基に PropBank 形式の意味役割 を付与したタグ付きコーパス NPCMJ-PT に対して，複数の深層学習モデルを適用することで，意味役割 ラベルとその範囲 (スパン)を予測する実験を行っ たので報告する. 深層学習で利用するモデルとして BERT の他にスパンを選択するためのモデルを導入 する。また NPCMJ-PT のデータからは意味役割が付与された事例約 53,000 事例 (1 事例 1 述語の意味役割) を利用する. 評価実験において BERT の利用層 の異なりや特徴量を変えることで最も高い精度を出 すモデルについて検討する。

## 1 はじめに

意味役割ラベル付与というタスクは文内の述語と 係り関係にある句に対して意味的な関係を付与す るタスクである。例えば図 1 では「壊す」の述語と 係り関係にある「彼は」「木の扉を」「手で」3つの 句に対して $\operatorname{Arg0}, \mathrm{Arg} 1, \mathrm{Arg}-\mathrm{MNS}$ のラベルを付与 するタスクである.この $\operatorname{Arg0}$ などのラベルはここ では $\operatorname{Arg} 0$ は動作主 (壊す人), $\operatorname{Arg} 1$ は壊される対象, ArgM-MNS は壊す際に使う手段を表しており，これ は述語の概念フレームによって異なる. 図 1 には概念フレームは示していないがここでは壊すは [破壊] という概念 (FID=277) である. これらは述語項構造 シソーラス $(\mathrm{PT})^{1)}$ で公開している.

一方，国立国語研究所では Web 上で公開可能な

1） https://pth.cl.cs.okayama-u.ac.jp/.「壊す」の他の概念フレー ムとして [身体部分の症状 (195)] 「異を壊す」や [消滅 (137)]「計画を壊す」がある。それぞれ概念フレームによって意味役割の意味が異なる.

図 1 「彼は木の扉を手で壊した」の意味役割ラベル

日本語テキストに対して構文木を付与したデータ NPCMJ を作成して公開している2). NPCMJ に対し て述語項構造シソーラスの体系を基に PropBank 形式の意味役割を付与したデータが NPCMJ-PT であり 現在も付与を続けている.

そこで，本論文では NPCMJ-PT に付与されている 意味役割データ (意味役割は 32 種類) に対して，深層学習モデルを適用することで係り関係にある句と その意味役割ラベルを推定する。

## 2 関連研究

意味役割付与の研究は主に英語の PropBank を 利用したデータで研究されており，CoNLL2005 や CoNLL2012 のデータが利用されている $[1,2,3]$. 上述の通り，意味役割は係り関係にある句を取り出す 必要があるため，複数の単語列を文から取り出す必要がある. 文献 [1] にあるように大きく分けて 3 種類の方法がある．1)IOB2 タグで意味役割のラベル と区間をモデル化する手法 (例えば [4])，2) スパン ベースで解く方法 $([2,3]), 3)$ 各フレーズの主辞単語を同定してから解く方法 (例えば [5]) が提案され ている。本論文では 2)のスパンを利用した手法 [3] を参考に日本語意味役割付与モデルについて検討 する。

## 3 スパンに基づく意味役割付与モ デル

2) https://npcmj.ninjal.ac.jp/index.html.

図 2 スパンベクトル「彼は木の扉を手で壊した」の意味役割ラベル

## 3.1 スパン選択モデル

本論文ではスパン選択モデル [3] を基にした深層学習による意味役割付与モデルを構築する. まず入力文である日本語はすべてトークン化された状態で 入力するとし，またどの述語に対する項 (述語と係 り関係にある句) を取り出すか指定することとする。

スパンは文中の対象の述語に対する 1 つの項を 表し, その最初と最後の形態素に対応したトークン 番号を $i, j$ とし, 意味役割のラベルを $l$ としたとき $\langle i, j, l\rangle$ で表す. 各トークンに対する分散表現ベクト ルを $h_{i}, h_{j}$ とすると, 最大のトークン列について全 ての組 $\left[h_{i}, h_{j}\right]$ を作成する. このべクトル組を連結 して1つのべクトルにしたものを本論文ではスパン ベクトルと呼ぶ.

これらのスパンベクトルに対して意味役割が付与 されているものには $\operatorname{Arg} 0$ や $\operatorname{Arg} 1$ など付与し，その 他の部分について $\mathrm{O}$ や述語 $\mathrm{V}$ や $\mathrm{N}(\mathrm{Null})$ タグ, さら に意味役割の句よりも短いものは F(Fragment) など ラベルを設定して，全スパンの組み合わせについて ラベルを用意する ${ }^{3}$. 誤差学習の部分では, 全スパ ンの組に対して正解ラベルとの誤差を計算して，ク ラス分類に基づく誤差でニューラルネットワークの 重みを学習する。

次に，テストデータに対する意味役割付与におい て，各スパンベクトルの意味役割ラベルを推定し た値 (Softmax や Logits を利用)を利用して值が大き いものから順に Greedy で意味役割のスパンとラべ ルを決定する.この処理を Decode と呼ぶ. この際， スパンが重ならないように選択する。また，テスト データに対しては学習中に利用した $\mathrm{F}$ や タグは無

$ は全部で 32 種類，その他 $\mathrm{O}, \mathrm{V}, \mathrm{N}$ と -A, F-Pを含めて学習時は 37 種のタグで学習する.
}

る. 図 2 に最終層の部分の処理について記述する. スパンベクトルには指定する述語を含むかどうかを 知らせる 1 次元のべクトルを連結している.

## 3.2 スパンベクトルの作成

スパンベクトル作成のために様々な深層学習モ デルを利用する。まず文書は BERT を利用してトー クン化を行い，各トークンに対する分散表現べク トルとする. BERT は東北大が作成した Huggin Face の BERT (Small)4)を利用する。この基本モデルを基 に，複数のモデルを作成する．1) Base: BERT の最終出力層のベクトルを利用する。また Decode 時 に softmax の值を利用する. 2) Logits: Decode 時に logits の値を利用する. 3) ExO: Decode 時に O タグ を予測しない. 4) DelO: 学習時に O ラベルを Nに統合. 5) AddF: 学習時に F ラベルを F-A0, F-A1 などよ り詳細に付与する. 6) Enc4: Base モデルの BERT の エンコーダの学習層を最終 4 層に変更. これら 6 種類のモデルを作成して実験を行う。

## 3.3 実験

上記で定義したモデルに対して意味役割付与デー タ (NPCMJ-PT) で学習およびテストを害施する.こ れによりどのモデルが効果的であるか実験的に明ら かにする。

## 3.4 実験設定

NPCMJ-PT から抽出した学習データは 1 述語に対 して関係する意味役割が付与されている形式であ る. そのため同じ文であっても対象とする述語が異 なれば別の 1 件としてデータが作成されている. 1 述語のデータの件数は 5483 件で，これらから意味役割の部分だけ取り出すと全部で 53,867 件である. これを学習，開発，テストデータとして $8: 1: 1$ に分割して利用する。

評価としてスパンと意味役割タグが一致した 部分のみ正解とする。また評価値としては適合率 (Precision), 再現率 (Recall), 調和平均 (F) を利用す る.

## 3.5 実験結果と考察

上記のモデルについてテストデータに対して意味役割付与を行った結果を表 1 に実験結果を記述

表 1 NPCMJ-PT に対する意味役割付与実験

する.

表 1 から，まず Base モデルと比較して softmax で はなくlogitsを利用した場合は $\mathrm{F}$ 値が下がったため softmax を利用した方が良いことが分かる。また副次的に出力している $\mathrm{O}$ タグや $\mathrm{N}$ タグ， $\mathrm{F}$ タグである が, 基本的にはこれらは最終の出力としては利用さ れないタグではあるが，タグそのものは正解の意味役割ラベルから与えられているため, ある種の異な るタスクをモデルに解かせている状態と考えられ る. ExO や DelO などタグを削除する方向では精度 が下がったため, 逆に F タグを細かく設定して学習 させたところ精度の向上が見られた. また，Base に たいして F 値を上回ることができた.

また，一方で BERT から取り出すべクトルを変更 した Enc4 は大きく精度が向上し, 提案したモデル の中で最も高い値をしめした. BERT の最終出力層 だけでなく最終の 4 層部分を利用した方がよいこと がわかる.

また表 1 の結果は英語ので CoNLLを利用した結果より $\mathrm{F}$ 值が低いことが分かる. しかしながら学習データが意味役割の項で約 20 万以上 ${ }^{5 ）}$ ときい ことから，学習データ量による差があると考えら れる。

## 3.6 おわりに

日本語の PropBank 形式の意味役割付与データで ある NPCMJ-PT に対して，スパンに基づく意味役割付与モデルを構築して評価実験を実施した. その結果 $\mathrm{F}$ 值として約 0.62 の精度を得ることができた.意味役割の種類数は 32 である. 英語の結果に比べ て F 值が劣る理由としてデータ量が挙げられるが， NPCMJ-PT も約 5 万例と少なくない意味役割データ 量であるため，より外部知識や深層学習モデルを工夫することにより精度の向上を行う予定である.

## 謝辞

本研究の遂行にあたって JSPS 科研費 JP22k00530 の助成を受けた。

## 参考文献

[1] Zhisong Zhang, Emma Strubell, and Eduard Hovy. Comparing span extraction methods for semantic role labeling. In Proceedings of the 5th Workshop on Structured Prediction for NLP, pp. 67-77, 2021.

[2] Luheng He, Kenton Lee, Omer Levy, and Luke Zettlemoyer. Jointly Predicting Predicates and Arguments in Neural Semantic Role Labeling. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 364-369, 2017.

[3] Hiroki Ouchi, Hiroyuki Shindo, and Yuji Matsumoto. A Span Selection Model for Semantic Role Labeling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1630-1642, 2018.

[4] Luheng He, Kenton Lee, Mike Lewis, and Luke Zettlemoyer. Deep Semantic Role Labeling: What Works and What's Next. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 473-483, 2017.

[5] Zhisong Zhang, Xiang Kong, Zhengzhong Liu, Xuezhe Ma, and Eduard Hovy. A two-step approach for implicit event argument detection. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7479-7485, 2020.

5） https://www.cs.upc.edu/ srlconll/st05/slides/intro.pdf


# 深層距離学習を用いた動詞の意味フレーム推定

山田 康輔 1 笹野遼平 1,2 武田 浩一 1
1 名古屋大学 2 理化学研究所
yamada.kosuke.v1@s.mail.nagoya-u.ac.jp \{sasano, takedasu\}@i.nagoya-u.ac.jp

## 概要

意味フレーム推定において、事前学習済み文脈化単語埋め込みを用いる手法が主流になっている。し かし、汎用的な埋め込み空間は、必ずしもフレーム に関する人間の直観と一致しているわけではない。 そこで、本研究では、コーパス内の一部の述語につ いてのラベル付きデータの存在を仮定し、深層距離学習に基づき文脈化単語埋め込みをファインチュー ニングすることで、高精度な意味フレーム推定を実現する手法を提案する。実験を通し、深層距離学習 を適用することで、 8 ポイント以上スコアが向上す ることを示す。さらに、教師データが極めて少量で ある場合でも、提案手法が有効であることを示す。

## 1 はじめに

動詞の意味フレーム推定は、テキスト中の動詞 を、その動詞が喚起する意味フレームごとにま とめるタスクである。たとえば、表 1 に示される FrameNet [1,2]の 8 つの用例の場合、各動詞が喚起 するフレームごとにグループ化し、4つのクラスタ を形成することが目標となる。

意味フレーム推定において、ELMo [3] や BERT [4] などの文脈化単語埋め込みの有用性が報告されてい る [5, 6, 7]。図 1 (a) は FrameNet に含まれる用例中の 動詞の事前学習済み BERT (Vanilla BERT) による埋 め込みを t-SNE [8] で 2 次元にマッピングした結果 である。動詞「cover」の用例 (1) と (7) は空間上で離 れている一方、同じ TOPIC フレームを喚起する動詞 の用例 (7) と (8) は近くに位置しており、ある程度、意味フレームの違いを反映した埋め込み空間である といえる。しかし、同じフレームを喚起する動詞が 離れた位置に存在するケースも散見される。たとえ ば、同じ Removing フレームを喚起する動詞の用例 (5) と (6) は互いに離れた位置に存在している。これ は Vanilla BERT の埋め込み空間が、意味的に似た事例が近い位置に、異なる事例が離れた位置になると表 1 FrameNet 内のフレームを喚起する動詞の用例

Removing (5) Volunteers removed grass from the marsh.

ToPIC

(7) Each database will cover a specific topic.

(8) Chapter 8 treats the educational advantages. (a) Vanilla BERT

(b) Fine-tuned BERT w/ AdaCos図 1 Vanilla BERT と AdaCos を用いてファインチューニ ングされた BERT による動詞の埋め込みの 2 次元マッ ピング。各色 (形) は Filling ($\cdot$)、Placing ( $\boldsymbol{x}$ )、Removing (ロ)、TopIc (+) フレームを示し、数字は表 1 と対応する。

いう人の直観と常に一致しているわけではないこと を意味している。

本研究では、フレームに関する人の直観をより強 く反映した意味フレーム推定手法を実現するため、 コーパス内の一部の述語に対してアノテートされた データの存在を仮定する教師あり意味フレーム推定 タスクにおいて、深層距離学習に基づき文脈化単語埋め込みをファインチューニングすることで、高精度な意味フレーム推定を実現する手法を提案する。深層距離学習は、同じラベルの事例を埋め込み空間上で近づけ、異なるラベルの事例を遠ざける学習を 行うものであり、教師データに基づく埋め込み空間 の調整が期待できる。図 1 (b) は代表的な深層距離学習手法の 1 つである AdaCos [9]を用いてファイ ンチューニングした BERT による埋め込みの 2 次元マッピングである。Vanilla BERT において同じ意
味フレームを喚起する動詞の用例であるにも関わ らず、距離が離れていた用例 (3) と (4)、用例 (5) と (6) が、AdaCos を用いてファインチューニングした BERT では、互いに近い位置に存在していることが 確認できる。これは、深層距離学習によって、意味 フレームに関する人の直観をより反映させた埋め込 み空間が得られたことを示している。

## 2 教師あり意味フレーム推定

動詞の教師あり意味フレーム推定は、コーパス内 の一部の動詞への教師データの存在を仮定した意味 フレーム推定タスクであり、より性能の高い意味フ レーム推定手法を実現することが目的となる。教師 なし意味フレーム推定では、文脈化単語埋め込みな どの特徴量ベクトルを用いたクラスタリングベース の手法が一般的であるが、教師あり意味フレーム推定においても同様の桿組みが適用できる。異なる点 は、教師データを用いることで特徴量ベクトルを学習できるかどうかである。本稿では、教師データで ある学習セットに存在しない動詞の意味フレーム推定に対応するため、学習セットとクラスタリング対象のテストセット内の動詞が重複しない設定を採用 する。ただし、異なる動詞が同一のフレームを喚起 するケースは存在することから、テストセットに含 まれるフレームの一部は学習セットにも出現する。

## 2.1 ベースライン手法

シンプルなベースライン手法として、文脈化単語埋め込みによる 1 段階クラスタリングを用いる。1 段階クラスタリングでは、ユークリッド距離に基づ く群平均法による階層型クラスタリングを利用す る。また、Yamada ら [10]によるマスクされた単語埋め込みと 2 段階クラスタリングを活用した手法を 導入する。前者に関して、クラスタリングに用いる 埋め込みは動詞の文脈化埋め込み $\left(v_{\text {word }}\right)$ とその動詞を“[MASK]” に置き換えたときの文脈化埋め込み $\left(v_{\text {mask }}\right)$ の加重平均 $\left(v_{w+m}\right)$ とする。これは $\alpha$ を重みと して、式 (1) で定義される。

$
v_{w+m}=(1-\alpha) \cdot v_{\text {word }}+\alpha \cdot v_{\text {mask }}
$

後者の 2 段階クラスタリングは、 1 段階目に動詞 ごとの用例クラスタリング1)、2 段階目に動詞横

断クラスタリングを行う手法である。1 段階目に X-means [11]、2 段階目に群平均法を用いる。その他 の設定は、Yamada ら [10] と同様とする。

## 2.2 深層距離学習の適用

教師あり意味フレーム推定において、文脈化単語埋め込みのファインチューニングとして深層距離学習を適用する。これにより、同じフレームの事例が 近づき、異なるフレームの事例が遠ざかることが期待される。本稿では、距離ベースと分類べースの 2 つのアプローチを採用する。

距離ベースのアプローチ 一般に複数エンコーダ を用いて事例ぺア間の距離を学習するアプローチで ある。事例ぺアはある事例をアンカーとし、同じフ レームの事例を正例、異なるフレームの事例を負例 として作成する。損失には以下の 2 つを導入する。

Contrastive 損失 [12] は、正例ぺアを近づけ、負例 ペアを一定のマージン以上遠ざける学習を実現す る。これは、クラス $i$ の事例の埋め込みを $x_{i}$ 、マー ジンを $m$ 、平方ユークリッド距離に基づく距離関数 を $D$ とした式 (2)で定義される。

$
L_{\mathrm{cont}}= \begin{cases}D\left(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}\right) & i=j \\ \max \left(m-D\left(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}\right), 0\right) & i \neq j\end{cases}
$

また、Triplet 損失 [13] は、事例の 3 つ組に対して、 アンカー $x_{a}$ と負例 $x_{n}$ の距離を、アンカー $x_{a}$ と正例 $x_{p}$ の距離より一定のマージン以上遠ざける学習 を行うものであり、式 (3) で定義される。

$
L_{\text {tri }}=\max \left(D\left(\boldsymbol{x}_{a}, \boldsymbol{x}_{p}\right)-D\left(\boldsymbol{x}_{a}, \boldsymbol{x}_{n}\right)+m, 0\right)
$

分類ベースのアプローチ 近年、顔認識タスクを 中心に広く利用されているアプローチである。この アプローチのモデルの多くは、単一エンコーダと線形層を持つネットワークを利用し、式 (4) の softmax 損失がベースとなっている。式 (4) の $\boldsymbol{w}_{i}$ と $b_{i}$ は線形層の重みとバイアス、 $n$ はクラス数を示す。

$
L_{\mathrm{soft}}=-\log \frac{e^{\boldsymbol{w}_{i}^{\top} \boldsymbol{x}_{i}+b_{i}}}{\sum_{j=1}^{n} e^{\boldsymbol{w}_{j}^{\top} \boldsymbol{x}_{i}+b_{j}}}
$

重み $\boldsymbol{w}_{i}$ をクラス $i$ の埋め込みと捉元、事例とクラ スの埋め込みの距離を学習するための損失がいくつ か提案されている $[14,15,16]$ 。その中でも ArcFace 損失 [16] は幾何的な解釈に優れることから広く 利用されている。ArcFace 損失は、式 (5) のように、 softmax 損失をべースとして、 $b_{i}$ を除き、 $\boldsymbol{w}_{i}$ と $\boldsymbol{x}_{i}$ に $l_{2}$ 正規化を適用することで $\boldsymbol{w}_{i}^{\top} \boldsymbol{x}_{i}$ を $\cos \theta_{i}$ と表現し、

3 分割交差検証による教師あり意味フレーム推定実験結果。\# $\mathrm{pLU}$ と $\mathrm{C}$ はそれぞれ $\mathrm{pLU}$ 数とクラスタ数を示す。

} & Vanilla & 0.00 & - & 429 & $53.0 / 57.0 / 54.9$ & $40.8 / 44.6 / 42.6$ \\

クラス内の集約性とクラス間の分散性を強化するた めにマージン $m$ とスケール $s$ を導入している 2$) 。$

$
L_{\mathrm{arc}}=-\log \frac{e^{s \cdot \cos \left(\theta_{i}+m\right)}}{e^{s \cdot \cos \left(\theta_{i}+m\right)}+\sum_{j=1, j \neq i}^{n} e^{s \cdot \cos \theta_{j}}}
$

Zhang ら [9] はこれらの損失の性能がハイパーパ ラメータ依存な点を指摘し、それらの値を調査して いる。結果として、マージンを除き、動的なスケー ル $\tilde{s}$ を用いた式 (6)の AdaCos 損失を提案している。

$
L_{\mathrm{ada}}=-\log \frac{e^{\tilde{s} \cdot \cos \theta_{i}}}{\sum_{j=1}^{n} e^{\tilde{s} \cdot \cos \theta_{j}}}
$

## 3 実験

教師あり意味フレーム推定における深層距離学習 によるファインチューニングの有用性を評価する。 また、少量の学習事例における性能を検証する。

## 3.1 実験設定

データセット FrameNet 1.7 [2] から、フレームを 喚起する動詞の用例を抽出し、データセットを作成 した。 3 分割交差検証を行うため、それらを動詞単位で分割し3）、3つのサブセットを作成した。動詞数、 $\mathrm{LU}$ 数、フレーム数、事例数の平均は、それぞれ 831、1,273、434、27,537 である。学習セットは文脈化単語埋め込みのファインチューニングに使用し、開発セットは埋め込み $v_{w+m}$ の重み $\alpha^{4)}$ 、クラスタ 数、マージン5) の決定に使用する。

2）マージンとスケールの働きが類似すること [9] から、本実験では、スケールを 64 に固定し、マージンのみを探索する。

3）多義動詞の割合は一定とする。

4） 0 から 1 まで 0.1 刻みで探索している。

5） contrastive 損失と triplet 損失では、 $0.1 、 0.2 、 0.5 、 1.0 、$ ArcFace 損失では、 $0.01 、 0.02 、 0.05 、 0.1$ の範囲で探索している。比較手法 文脈化埋め込みモデルとして、事前学習済み BERT (bert-base-uncased) ${ }^{6}$ )を使用する。ファ インチューニングをしないモデル (Vanilla) と 5 つ のファインチューニングされたモデル (Contrastive、 Triplet、Softmax、ArcFace、AdaCos) に対して、1 段階クラスタリングと 2 段階クラスタリングを用いた 全部で 12 の手法を比較する。埋め込みは全て $l_{2}$ 正規化を適用する。また、バッチサイズは 32、学習率 は 1e-5、エポック数は 5 とし、最適化アルゴリズム は AdamW [17]を使用する。

評価指標評価指標として、B-cubed Precision

值 $(\mathrm{BCF})[18]$ と、Purity (PU)、Inverse Purity (IPU)、お よびその調和平均である $\mathrm{F}$ 值 (PIF) [19]を使用する。

## 3.2 実験結果

表 2 に実験結果を示す。Vanilla モデルと比較し て、ファインチューニングされたモデル、特に Triplet、ArcFace、AdaCos モデル、は全体的に高い

できる。一方、Contrastive モデルでは相対的に低い スコアとなった。これは Contrastive モデルのマージ ンが適切な粒度のクラスタ構築との親和性が低いこ とが要因であると考えられる。クラスタリングに関 して、2 段階クラスタリングが 1 段階クラスタリン グに比べて全体的に高いスコアを達成している。し かし、Vanilla モデルの場合では BcF と PIF 共に 12 ポイント以上差があったが、ファインチューニング されたモデルの場合ではその差が縮まっているこ

6) https://huggingface.co/bert-base-uncased
学習事例数を変化させたときの実験結果。各列は学習セット内の各 LU の使用された最大事例数を示す。

} & Vanilla & \multicolumn{2}{|c|}{$54.9 / 54.9 / 54.9 / 54.9 / 54.9$} & \multicolumn{4}{|c|}{$42.6 / 42.6 / 42.6 / 42.6 / 42.6$} \\

Vanilla BERT

Self_motion $*$ EXPerilencer_obJ

A BODY_MOVEMENT

Fine-tuned BERT w/ Triplet

PLACING

太 PATH_SHAPE

図 23 つのモデルにおける $v_{\text {word }}$ の 2 次元マッピング。各色および形状は事例数の多い上位 10 フレームを示す。

とが確認できる。このため、ファインチューニング を行う場合、1 段階クラスタリングも有望な選択肢 になり得る。また、重み $\alpha$ に関して、スコアの高い AdaCos や Triplet モデルを用いた 2 段階クラスタリ ングにおいて值が 0.5 であり、マスクされた単語埋 め込みを用いることの有効性が確認できる。

以上の実験結果から、約 30,000 という大規模な学習事例数が存在する場合については、学習事例に基 づきファインチューニングを行うことで高い性能を 実現できることが確認できた。しかし、FrameNetの ような大規模リソースが存在しない言語への適用を 考えた場合、少量の学習事例に対しても高い性能が 期待できることが重要となる。そこで、LUごとの 最大学習事例数の条件を ' 1 '、 ' 2 '、 ' 5 '、' 10 '、' 'all'と して実験を行った。 3 セットの平均学習事例数はそ れぞれ 1,273、2,445、5,680、10,053、27,537である。表 3 に結果を示す。Triplet モデルは少ない学習事例数においても有用であることが確認できる。特に、 2 段階クラスタリングでは、' 1 ' と 'all' で学習事例数 が 20 倍以上異なるにも関わらず、スコアは 3 ポイ ント程度しか変わらないことから、少量の教師デー タが存在するのであれば、Triplet モデルを用いた 2 段階クラスタリングを適用することで、高精度な意味フレーム推定が実現可能と考えられる。一方、 AdaCos モデルでは学習事例が少ない場合は大きな 性能の改善が確認できない。これは線形層の重みが 十分に学習されないためであると考えられる。

図 2 に Vanilla、Triplet、AdaCos モデルの $v_{\text {word }}$ にお ける t-SNE による 2 次元マッピングを示す。Vanilla モデルでは、フレームごとに事例がまとまる傾向は あるが、SELF_MOTION フレームの事例は大きく $2 \supset$ のクラスタに分かれており、Removing フレームの 事例は散らばっている。一方、Triplet や AdaCos モ デルでは、Vanilla モデルと比較して、より意味フ レームごとにまとまっていることが確認できる。

## 4 おわりに

本稿では、文脈化単語埋め込みを深層距離学習に 基づきファインチューニングすることで高性能な意味フレーム推定手法が可能となることを示した。特 に、Triplet、ArcFace、AdaCos モデルは全体的に高い スコアを獲得しており、その有用性が確認できた。 また、Triplet モデルにおいては、少量の学習事例数 でも有用であることを示した。今後の方針として、多言語の動詞や名詞の意味フレーム推定における提案手法の有用性を検証したいと考えている。

## 謝辞

本研究は、JST 創発的研究支援事業 JPMJFR216N、 および JSPS 科研費 22J14993 の支援を受けたもので ある。

## 参考文献

[1] Collin F Baker, Charles J Fillmore, and John B Lowe. The Berkeley FrameNet project. In ACL-COLING, pp. 86-90, 1998.

[2] Josef Ruppenhofer, Michael Ellsworth, Myriam Schwarzer-Petruck, Christopher R Johnson, and Jan Scheffczyk. FrameNet II: Extended theory and practice. International Computer Science Institute, 2016.

[3] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In NAACL-HLT, pp. 2227-2237, 2018.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL, pp. 41714186, 2019.

[5] Nikolay Arefyev, Boris Sheludko, Adis Davletov, Dmitry Kharchev, Alex Nevidomsky, and Alexander Panchenko. Neural GRANNy at SemEval-2019 task 2: A combined approach for better modeling of semantic relationships in semantic frame induction. In SemEval, pp. 31-38, 2019.

[6] Saba Anwar, Dmitry Ustalov, Nikolay Arefyev, Simone Paolo Ponzetto, Chris Biemann, and Alexander Panchenko. HHMM at SemEval-2019 task 2: Unsupervised frame induction using contextualized word embeddings. In SemEval, pp. 125-129, 2019.

[7] Eugénio Ribeiro, Vânia Mendonça, Ricardo Ribeiro, David Martins de Matos, Alberto Sardinha, Ana Lúcia Santos, and Luísa Coheur. L2F/INESC-ID at SemEval2019 task 2: Unsupervised lexical semantic frame induction using contextualized word representations. In SemEval, pp. 130-136, 2019.

[8] Laurens van der Maaten and Geoffrey Hinton. Visualizing data using $\mathrm{t}$-SNE. Journal of Machine Learning Research, Vol. 9, pp. 2579-2605, 2008.

[9] Xiao Zhang, Rui Zhao, Yu Qiao, Xiaogang Wang, and Hongsheng Li. AdaCos: Adaptively scaling cosine logits for effectively learning deep face representations. In CVPR, pp. 10823-10832, 2019.

[10] Kosuke Yamada, Ryohei Sasano, and Koichi Takeda. Semantic frame induction using masked word embeddings and two-step clustering. In ACL-IJCNLP, pp. 811-816, 2021.

[11] Dan Pelleg and Andrew Moore. X-means: Extending kmeans with efficient estimation of the number of clusters. In ICML, pp. 727-734, 2000.

[12] Raia Hadsell, Sumit Chopra, and Yann LeCun. Dimensionality reduction by learning an invariant mapping. In CVPR, Vol. 2, pp. 1735-1742, 2006.

[13] Kilian Q Weinberger and Lawrence K Saul. Distance metric learning for large margin nearest neighbor classifica- tion. Journal of Machine Learning Research, Vol. 10, No. 2, 2009 .

[14] Weiyang Liu, Yandong Wen, Zhiding Yu, Ming Li, Bhiksha Raj, and Le Song. SphereFace: Deep hypersphere embedding for face recognition. In CVPR, pp. 212-220, 2017.

[15] Hao Wang, Yitong Wang, Zheng Zhou, Xing Ji, Dihong Gong, Jingchao Zhou, Zhifeng Li, and Wei Liu. CosFace: Large margin cosine loss for deep face recognition. In CVPR, pp. 5265-5274, 2018.

[16] Jiankang Deng, Jia Guo, Niannan Xue, and Stefanos Zafeiriou. ArcFace: Additive angular margin loss for deep face recognition. In CVPR, pp. 4690-4699, 2019.

[17] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In ICLR, 2017.

[18] Amit Bagga and Breck Baldwin. Entity-based crossdocument coreferencing using the vector space model. In ACL-COLING, pp. 79-85, 1998.

[19] Ying Zhao and George Karypis. Criterion functions for document clustering: Experiments and analysis. Technical report, Retrieved from the University of Minnesota Digital Conservancy, 2001.


# 引用文脈の類似度に基づく局所的引用論文推薦

田中陸斗 ${ }^{1}$ 杉山弘晃 ${ }^{2}$ 平博順 3 有田朗人 ${ }^{3}$ 堂坂浩二 ${ }^{1}$
1 秋田県立大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所 ${ }^{3}$ 大阪工業大学
$\{m 24 p 010$, dohsaka\}@akita-pu.ac.jp, h.sugi@ieee.org
\{hirotoshi.taira, m1m21a02\}@oit.ac.jp

## 概要

出版される論文の爆発的な増加により引用論文推薦の需要が高まっている. 本論文では，対象論文の 関連研究の章を執筆する際に，引用を付与すべき個所に対し適切な引用論文を推薦する局所的引用論文推薦のタスクを扱う. 引用を付与すべき個所の周囲 の文は引用文脈と呼ばれる。本研究では，ある特定 の論文を引用する際に書かれる引用文脈同士は似通っていることが多いという仮定のもと，対象論文 の引用文脈と既存論文の引用文脈の類似度を使って 引用論文を推薦する引用文脈参照法を提案する. し かし，この手法には一度も引用されたことがない論文は推薦できないコールドスタート問題が存在す る. 本研究では, 対象論文の引用文脈と既存論文の タイトル・要旨間の類似度を使った従来手法と組み 合わせることによりコールドスタート問題に対処 し，論文推薦の性能が向上することを示す.

## 1 はじめに

学術論文を執筆する際，論文中の主張を裏付ける ために適切な引用を行うことは重要である.しか し, 近年論文数が爆発的に増加し, 研究者が関連す る研究をすべて読み切ることは困難となっており，関連研究に関わる論文執筆支援の必要性が高まって いる.

Narimatsu ら [1] は, 研究者の論文執筆における関連研究の引用および生成に関わる統合的な執筆支援 を目的として，関連研究に関わる様々な既存のタス クを統合した新たなデータセット構築方法および 5 つのタスクを定義した. 本稿では, その中の引用論文推薦タスクに着目する. これは与えられたテキ ストに対して適切な引用論文を推薦するタスクで あり，大域的引用論文推薦と局所的引用論文推薦に 分類される [2]. 大域的引用論文推薦では, 参考文献リストに入るべき論文を推薦するのに対し，局所的引用論文推薦では，引用を付与すべき個所（引用 マーカー）が与えられたときに引用マーカー内に入 る論文を推薦する。本研究では，関連研究の章を執筆する際の局所的引用論文推薦のタスクを扱う．ま た, 用語の定義として, 引用マーカーの前後 50 単語を引用文脈，引用を付与したい引用文脈をもつ論文を対象論文と呼ぶ。

引用論文推薦タスクにおいて，推薦候補となる既存論文のタイトル・要旨を集めたものを論文プール と呼ぶ. 2 節で説明するように, 従来研究として,現在着目する対象論文の引用文脈と, 論文プール内 の既存論文のタイトル・要旨の間の類似度を計算 し, 対象論文の引用文脈と類似したタイトル・要旨 をもつ論文を推薦するという手法が提案されてき た. この手法をタイトル・要旨参照法と呼ぶ.この 手法には論文のタイトル・要旨は容易に収集できる という利点があるが，引用文脈とタイトル・要旨は 別の意図で書かれた文章であるため，適切な引用論文を検索できない場合がありえる．そこで，本研究 では，ある特定の論文の引用文脈同士は似通ってい ることが多いことを仮定し，対象論文の引用文脈と 既存論文が引用された際の引用文脈の類似度を使っ て引用論文を推薦する引用文脈参照法を提案する. この手法では，既存論文の引用文脈を引用文脈プー ルとして収集し, 現在着目している対象論文の引用文脈と類似した引用文脈をもつ論文を引用文脈プー ルから探して推薦する. 局所的引用論文推薦の従来研究では，タイトル・要旨を使った手法は提案され てきているが，知る限りにおいて，既存論文の引用文脈を収集し，それを活用することに着目した研究 はない。しかし，引用文脈参照法には，過去に一度 も引用されたことがない論文は推薦できないという コールドスタート問題が存在する。 そこで，本研究 では，広く用いられてるタイトル・要旨参照法と組 み合わせることで，一度も引用されていない論文も 推薦できるように対処した.

図 1 手法の概要

以下において，2節で関連研究を述べ，3節で提案手法を示す. 4 節で，データセット並びに評価方法を説明し，評価結果について考察する。

## 2 関連研究

局所的引用論文推薦は現在までに様々なアプロー チがとられてきた. 既存研究には, 引用文脈と論文間の関係に焦点を当てる研究が多くあり, Sugimoto ら [3] は，対象論文の引用文脈と推薦する候補の論文のタイトル・要旨の双方を独立に SciBERT[4] で埋 め込み，候補の論文をコサイン類似度でランク付け するモデルを提案している。 また，Ebesu ら [5] は，引用文脈に応じた引用推薦のためのニューラル引用ネットワークを，引用文脈と著者ネットワーク，論文のタイトルを使用することで検討した. Zhang ら [6] は，草稿時の状況を想定しており，引用文脈 と既に自分で引用している被引用論文の情報, 引用文脈を書いている章に着目した推薦手法を提案して いる. Jeong ら [7] は，引用文脈の埋め込み表現を， BERT[8] と GCN[9] を用いて取得し, 引用論文推薦 に取り入れている. しかし, 既存研究には著者が引用したい被引用論文が，他の既存論文ではどのよう な引用文脈で引用されているかに着目した研究は知 る限りでは存在しない. 本稿では, 対象論文の引用文脈と被引用論文の既存論文における引用文脈の比較を行うことが引用論文推薦に有効であることを 示す.

## 3 提案手法

本稿では，与えられた引用文脈に対して，類似し たタイトル・要旨をもつ論文を取得する手法をタイ トル・要旨参照法と呼ぶ。また，新たに提案する，類似した引用文脈で引用された論文を取得する手法 を引用文脈参照法と呼ぶ．さらに，引用文脈参照法亿存在する， 1 度も引用されていない論文は推薦対象にならないというコールドスタート問題に対処す るため, タイトル・要旨参照法と引用文脈参照法を 組み合わせた手法を提案する.

推論の概要図を図 1 に示す.この図は, 論文プー ル内に $\mathrm{A}, \mathrm{B} ， \mathrm{C}$ の 3 件の論文があり， B のみ一度 も引用されていない状況である. よって, 引用文脈 プールに B の引用文脈は存在しない. 引用文脈が存在する A および C は引用文脈参照法を用いてスコ アを計算し，引用文脈が存在しない B はタイトル・要旨参照法を用いてスコアを計算している例を示し ている.

タイトル・要旨参照法 引用文脈と論文プール内 の既存論文のタイトル・要旨の類似度を比較する ために, 文の埋め込み表現に特化した BERT であ る SBERT[10](以下 SBERT)を用いてモデルを作成す

る. アンカーの引用文脈と対応する論文のタイト ル・要旨を正例とし, 論文プール内の正例論文以外 からランダムに選んだ論文のタイトル・要旨を負例 として，以下の式で表される損失関数で埋め込み表現を学習する．また，プーリング層には，BERTの 出力ベクトルの平均値を使用する.

$
\text { Loss }=\max \left.\{\left(\left.\|C-P^{+}\right.\|-\left.\|C-P^{-}\right.\|+\epsilon\right), 0\right.\}
$

ここで， $C$ はアンカーである引用文脈の埋め込み， $P^{+}$は正例の埋め込み, $P^{-}$は, 負例の埋め込みを示 す.また，元論文 [10] に従い，距離にはユークリッ ドを使用し，マージン $\epsilon$ は 1 とした.

推論時は，対象論文の引用文脈と，論文プール内 の論文のタイトル・要旨をそれぞれ上記のモデルに 入力して得られたべクトル間のコサイン類似度を計算し，これをスコアとする。最後に，スコアが高い 順に $\mathrm{k}$ 件の論文を取得する。

引用文脈参照法 引用文脈同士の類似度を比較す るために，タイトル・要旨参照法と同様に SBERT を用いてモデルを作成する。この手法では，アン カーの引用文脈で引用されている論文と同じ論文を 引用している引用文脈を正例とし, 引用文脈プール 内の正例の引用文脈以外からランダムに選んだ引用文脈を負例として，以下の式で表される損失関数で 埋め込み表現を学習する。

$
\text { Loss }=\max \left.\{\left(\left.\|C-C^{+}\right.\|-\left.\|C-C^{-}\right.\|+\epsilon\right), 0\right.\}
$

ここで， $C$ はアンカーである引用文脈の埋め込み， $C^{+}$は正例の埋め込み， $C^{-}$は，負例の埋め込みを示 す. タイトル・要旨参照法と同様に，距離にはユー クリッドを使用し，マージン $\epsilon$ は 1 とした.

推論時は，対象論文の引用文脈と，引用文脈プー ル内の論文の引用文脈の類似度をモデルに入力し,得られたべクトル間のコサイン類似度を計算する。 その際，引用文脈プール内の論文で，引用文脈が複数所持しているときは, 最も大きい類似度をスコア とする。最後に，スコアが高い順に $\mathrm{k}$ 件の論文を取得する.

組み合わせた手法 引用文脈参照法において，1 度も引用されていない論文が推薦対象にならない という問題に対処するため，2つの手法を組み合わ せる. 1 度以上引用されている論文，つまり引用文脈を所持している論文には引用文脈参照法を使用 し, 対象論文の引用論文と引用文脈プール内の論文 の引用文脈とのコサイン類似度を計算する. 未引用 の論文には，論文プール内の論文との類似度をタイ
トル・要旨参照法を使用しコサイン類似度を計算す る. その後, 得られたコサイン類似度をソートし,高い順に $\mathrm{k}$ 件の論文を取得する。

## 4 実験

## 4.1 データセット

研究者の学術論文の執筆支援を目的として, Narimatsu ら [1] によって作成されたデータセットを 使用する。このデータセットには， arXiv から取得 した論文の関連研究の章が約 30000 件と，関連研究 の章で引用されている論文のタイトル，要旨が含ま れている. すべての関連研究の章のうち, 引用論文数が 1 件以上である約 13000 件を使用する. これを 訓練データ，検証データ，テストデータにそれぞれ 約 10400，1300，1300 件ずつに分割する．また，引用文脈の数は訓練データ，検証データ，テストデー タそれぞれで約 70000，10000，7800 件である. テ ストデータの引用文脈のうち，コールドスタート問題が起こり得る数は 692 件であり，約 $9 \% を$ 占めて いる.

## 4.1.1 論文プール

本稿では，論文のタイトル・要旨が得られた論文集合を論文プールと定義する。関連研究の章をもつ 論文と，その章で引用されている論文が論文プール に含まれている．総数は約 38000 件である．

## 4.1.2 引用文脈プール

訓練データ内の関連研究の章で使われた引用文脈を集めたものを引用文脈プールと定義する。 よっ て，総数は約 70000 件である. 引用文脈プール内の 論文は約 10000 件存在し, 最大引用回数は 830 回,最小引用回数は 1 回, 平均引用回数は 7.8 回である.

## 4.2 評価手法

提案した論文推薦システムが既存の論文の引用を どの程度予測できるかを測定する。本稿では，推薦 された候補の上位 5 件と上位 10 件に対して Recall とMRRを計算して評価する. Recall は以下の式で 表される。

$
\text { Recall @k }=\frac{\left|\alpha \cap p_{k}\right|}{|\alpha|}
$

ここで， $\mathrm{k}$ は考慮する上位ランキング件数， $\alpha$ は正解の被引用論文集合, $p_{k}$ は上位 $\mathrm{k}$ 件の推薦リストで

ある. また，MRR は以下の計算で表される.

$
M R R @ k=\frac{1}{|\alpha|} \sum_{u \in \alpha} \frac{1}{\operatorname{rank}_{u}}
$

ここで， $u$ が正解論文の 1 つ, $\operatorname{rank}_{u}$ が論文 $u$ の候補論文のうち，最初に正解論文が出現する順位を示 している.

## 4.3 結果と考察

対象論文の引用文脈と論文プール内の論文のタイ トル・要旨の類似度並びに対象論文の引用文脈と引用文脈プール内の引用文脈との類似度を計算するた めのベースラインとして TF-IDF を使用する. ベー スラインと本手法の評価結果を表 1 に示す. まず， タイトル・要旨法も引用文脈参照法も，SBERTをモ デルとして使った場合がベースラインを上回ってい ることが確認でき，SBERTによる類似度の学習に効果があることが分かる. 次に, 引用文脈参照法はタ イトル・要旨参照法よりも性能が良く，対象論文と 既存論文の引用文脈同士の類似度を活用することに 効果があることが分かる.

さらに，2つの手法を組み合わせることで引用文脈参照法単体の場合よりも性能が向上していること が分かる.このことは，一度も引用されたことがな い論文を推薦する場合に，タイトル・要旨参照法に 組み合わせることによって，引用論文推薦の性能が 向上する可能性があることを示している.

また，コールドスタート問題が起こる 692 件の引用文脈の評価結果を表 2 に示す.これはSBERT モ デルのみでの評価となっている. 引用文脈参照法で の性能が 0 ではないのは，正解の論文が複数ある場合，すべての正解の論文が引用文脈をもたないと は限らないためである.この表から分かるように, コールドスタート問題が起こり得る場合において， タイトル・要旨参照法を組み合わせることで，引用文脈参照単独よりも性能が改善したことが分かる.表 2 コールドスタート問題が起こる引用文脈の評価結果手法 @ 510

## 5 おわりに

本稿では，引用マーカーが与えられたときに，適切な被引用論文を推薦する局所的引用論文推薦の夕 スクに取り組んだ。同じ被引用論文が引用されてい る引用文脈は類似する傾向があるという仮定に基づ き，SBERT を用いて引用文脈同士の類似度を計算 し，適切な論文を推薦するという引用文脈参照法を 提案した。ただし，この手法には一度も引用された ことがない論文は推薦できないというコールドス タート問題が存在するため, 既存研究で広く用いら れているタイトルと要旨を使用する手法と組み合わ せることにより，引用文脈参照法単独よりも論文推薦の性能が向上することを示した. 今後の課題とし ては，どのような意図で引用されているかを考慮し た手法の検討や，引用回数に着目した手法の検討な どが挙げられる.

## 謝辞

本研究の遂行にあたり，ご助言・ご協力をいただ きました，電気通信大学 小山康平氏，NTTコミュ ニケーション科学基礎研究所成松宏美主任研究員,電気通信大学 南泰浩教授, 工学院大学 大和淳司教授，名古屋大学 東中竜一郎教授，国立研究開発法人科学技術振興機構 菊井玄一郎氏に感謝いたします。 また，日頃より丁寧にご指導してくださる秋田県立大学石井雅樹准教授, 伊東嗣功助教に感謝いたし ます。

## 参考文献

[1] Hiromi Narimatsu, Kohei Koyama, Kohji Dohsaka, Ryuichiro Higashinaka, Yasuhiro Minami, and Hirotoshi Taira. Task definition and integration for scientificdocument writing support. In Proceedings of the Second Workshop on Scholarly Document Processing, pp. 18-26, 2021.

[2] Michael Färber and Adam Jatowt. Citation recommendation: approaches and datasets. International Journal on Digital Libraries, Vol. 21, No. 4, pp. 375-405, 2020.

[3] Kaito Sugimoto and Akiko Aizawa. Context-aware Citation Recommendation Based on BERT-based Bi-Ranker. In 2nd Workshop on Natural Language Processing for Scientific Text at AKBC 2021, 2021.

[4] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, 2019.

[5] Travis Ebesu and Yi Fang. Neural citation network for context-aware citation recommendation. In Proceedings of the 40th international ACM SIGIR conference on research and development in information retrieval, pp. 1093-1096, 2017.

[6] Yang Zhang and Qiang Ma. Dual attention model for citation recommendation. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3179-3189, 2020.

[7] Chanwoo Jeong, Sion Jang, Eunjeong Park, and Sungchul Choi. A context-aware citation recommendation model with bert and graph convolutional networks. Scientometrics, Vol. 124, No. 3, pp. 1907-1922, 2020

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[9] Thomas N Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. arXiv preprint arXiv:1609.02907, 2016.

[10] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using siamese BERT-networks. arXiv preprint arXiv:1908.10084, 2019.