# BERT の教師なし分野適応による数学問題テキスト構文解析の 精度向上要因の分析

吉田琉夏 松崎拓也
東京理科大学 理学部第一部 応用数学科
1419099@ed.tus.ac.jp matuzaki@rs.tus.ac.jp

## 概要

本研究では，BERT の分野適応によって数学テキストの構文解析精度が向上する要因およびその限界を明らかにする。また，BERT の分野適応の効果は分野固有のサブ言語である数式を表現する方式に依存することを示し，適切な方式を明らかにする。

実験の結果，BERT の分野適用を行う場合，数式全体を専用の特殊トークンで置き換える方式が最も構文解析精度が高く, 分野適応を行わない場合に比べて約 4 ポイント向上した. また，このとき数式を含む構造に関する誤りが多く改善されていた。一方で， fine-tuning に用いた新聞係り受けコーパスでの出現頻度が低い構造に関する誤りは，BERT の分野適応のみでは改善されにくいことがわかった.

## 1 はじめに

数学テキスト・法律・技術文書など，読解に一定の専門知識が必要になるテキストの構文アノテー ションは，高コストである。一方で，近年 BERT の使用により高精度な係り受け解析が実現できることが示され [1], さらに, BERT の事前訓練に構文解析の対象とする分野のテキストを用いることの有効性が示されている [2]. そこで本研究では, 構文注釈付きデータが不要な BERT の分野適応のみによって，数学テキストの解析精度がどこまで向上するかを分析する．具体的には，数学テキストの文節単位の係り受け解析において，Wikipedia のみで事前訓練した BERT を用いる場合と数学テキストでの事前学習を追加で行う場合を比較した。

また，数学テキストにはサブ言語である数式が頻出する. 数式はメイン言語, 例えば日本語とは語彙も文法も全く異なるため，メイン言語のトークンと同列に扱って BERT に入力するのが適切であるか否かは不明である. 同様なことは化学式など分野固有のサブ言語を含む種々のテキストでも起きる。そこで本研究では，BERT を数学テキストに適用する際の数式の表現として，数式全体を 1 つの未知語トークンで表す場合，新たに追加した特殊トークンで表す場合，数式に現れる記号を BERT の語彙に加える場合，数式を数式専用 BERT に入力したときの [CLS]ベクトルで表す場合の 4 つを比較した.

実験の結果，BERT の分野適用を行う場合，数式を専用の特殊トークンで表す方式が最も係り受け解析精度が高く, 分野適応を行わない場合に比べて約 4 ポイント向上した. しかし, さらに係り受け注釈付き数学テキストを訓練に使用した場合と比べるとなお約 3 ポイントの差がある.

そこで，(1)BERT の分野適応によって改善する誤りと (2)注釈付き数学テキストを用いた訓練によってのみ改善する誤りについて分析した. その結果，(1) では，数式を含むことが多い構造に関する誤り，(2) では，注釈付き新聞テキストでは低頻度な構造の誤りが多く改善されることがわかった.

## 2 方法

本稿で比較する係り受け解析手法では全て東北大学が公開している Wikipedia での事前学習済み BERT-base モデル [3]（以下，東北大 BERT と呼ぶ） を用いた。そして，以下の 3 点について次節の表 3 の様に組み合わせた計 6 つの解析モデルを作成した:

1. 数学生テキストを用いた追加の事前訓練の有無
2. 4 つの数式表現方式のいずれを用いるか

3. 係り先予測の fine-tuning において，新聞に加えて数学係り受けデータを用いるか否か

## 2.1 使用データ

数学生テキストとして，1957 年〜2020 年の大学入試問題を収集し，数式を MathML 表記したもの [4]（以下，MRaw と表記）を用いた。注釈付き新聞
表 1 使用データのサイズ. 数式\%は各数式を 1 つの形態素と数えたときの全形態素に占める数式の割合

表 24 つの方式による数式を含む入力の表現の例

テキストとしては，京都大学テキストコーパス Ver. 4 （以下，KTC）[5]を用いた. 注釈付き数学テキストとしては，1997 年〜2011 年のセンター試験と 1994 年 2014 年の国立大学 2 次試験数学問題に KTC と同じ基準で係り受け構造を付与したもの（以下， MDep）を用いた。

## 2.2 数式の表現方法

数式の表現として，以下の 4 つを比較した．表 2 にそれぞれの例を示す.

[UNK] 数式全体をまとめて東北大 BERT の語彙の未知語トークン [UNK] で表す

[MATH] 新規追加した特殊トークン [MATH] で表す Mixed 数式に現れる個々の記号（以下，数式ト一クン）を語彙に加え，日本語のサブトークンと数式トークンが混じった列に BERT を適用する

ExprBERT 数式トークン列を数式専用 BERT に入力したときの [CLS] ベクトルを数式に対応する単語埋め込みとして東北大 BERT に入力する

数式トークン列は，アルファベットや演算子，上付き・下付きを表す記号等からなる LaTeX 風の記法である．数式トークンの語彙サイズは 241 で，例えば， $a_{n}=n^{2}+100 n$ であれば

$
a,-\{, n,\},=, n,^{\wedge}\{, 2,\},+, 100, n
$

のように表す. 数式専用 BERT の構成は BERT-base と同一である.

## 2.3 BERT の分野適応の手順

東北大 BERT を初期値とし，MRawを訓練デー タとする Masked Language Modeling (MLM) タスクによって BERT の分野適応を行った. タスクの設定は Devlin ら [6] に従った. 数式の表現として ExprBERT

1） $\mathbf{e}_{1}, \mathbf{e}_{2}$ はそれぞれ対応する数式トークン列を数式専用 BERT に入力したときの [CLS] ベクトルを表す
を用いる場合は，マスクしたトークンを予測する代わりに，東北大 BERT の単語埋め込みおよびミニバッチ中の数式に対する数式専用 BERT による埋め込みの中から，マスクしたトークンないし数式に対応するべクトルを選択するタスクとした。

## 2.4 係り受け解析モデル

Dozat と Manning[7]の Biaffine モデルを BERT と組み合わせて文節単位の係り受けに適用した. Biaffine 関数への入力ベクトルは，係り元の文節の語形および係り先候補の主辞に相当する形態素それぞれの先頭のサブトークンに対する BERT の出力ベクトルとした. 主辞・語形の定義は文献 [8] に従った.

## 2.5 係り先予測 fine-tuning の手順

訓練データとして KTC，あるいは KTC と MDep を連結したものを使用して係り先予測タスクへの fine-tuning を行い，評価データとして MDep を用いた. 訓練データとして KTC のみを用いる場合は， その 1 割を検証データとし，KTCと MDepを連結したものを用いる場合は，MDepの 1 割を検証データ，残りを訓練データとし，MDepを 5 分割した交差検証で評価した。

## 3 実験結果

表 3 亿，事前訓練データ・係り受け訓練データ・数式の表現方式の 6 つの組み合わせに対する評価結果を示す. 全体に対する精度に加え，数式を含む文節を MATH，含まない文節をWORD と表すとき，係り元一係り先の 4 つのパターンごとの $F_{1}$ スコアを示した. Biaffine 関数の出力に基づく係り先予測の結果が交差する係り受け関係を生じるケースは極めて少なかったため, CKY 等の解析アルゴリズムは用いず，係り先予測の結果を評価した。

表 3 より，構文解析済みデータが存在しない場合であっても，数学問題データで MLMを行うことによってどの数式表現方式でも精度が向上していることがわかる．特に数式を $[\mathrm{MATH}]$ で表す場合は，数式を [UNK] で表す場合に比べて約 4 ポイントの精度向上を達成しており，とりわけ MATH $\rightarrow$ MATH 型の $F_{1}$ スコアは約 11 ポイントも向上している.

BERTの分野適応のみを行う場合，ExprBERT， Mixed, [MATH] の 3 つの数式表現方法を比較すると, [MATH] の結果が最も良好で, 次いで Mixed, ExprBERT の順になっている. しかし，数式を
表 3 事前訓練データ・係り受け訓練データ・数式の表現方式の 6 つの組み合わせに対する評価結果

 &  &  &  &  &  &  &  \\

表 4 BERT の分野啇応により改善した誤りの内訳

$[\mathrm{MATH}]$ と表す場合であっても BERT の分野適応のみ行う場合と，さらにMDepを用いて訓練する場合との間で約 3 ポイントの精度の差が生じている.

## 4 誤りの改善例の分析

BERT の分野適応による構文解析精度の向上の要因およびその限界を明らかにするために，誤りの改善例を分析した，具体的には，事前訓練データ：係り受け訓練データ : 数式表現の組み合わせを

設定(1) = Wiki : KTC : [UNK]

設定(2) = Wiki+MRaw : KTC : [MATH]

設定(3) = Wiki+MRaw : KTC+MDep : [MATH]

と名付けるとき，設定(1)から設定(2)で改善される誤り (\$4.1)，および設定(2)から設定(3)で改善する誤り (\$4.2) について 5 分割交差検証のうちの 1 つ分から改善された誤りを 100 個サンプリングし，分析した. 実際の改善例は付録 §6 に示す。

また，数式を $[\mathrm{MATH}]$ で表す単純な方式が，数式の構成要素まで考慮する方式を上回った理由を探るため, $[\mathrm{MATH}]$ 方式および ExprBERT による数式の埋め込みを観察した (\$4.3).

## 4.1 BERT の分野適応による改善例の分類

設定(1)から設定(2)で改善した誤りを分類した結果を表 4 に示す. 表中の並列された数式との同格関係の誤りとは，下図の様に，並列された数式のタイプを表す名詞が，正しい係り先である最後の並列要素に係らない誤りのことである。3)

2） Wiki は Wikipedia の略である.数式の並列の解析誤りとは，並列要素が，右隣の並列要素に係らない誤りのことである:

ガ格を持たない命令形に関する誤りとは, 命令形にガ格あるいは無格の名詞が係る誤りである．特に並列された数式の一部が命令形に係る誤りが改善された例が複数見られた。

これらの誤りが改善された理由として以下が予想される。まず，Wikipedia では未知語トークンは点在して出現しやすいのに対し，特殊トークンを用いた MLM により，数式同士が近くに出現しやすいことが学習される。さらに，KTCによる係り受け訓練で，近接する同種のトークンは，並列関係になりやすいことが学習されることで数式の並列を含む構造が正しく解析されやすくなる.

## 4.2 数式係り受けデータによる訓練でのみ 改善した例の分類

設定(2)から設定(3)で改善した誤りを分類した結果を表 6 に示す.「 「A は $B$ とする」型の誤りは，「A は」の文節が，「する」に係ってしまい，「A $B$ と (ともに何かを) する」という誤った解釈に対応する構造となるものである: ${ }^{4)}$

条件が命令形に係る誤りとは，下図の様に「条件が成り立つとき(のみ)～せよ」という誤った解釈に対応する構造を出力する誤りである:

3）この項の図では，黒矢印は正解，赤矢印は設定(1)，青矢印は設定(2)で出力される係り受け関係を表す。

4）この項の図では，黒矢印は正解，赤矢印は設定(2)，青矢印は設定(3で出力された係り受け関係を表す.
表 5 異なる数式表現による数式埋め込みの比較

表 6 数式係り受けデータを用いた訓練で改善した誤りの内訳

部分並列の解析誤りとは，「父は山，母は海が好きだ」の様な構造における解析誤りである:

§4.1と $\$ 4.2$ で共通して多く見られた並列に関する誤りの改善例を比べると， 84.1 の改善例の多くでは並列要素が $2 \sim 3$ 個であるのに対し, $\$ 4.2$ の改善例では並列要素をそれ以上含むものが多かった. 表 7 に KTC と MDep における読点で区切られた名詞並列中の要素数の分布を示す. この形の並列は KTC では MDepに比べ少数で，かつ並列要素が少ないものが主である. このため, 多数の要素からなる並列構造に関する誤りは MRaw での MLM と KTC での訓練のみでは十分に改善できなかったと考えられる。

$「 A$ は $B$ とる」型の誤りおよび条件が命令形に係る誤りは，正解・誤りいずれの構造も文法的にありうるが，数学テキストで主である解釈に対応する方の構造が，新聞では出現しにくいため，MDep での学習によりはじめて改善されたと考えられる.

また，部分並列の解析誤りは，この構造が KTCでは $1 \%$ 未満の文しか出現しないのに対し, 数学テキストでは頻出すること，さらに「母は海が好きだ」 に対する正しい構造が「父は山，」が付加されること
で誤りになるという特殊性により，KTC のみでの係り受け訓練では改善されにくかったと考えられる。

## 4.3 異なる数式表現による数式埋め込みの 比較

数式を [MATH] で表す単純な方式が，数式の構成要素まで考慮する方式を上回った理由を探るため， [MATH] 方式および ExprBERT による数式の埋め込みを観察した。表 5 に，(1) “ 2 次関数 $y=a x^{2}+b x+c$ の..."および $(2)$ “. .2 点 $(0,4),(2, k)$ を...”の下線部の数式を，文脈とともに設定(2)の BERT に入力した時と，文脈なしで ExprBERT に入力した時に得られる埋め込みと $\cos$ 距離が近くなる入力を示した.

表 5 より，入力 (1)に対しては，ExprBERTによる数式埋め込みでは， 2 次関数に加え 3 次関数の埋め込み，[MATH] 方式では，2 次関数との類似度が高いことが分かる。 入力 (2)に対しては, ExprBERTによる数式埋め込みでは，座標の埋め込み，[MATH]方式では，点を表す変数との類似度が高いことが分かる.5)

これらの例より，[MATH] 方式による数式埋め込みは，係り受け解析を目的とする場合，数式の特徴を十分に捉えていることがうかがえる. よって，数式の表現が単一の特殊トークン [MATH] であっても，文脈によって数式同士の類似度が予測できるため，より複雑な ExprBERT による数式埋め込みと同等以上の効果があったものと思われる。

## 5 おわりに

BERT の分野適用を行う場合，数式を専用の特殊トークンで表す方式が最も構文解析精度が高いことがわかった. さらに，BERT の分野適用のみで，数式を含む構造に関する誤りが多く改善されることがわかった。しかし， fine-tuningに用いた注釈付き新聞テキストで低頻度な構造は改善されにくいことがわかった。
$ 座標のみの数式である.
}

## 謝辞

数学問題テキストを提供頂いた広松芳紀様および数学テキスト係り受けデータを提供頂いた「ロボットは東大に入れるか」プロジェクトの皆様に深く感謝いたします.

## 参考文献

[1] 柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会, 2019.

[2] Jenna Kanerva, Filip Ginter, and Sampo Pyysalo. Dependency parsing of biomedical text with bert. In BMC Bioinformatics, 2020.

[3] https://github.com/cl-tohoku/ bert-japanese.

[4] 広松芳紀. 大学入試数学問題集成, 2022. https: //mathexamtest.web.fc2.com/index.html.

[5] 黒橋禎夫, 長尾眞. 京都大学テキストコーパス・ プロジェクト. 言語処理学会第 3 回年次大会, pp. 115-118, 1997.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In North American Chapter of the Association for Computational Linguistics (NAACL), 2019.

[7] Timothy Dozat and Christopher D. Manning. Deep biaffine attention for neural dependency parsing. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings, 2017.

[8] 工藤拓, 松本裕治. チャンキングの段階適用による係り受け解析. 情報処理学会, 2002.

## 6 付録

## 6.1 BERT の分野適応の手順

パラメータ最適化の最大エポック数は 50 で，検証データに対するロスが最小になるエポック数を選んだ. ミニバッチサイズは 16 とした. 最適化手法として AdamW を用い，学習率は $5 \times 10^{-5}$ とした.

## 6.2 係り先予測 fine-tuning の手順

最大エポック数を 5 とした以外は 86.1 と同じ設定でパラメータ最適化を行った.

## 6.3 BERT の分野適応により改善した誤りの実例

以下では，黒矢印は正解，赤矢印は設定(1)，青矢印は設定(2)で出力された係り受け関係を表す.

図 1 並列された数式との同格関係に関する誤りの実例 1

図 2 並列された数式との同格関係に関する誤りの実例 2

図 3 数式の並列の解析誤り

図4 ガ格を持たない命令形に関する誤り

## 6.4 数学係り受けデータを用いた訓練で改善した誤りの実例

以下では，黒矢印は正解，赤矢印は設定(2)，青矢印は設定(3で出力された係り受け関係を表す.

図 $5 「 A$ は $B$ とする」型の誤り，部分並列の解析誤りの実例

図 6 条件が命令形に係る誤りの実例


# 実世界の文書に対する構文解析器の疑似評価

金山博宮本 晃太郎
日本アイ・ビー・エム株式会社東京基礎研究所
\{hkana,kmiya\}@jp.ibm.com

## 概要

本研究では、構文解析器の実応用上での性能を、 ドメイン特有の名詞句の構造に着目して推定する手法を示す。構文構造を付与したコーパスに比して、当該ドメインの専門用語のリストは低コストで取得でき、それらが部分木を形成するかをもって、解析器が重要な句を認識する能力を調べる。これによって、ドメインに特化した観点で複数の解析器の性能を比較することや、実用性を大きく損なう現象に注目して解析器をチューニングすることが可能となる。2つのドメインで 5 つの解析器の性能を測る実験では、一般のベンチマーク上のスコアとは異なる傾向が観測され、実用の観点で考慮すべき点が示唆された。

## 1 はじめに

文区切り・単語区切り・品詞タグ付け・依存構造解析などを行う自然言語の解析器はさまざまな場面で利用されており、Universal Dependencies (UD) $[10,9]$ など各言語のリソースが整備され、学習や評価に使われるようになった。しかし、実応用の場面で入力される文書は、特殊な語彙や文体を含むことが多く、それらに対して既存の解析器が好適な結果を出力できているとは限らない。例えば、自動車の不具合の報告の中の文 (1) ${ }^{1}$ は、(1a) の構造2) を持ち、 このように “check engine light” が複合名詞句として認識されれば、事物と動作の関係が抽出できて、現象の把握に役立つ。

(1) Check engine light came on.

しかし、ある解析器の出力では (1b) のように、

1）「エンジンを確認せよという警告が点灯する」の意。

2） comp. は compound ラベルを示す。 “check”が動詞とタグ付けされることにより名詞句の部分が部分木を構成せず、文全体の構造が乱れていた。これは後段の処理の大きな障害となりうる。

*(1b)

このように特定の分野の文書に対して解析器を適用して、意味役割付与 [1] や評価表現抽出 [6] などの後段の処理をする局面で、現存する解析器が充分な性能を出せているだろうか。その性能は UD のコー パス上でのベンチマークによって測ることができているだろうか。特に、複数の解析器やその様々なモデルのうち最も適したものを用いたい時に、どれを選択すれば望ましい出力が得やすいか。これらの質問に答えるための正確な測定には、当該分野の文書に構文構造を付与したコーパスを用いることが望ましいが、そのようなコーパスは存在しないし、それを逐一作成するコストは膨大である。

一方で、テキストマイニングの運用の局面では、 しばしば当該分野で検索や分析の対象となる辞書を作成したり [7, 13]、既存のオントロジーを流用するなどして、名詞句や固有名詞が列挙されたリソー スが存在することが多い。文 (1)における“heck engine” ないし “check engine light”がそれに該当する。これらの句が当該分野の文書中に現れた場合、 (1a) のように構文木の中で部分木を構成するはずである。一方、(1b) のように句が分断されている場合、解析器の明らかな出力誤りである場合が多い。

本論文では、分野特有の名詞句に対する解析結果の構造を調べることによって、構文構造のアノテー ションに頼らずに解析器の実応用における性能を推定する方法を提案する。これによって、一般のベンチマーキングとは異なり、実応用の観点で複数の解析器の性能を比較することや、実用性を大きく損なう現象に絞って解析器のチューニングを行うことができるようになる。
表 1 分野名詞句の例。

## 2 分野名詞句辞書

いわゆる複数語表現（MWE）で名詞的なもの [3] のうち、特定の分野で頻出する専門用語や固有名詞をここでは分野名詞句と呼ぶ。表 1 に、自動車の不具合のレポートと、サービスの契約書の各ドメインの分野名詞句の例を示す。分野名詞句は次のような性質を持つ。

1. 専門用語や固有名詞のリストであるため、これらの語が文書中の表層上に現れた場合は、曖昧性が少なく、文脈により異なる解釈がされることは稀である。

2.これらの語は、情報検索や関係抽出など、当該分野の文書を処理する上で重要であり、品詞タグ付けや構文解析に失敗すると、構文解析結果の有用性が大きく損なわれる。

それらを列挙した辞書のことを、分野名詞句辞書と呼ぶ。分野名詞句辞書は、各分野の専門家が分析等の目的で既に作成済であることが多く、そうでなくてもテキストマイニングにより頻出する語やフレーズを集計するなどで半自動的に構築したり、重要キーフレーズの教師なし学習 [4] により獲得することができるなど、その構築自体に大きなコストはかからないという状況を想定している。

## 3 名詞句の構文構造

2 節で示した分野名詞句が、特定の分野の文の構文解析結果の中でどのような構造になっていると望ましいか、逆にどのような構造が出力されたら解析に失敗していると推定されるかを考える。そのために、分野名詞句と表層が一致した部分の構文木の形を以下の 6 種類に分類する。

right 分野名詞句の多くは、例 (2) の “safety concern” の部分 ${ }^{3}$ のように、compound のラベルで結ばれ

3）分野名詞句辞書に含まれる複合語と符合した部分を四角の枠で示す。
る複合名詞となっている。このように、分野名詞句の中で、最も右の語が主辞であり、その中の他のすべての語が名詞句内の語に係っている形を right と呼ぶ。

(2)

left 固有名詞の場合、(3)のように、flat や nummod のラベルで左側が主辞となる構造となることが一般的である。このように、最も左の語が主辞であり、その他の語が名詞句内の語に係る形を left と呼ぶ。

(3)

mid 3 語以上からなる分野名詞句の場合、それらの組み合わせにより、(4)のように主辞が中間に位置することがある。この形を mid と呼ぶ。

(4)

same 分野辞書にある名詞句が、さらに大きな名詞句の一部として出現する場合がある。構文解析器の出力 (5) では、“warning light” が分野名詞句として検出された。しかし “warning light message”がより大きな複合名詞であり、解析結果でも “warning”と “light” の双方が “message” に compound ラベルで係る形となっていることから、“warning light”に着目すると、その中で係り受けが閉じていない。厳密には “warning” と “message” の係り受けは正しくないが、名詞句の内部構造を正確に捉えることは難しく4)、 “warning light message” が部分木を成せば全体の構文構造に破綻をきたすほどではないと考えて、エラーとしては検出しないこととする。このように、分野名詞句のそれぞれの語が外側の同じ語に係っている構造を same と呼ぶ。

4）UD のコーパスの中でも、 3 語以上の flat や compound の内部構造は詳細にアノテートされていない。

図 1 other となる例。分野名詞句 “stop light” の構造が分断されている。

conj 並列句において、名詞句の構造が分断される場合も考慮する。(6) では、“repair shop”が分野名詞句であるが、“dealer”と “repair”が並列構造をなして“shop”に係る構造となっており、左側主辞の原則により係り受けが分断されているが、これは構文構造として正しい。このような場合、“dealer shop”が分野名詞句辞書にあるなら、並列構造が正しいとみなして、解析誤りではないと判定する。このようなケースを conj と呼ぶ。

(6)

other これまでの分類に属さないものが other である。(1b)のように品詞タグ付けの誤りに起因するものや、図 1 のように名詞句が分断される場合などが該当し、これらを潜在的に重大な解析誤りであると捉える。

また、(7) の並列構造では、検出された分野名詞句 “steering wheel” の構文構造が分断されているが、これは “truck”と“steering”が並列とみなされるという誤った解析結果によるものである。“truck wheel”という語が分野名詞句辞書に無いことから、これも other に分類され、解析誤りであるとみなせる。

*(7)

## 4 評価実験

本節では、英語の 2 つの分野を題材に、 3 節の基準で other と分類される分野名詞句の潜在的な解析誤りの量を調べることによって、当該分野における解析器の有用性を評価する。また、一般のベンチマークと比較して、各解析器の評価結果の傾向にどのような差異があるかを調べる。表 2 解析器 $A \sim E$ の単語区切り (Words) ・品詞タグ付け (UPOS) ・係り受け解析 (UAS, LAS) の精度 (F1 值) を UD_English-EWT コーパスで測定したもの。

## 4.1 分野のデータ

まず、自動車分野のデータとして、National Highway Traffic Safety Administration (NHTSA) [2] が収集・公開している「Consumer Complaints」 5)のうちの 10,000 レコードを用いた。

また、法的契約文書のデータとして、CUAD [5] データセット6）のうちの「2020」ディレクトリから抽出された 10,000 レコードを用いた。

分野名詞句辞書として、自動車分野では分析に用いていた既存の辞書にある 3,942 個の名詞句を活用した。契約書分野では文書集合中で連続して単語の先頭が大文字で書かれる頻度が高い名詞句 924 個を抽出した。それらの例は表 1 に示した通りである。

## 4.2 解析器

英語の解析器として、ここでは、UDPipe 2 [12] の UD_EWT 2.6 モデル、Stanza 1.0.0 [11]、Trankit 1.0 .0 [8]、および 2 つの内製の解析器を含めた 5 つを比較する。なお、各解析器の優劣を議論することは本論文の趣旨ではないので、以下ではこれらの順序を変えて解析器 $A \sim E$ と表記する。

これらの解析器をUD_English-EWT のテストデー タで評価した結果を表 2 に示す。品詞タグ付け・依存構造解析とも、B, D, E の值が高い。UAS, LAS が最も高い B は単語区切りの性能の高さによることもあり、D, E と本質的な性能に大きな差はない。

EWT コーパスにはさまざまな特殊な現象がある

5) https://www.nhtsa.gov/nhtsa-datasets-and-apis\# complaints

6) https://paperswithcode.com/dataset/cuad
表 3 各解析器の自動車分野での名詞句の構造の頻度。括弧は other となる割合を示す。

表 4 契約書分野での名詞句の構造の分類。

ことが知られており [14]、UD のベンチマークと実応用での有用性には乘離がある可能性がある。この後の評価では分野のコーパスを用いて検証を行う。

## 4.3 評価結果

表 3 と表 4 に、 2 つの分野の文書での分野名詞句の構造の頻度を示す。other となる場合が潜在的な解析誤りであるとして、その割合を付記してある。解析器 A を除いて両分野で right が $90 \%$ を超えている通り、分野名詞句の大半は複合名詞として認識されている。A では他よりも left ・ mid が多いが、複合名詞が左主辞の固有名詞と解釈される場合がほとんどで、それらは分析に大きな支障はない。解析器 C は same が多く、より広い範囲の複合名詞と捉える傾向がある。

other の割合は契約書のほうが多い。フォーマルな文体ではあるものの長い文が多いことから解析が難しいことがわかる。また、conj の頻度に並列句の多さが現れている。

これらを表 2 で見た性能と比較すると、解析器 C は LAS のスコアが最も低いのに other の割合は小さく、特に契約書分野ではエラーの割合が最も低い。契約書分野では UD 上の係り受けの誤り率7) と other の割合が負の相関を持っており、解析器の実データ上での性能は UD-EWT でのベンチマークでは測定できていないといえる。

表 5 各構造と実際の誤りの関係。

表 6 誤りの頻度の多い分野名詞句の例。

## 4.4 擬似評価の妥当性

other の検出による性能の評価が妥当であるかを知るために、各カテゴリの名詞句の構文構造が実際に正しいかどうかを、自動車分野の文に対する解析器 $A \sim E$ の解析結果から 40 件ずつサンプリングして調査した。表 5 にその結果を示す。これより、other の分類によって分野名詞句の誤りを検出することの適合率は $95 \%$ (=2/40)、再現率は各カテゴリの頻度を考慮して $78.4 \%(=(49.8 / 40) /(63.5 / 40))$ と計算され、簡単な方法でありながら名詞句周辺の解析誤りを正しく捉えられているといえる。

## 4.5 誤りの典型例

表 6 に、解析器 A が各分野で other となった分野名詞句のうち頻度が高いものを示す8)。自動車分野では “warning”や“steering” などが動詞とみなされることによる誤りが目立つことなどがわかり、複合語を集約して一語とみなすなどの前処理によって解析誤りを防ぐことができる。契約書分野でも、解析に支障をきたす専門用語が見出された点が興味深い。

## 5 まとめ

本論文では、実応用上での解析器の性能を、分野特有の名詞句の解析結果に着目して推定する手法を示した。これにより、新たなコーパスを作成するコストをかけずに、一般のベンチマークとは別の観点で、当該分野の文書の解析において最も好ましい解析器やモデルを選択することができるようになった。また、後段の処理で致命的になりうる典型的な誤りを検知することができて、有用な解析器を実現するための示唆が得られた。

## 参考文献

[1] Xavier Carreras and Lluís Màrquez. Introduction to the CoNLL-2005 shared task: Semantic role labeling. In Proceedings of the ninth conference on computational natural language learning (CoNLL2005), pp. 152-164, 2005.

[2] Monica G. Eboli, Catherine M. Maberry, Ian A Gibbs, and Ramsi Haddad. Detecting potential vehicle concerns using natural language processing applied to automotive big data. In Proceedings of the 26th International Technical Conference on the Enhanced Safety of Vehicles (ESV), 2019.

[3] Meghdad Farahmand, Aaron Smith, and Joakim Nivre. A multiword expression data set: Annotating non-compositionality and conventionalization for English noun compounds. In Proceedings of the 11th Workshop on Multiword Expressions, pp. 29-33, Denver, Colorado, June 2015. Association for Computational Linguistics.

[4] Xiaotao Gu, Zihan Wang, Zhenyu Bi, Yu Meng, Liyuan Liu, Jiawei Han, and Jingbo Shang. UCPhrase: Unsupervised context-aware quality phrase tagging. In KDD'21: The 27th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, August 14-18, 2021, Vol. 2021, 2021.

[5] Dan Hendrycks, Collin Burns, Anya Chen, and Spencer Ball. CUAD: An expert-annotated NLP dataset for legal contract review. In J. Vanschoren and S. Yeung, editors, Proceedings of the Neural Information Processing Systems Track on Datasets and Benchmarks, Vol. 1, 2021.

[6] Hiroshi Kanayama and Ran Iwamoto. How Universal are Universal Dependencies? Exploiting Syntax for Multilingual Clause-level Sentiment Detection. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), pp. 40634073, 2020.

[7] Tetsuya Nasukawa and Tohru Nagano. Text analysis and knowledge mining system. IBM Systems Journal, Vol. 40, No. 4, pp. 967-984, 2001.

[8] Minh Van Nguyen, Viet Dac Lai, Amir Pouran Ben Veyseh, and Thien Huu Nguyen. Trankit: A light-weight transformer-based toolkit for multilingual natural language processing. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations, pp. 80-90, Online, April 2021. Association for Computational Linguistics.

[9] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Jan Hajič, Christopher D. Manning, Sampo Pyysalo, Sebastian Schuster, Francis Tyers, and Daniel Zeman. Universal Dependencies v2: An evergrowing multilingual treebank collection. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), pp. 4034-4043, Marseille, France, May 2020. European Language Resources Association.

[10] Joakim Nivre and et al. Universal Dependencies v1: A multilingual treebank collection. In Proceedings of LREC, Portorož, Slovenia, 2016.

[11] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108, Online, July 2020. Association for Computational Linguistics.

[12] Milan Straka and Jana Straková. Tokenizing, POS tagging, lemmatizing and parsing UD 2.0 with UDPipe. In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 88-99, Vancouver, Canada, August 2017.

[13] 那須川哲哉, 吉田一星, 宅間大介, 鈴木祥子, 村岡雅康, 小比田涼介. テキストマイニングのための辞書構築, 第 2 章, pp. 27-58. テキストマイニングの基礎技術と応用. 岩波書店, 2020.

[14] 金山博, 大湖卓也. UD_English-EWT との付き合い方. 言語処理学会第 28 回年次大会予稿集, March 2022.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 平仮名 BERT を用いた平仮名文の分割

井筒順 1 古宮嘉那子 2 新納浩幸 3
1 茨城大学大学院理工学研究科情報工学専攻 2 東京農工大学工学研究院
3 茨城大学大学院理工学研究科情報科学領域
21nm707h@vc.ibaraki.ac.jp kkomiya@go.tuat.ac.jp
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 概要

既存の日本語の形態素解析システムの性能は非常に高いが、これらシステムは漢字仮名混じりの文を対象にしているため、平仮名で書かれた文を単語分割することは難しい。本論文では漢字以外の文字、 つまり平仮名、数字、記号からなる文字べースの unigram BERT と bigram BERT を作成し、これらを利用して二種類の平仮名文の単語分割システムを構築した。これらを KyTeaを利用した平仮名分割システムと比較したところ、unigram BERTによる平仮名分割システムの性能が最も高くなったことを示す。

## 1 はじめに

日本語には $\mathrm{MeCab}^{1)}$ や Chasen ${ }^{2}$ 等の形態素解析システムが存在している。これらのシステムの性能は非常に高いが、漢字仮名混じりの文を対象にしているため、ほとんど全てが平仮名で書かれた文3)を単語分割することは難しい。

日本語初学者が最初に習得するのは平仮名であり平仮名で構成された文章を読む機会が多い。しかし平仮名で構成された文章を滞ることなく読むことは日本語の母語話者であっても難しい。

本稿では BERT を利用した 2 種類の平仮名文の分割システムを作成しその性能評価を行う。さらに、 $\mathrm{KyTea}^{4)}$ を用いた平仮名文 KeyTea 単語分割システムを作成し、作成した 2 種類の BERT による平仮名文の単語分割システムと比較する。

## 2 関連研究

工藤ら [1] は，平仮名交じり文が生成される過程を生成モデルを用いてモデル化した。そして、その

1) https://taku910.github.io/mecab/

2) https://chasen-legacy.osdn.jp

3）数字や記号は含まれている。

4) http://www. phontron.com/kytea/
パラメータを大規模 Webコーパスと EM アルゴリズムで推定することで、平仮名交じり文の解析性能を向上させる手法を提案している。また、林ら [2] は平仮名語の単語を辞書に追加することで形態素解析の精度が向上することを報告している。井筒ら [3] は $\mathrm{MeCab}$ の ipadic 辞書を平仮名に変換し、平仮名のみで構成されたコーパスを用いることで平仮名のみの文での形態素解析を行っている。さらに、井筒ら [4] は Bi-LSTM CRF モデルを用いた平仮名文の形態素解析を行い、複数のジャンルの文に対して複数回、学習とファインチューニングを行うことで形態素解析の性能にどのように変化を与えられるかを報告している。また、森山ら [5] は RNNLMを用いたべた書きかな文の形態素解析を行ない、その性能が単語分割と単語素性の全てを正解とする最も厳しい基準において従来手法を有意に上回ることを報告している。さらに、森山ら [6] は RNN とロジスティック回帰を用いた平仮名文の逐次的な形態素解析手法を提案し、平仮名文における形態素解析の性能向上とシステムの高速化を報告している。

分野に特化した BERTを作成する研究として代表的なものには鈴木ら [7] の研究がある。これは、金融文書を用い金融に関する文に特化した BERTを作成したことを報告する論文である。鈴木らは、汎用言語コーパスを用いて事前学習を行った BERT モデルに対して、金融コーパスを用いてファインチュー ニングを行うことが有効であるかの検証を行なっている。

本論文は井筒 $[8]$ を再実験し、追加実験と考察を加えたものである。

## 3 提案手法

本稿では平仮名文に特化した 2 種類の平仮名 BERT モデルを生成し、それぞれを利用して平仮名文の単語分割システムを作成した。平仮名 BERT モ

デルのうち、1つ目のモデルは unigram BERT モデルである。これは平仮名の文字 unigram で構成された文集合を事前学習に利用して生成した BERT モデルである。2つ目のモデルは bigram BERT モデルである。これは平仮名の文字 bigram で構成された文集合を事前学習に利用して生成した BERT モデルである。我々は上記 2 つのモデルを平仮名文の単語分割のデータを使ってファインチューニングすることで、平仮名の文の単語分割システムを作成した。本研究では、これら 2 つの平仮名文の単語分割システムの $\mathrm{F}$ 值を比較する。さらに、KyTeaによる平仮名文の単語分割のモデルを作成し、上記 2 つの平仮名文の単語分割システムの $\mathrm{F}$ 値と比較する。

## 3.1 unigram BERT 単語分割システム

unigram BERT は、事前学習用データとして平仮名の文字 unigram で構成された文を利用した BERT モデルである。Wikipedia の漢字仮名交じり文を平仮名に変換し、さらに文字 unigram に分かち書きしたデータを事前学習用のデータとして使用した。この unigram BERT に対し、平仮名文の単語分割のデー タを使ってファインチューニングすることで、平仮名文の単語分割システムを作成した。これを以降、 unigram BERT 単語分割システムと呼ぶ。

## 3.2 bigram BERT 単語分割システム

bigram BERT は、事前学習用データとして、平仮名の文字 bigram で構成された文を利用した BERT モデルである。Wikipedia の漢字仮名交じり文を平仮名に変換し、さらに文字 bigram に分かち書きしたデータを事前学習用のデータとして使用した。この bigram BERT に対し、平仮名文の単語分割のデー 夕を使用してファインチューニングをすることで、平仮名文の単語分割システムを作成した。これを以降、bigram BERT 単語分割システムと呼ぶ。

4

## データ

## 4.1 Wikipedia による事前学習用データ

2 種類の平仮名 BERT を作成するための事前学習

本データの作成方法は以下である。まず、 Wikipedia の漢字仮名交じり文を MeCabを利用して

5) https://dumps.wikimedia.org/jawiki/latest/

6) jawiki-latest-pages-articles.xml.bz2形態素解析し、形態素解析結果における読み部分を利用することで平仮名のみで構成された文を得る。 MeCab の辞書には Unidic を利用した。MeCab の読みデータから作成しているため、出力される平仮名文は、正確な平仮名文ではなく、疑似的な平仮名文である。次に、平仮名のみで構成された文を文字 unigram の形と文字 bigram の形に変換した。ただし、bigram の終端における文字列は、unigram との文字数を揃えるために、句点に文字種「*」を追加した「。*」としている。最後に、文の行頭と行末に対してそれぞれ [CLS] タグと $[\mathrm{SEP}]$ タグを付与した。

上記の操作により 300 万文の Wikipedia による事前学習用データを得た。

## 4.2 Wikipedia による平仮名文の単語分か ち書きデータ

unigram BERT と bigram BERT におけるファインチューニングに利用するデータとして、Wikipedia による平仮名文の単語分かち書きデータを作成した。本データは、 $\mathrm{MeCab}$ の単語分割結果を信じ、その平仮名表記を利用して作成した。また、単語分割を二値分類として処理するため、分割対象位置の文字を 1、それ以外の文字を 0 とするタグデータを作成した。

上記の操作により 100 万文の Wikipedia による平仮名文の単語分かち書きデータを得た。

## 4.3 日本語書き言葉コーパスによる平仮名文の単語分かち書きデータ

日本語書き言葉コーパス (以下 BCCWJ[9] と記す) のコアデータは人手により単語に分けられたデー タであるので、これを利用することにより正確な平仮名文を作成することが可能となる。BCCWJコアデータを平仮名の分かち書きに変換したデータを平仮名文の単語分割システムのファインチューニング用のデータおよびテストデータとして利用する。

本データの作成方法は以下である。まず BCCWJ のコアデータの読み情報を利用し、ほぼ平仮名で構成された文に変換した。次にそれらの文を文字 unigram の形と文字 bigram の形に変換した。文字 unigram の形に変換したデータは unigram BERT のファインチューニング用のデータとして利用し、文字 biram の形に変換したデータは bigram BERT のファインチューニング用のデータとして利用する。 また BCCWJ のコアデータの単語区切りを利用し単語分割を二値分類として処理するための、分割対象位置の文字を 1 、それ以外の文字を 0 とするタグ

データを作成した。上記の操作により 40928 文の BCCWJによる平仮名の分かち書きデータを得た。 unigram BERT 作成及び bigram BERT 作成において使用した語彙の総数はそれぞれ 300 と 80956 である。語彙には平仮名、片仮名、アルファベット、数字、複数の記号が含まれている。

## 5 実験

作成した 2 種類の BERT における平仮名文の単語分割の $\mathrm{F}$ 值がファインチューニング時のデータ量とデータの種類によりどのように変化するのかを検証するために 2 つの実験を行った。

また二つの提案手法と比較するために、KyТeа を用いて平仮名文の単語分割システムを作成した。これを以降、平仮名 KyTea 単語分割システムと呼ぶ。 KyTea は単語分割および読み推定の機能を持つシステムである。部分的アノテーションから学習をすることが可能であり、点予測を利用して文の解析を行う。学習には、二つの提案手法による単語分割システムのファインチューニングに利用したデータと同内容のものを用いた。ただし、フォーマットは KyTea に合うように変形した。

作成した単語分割システムは、テストデータに対する正解率、適合率、再現率、 $\mathrm{F}$ 値を評価した。

## 5.1 実験 1：BCCWJによるファインチュー ニングの実験

この実験では、正確な平仮名文の単語分割情報のデータを利用して、2 種類の BERT 単語分割システムの $\mathrm{F}$ 値を平仮名 KyTea 単語分割システムの $\mathrm{F}$ 値と比較する。300万文の Wikipedia による事前学習用データを利用して平仮名 BERT を作成し、 40928 文の BCCWJによる平仮名文の単語分かち書きデー 夕を用いて単語分割システムの 5 分割交差検定を行った。また平仮名 KyTea 単語分割システムについても、 2 種類の BERT 単語分割システムと同様のデータを用いて、 5 分割交差検定を行った。ただし、平仮名 KyTea 単語分割システムには、事前学習した BERTを用いていない。

次に、本実験において BERT の事前学習で使用したパラメータを表 1 に、ファインチューニングで使用したパラメータを表 2 に示す。

表 2 ファインチューニングにおけるパラメータ

 &  & エポック数 & 50 \\

## 5.2 実験 2: Wikipedia によるファイン チューニングの実験

この実験では、疑似データである Wikipedia の単語分割情報を大量に利用した、3つの単語分割システムの F 值を比較する。300 万文の Wikipedia による事前学習用データを利用して平仮名 BERTを作成し、ファイチューニングのデータとして 100 万文の Wikipedia による平仮名文の単語分かち書きデー タを利用して単語分割システムのファインチューニングを行った。なお、事前学習用のデータとファインチューニング用のデータの重複はない。一方で、実験 1 における事前学習データと実験 2 における事前学習データは同一のものを利用している。また、 unigram BERT 単語分割システムおよび bigram BERT 単語分割システムに利用した 100 万文の Wikipedia による平仮名文の単語分かち書きデータを利用し、平仮名 KyTea 単語分割システムを作成し、評価した。テストデータには 40 万文の Wikipedia のデータと 40928 文の BCCWJによる平仮名文の単語分かち書きデータをそれぞれ利用した。

実験 2 において BERT の事前学習で使用したパラメータおよびファインチューニングで使用したパラメータはどちらも epoch 数以外は実験 1 で利用したパラメータと同一である。実験 2 における epoch 数は 24 とした。

## 6 実験結果

実験 1 : BCCWJによるファインチューニングの実験における各システムに対する 5 分割交差検定の正解率、適合率、再現率、 $\mathrm{F}$ 値を表 3 に示す。

表 3 実験 1 における各システムの結果

 &  &  \\

適合率 & $\mathbf{9 4 . 3 6}$ & 92.56 & 90.93 \\
再現率 & $\mathbf{9 4 . 2 4}$ & 92.60 & 88.56 \\
F 値 & $\mathbf{9 4 . 3 0}$ & 92.58 & 89.66 \\

表 3 から、unigram BERT 単語分割システムは平仮名 KyTea 単語分割システムと比較し、 $\mathrm{F}$ 值が 4.64 point 向上していることが分かる。また bigram BERT 単語分割システムは平仮名 KyTea 単語分割システムと比較して F 值が 2.92 point 向上している。さらに
unigram BERT 単語分割システムは bigram BERT 単語分割システムよりも $\mathrm{F}$ 値が 1.72 point 高い。

次に、実験 2 : Wikipediaによるファインチューニングの実験の結果を表 4 に示す。

表 4 実験 2 : Wikipediaによるファインチューニングの実験における各システムの結果

 &  &  \\

表 4 から unigram BERT 単語分割システムは、平仮名 KyTea 単語分割システムと比較し、Wikipedia をテストデータとした場合は $\mathrm{F}$ 値が 5.69point 向上

し、BCCWJ のコアデータをテストデータとして利用した場合は $\mathrm{F}$ 値が 4.59point 向上していることが分かる。また bigram BERT 単語分割システムは、平仮名 KyTea 単語分割システムと比較し、Wikipedia をテストデータとした場合は $\mathrm{F}$ 值が 4.99point 向上し、BCCWJをテストデータとして利用した場合には F 値が 3.77point 向上していることが分かる。 さらに、unigram BERT 単語分割システムは bigram BERT 単語分割システムより高い $\mathrm{F}$ 値となった。 $\mathrm{F}$値の差は、Wikipediaをテストデータとした場合は 0.70point であり、BCCWJをテストデータとした場合は 0.82 point であった。

## 7 考察

表 3 と表 4 より、実験 1 と実験 2 でそれぞれ作成した 2 つの平仮名 BERT 単語分割システムの $\mathrm{F}$ 值は、平仮名 KyTea 単語分割システムの $\mathrm{F}$ 值よりも高いことが確認できる。これにより、unigram BERT 単語分割システムと bigram BERT 単語分割システムが有効であるといえる。

次に、実験 1 と実験 2 の結果を比較する。BCCWJ をテストデータにした実験結果同士（表 3 と表 4 の BCCWJ の結果）を比較すると、実験 1 における 2種類の平仮名 BERT 単語分割システムの $\mathrm{F}$ 値の方が高い。これは、実験 1 のファインチューニングのデータはテストデータと同じ BCCWJであるが、実験 2 では Wikipeda のデータを利用しているためであると考えられる。特に、BCCWJでは正確な読みと単語分割の区切りの情報を利用しているが、 Wikipedia は疑似データゆえに、Wikipedia データの質は BCCWJ よりも低いと考えられる。実験 1 で利用した BCCWJ は約 4.5 万件であるのに対して実験 2 で利用した Wikipedia のデータは 100 万文であることを考えると、ファインチューニングにおける疑似データの量を増やしても、テストデータと同ドメインの正確なデータには及ばないことが分かる。

一方で、大量の Wikipedia の疑似データを与えた際、同 Wikipedia のテストデータに対する正解率は 99\%を超える（表 4)。そのため、テストデータと同じドメインで、なおかつテストデータと整合性のある単語分割の情報をもつ大量のデータを利用してファインチューニングした場合には、かなり単語分割の評価値が高くなることが分かる。

## 8 おわりに

本研究では、平仮名文に特化して学習した 2 種類の BERTを利用した文単語分割システム、unigram BERT 単語分割システムと bigram BERT 単語分割システムを作成した。このシステムは BERT の事前学習として、MeCabを利用して Wikipedia の平仮名文のデータから作成した文字 unigram または文字 bigram のデータを利用し、平仮名文の単語分かち書きのデータでファインチューニングを行うことで作成したものである。BCCWJ のコアデータを利用した五分割交差実験と、Wikipedia のデータを利用したファインチューニングによる実験において、平仮名文の単語分割の $\mathrm{F}$ 值は共に KyTea を用いた平仮名文単語分割システムの $\mathrm{F}$ 値を上回った。また、 unigram BERT 単語分割システムと bigram BERT 単語分割システムの $\mathrm{F}$ 値を比較すると、unigram BERT 単語分割システムの方が $\mathrm{F}$ 值が向上した。これにはモデルの大きさに対する事前学習のデータ数が影響したと考えられる。

また、実験により、ファインチューニングに利用するデータは、大量のドメインの異なった疑似データよりも、少量のドメインの等しい、テストデータと整合性の取れたデータの方がよいことが分かった。

## 謝辞

本研究は 2022 年度国立情報学研究所公募型共同研究（22FC04）と JSPS 科研費 $18 \mathrm{~K} 11421$ の助成を受けています。

## 参考文献

[1] 工藤拓, 市川宙, David Talbot, 賀沢秀人. Web 上のひらがな交じり文に頑健な形態素解析. 言語処理学会第 18 回年次大会発表論文集, pp. 1272-1275, 2012.

[2] 林聖人, 山村毅. ひらがな語の追加と形態素解析の精度についての考察析. 愛知県立大学情報科学部平成 28 年度卒業論文要旨, 2017.

[3] 井筒順, 明石陸, 加藤涼, 岸野望叶, 小林汰一郎,金野佑太, 古宮嘉那子. Mecabによる平仮名のみの形態素解析. 言語処理学会第 26 回年次大会発表論文集, pp. 65-69, 2020.

[4] Jun Izutsu and Kanako Komiya. Morphological analysis of japanese hiragana sentences using the bi-lstm crf model,. 10th International Conference on Natural Language Processing (NLP 2021), 2021.

[5] 森山柊平, 大野誠寛, 増田英孝, 絹川博之ほか. Recurrent neural network language model を用いたべた書きかな文の形態素解析. 情報処理学会論文誌, Vol. 59, No. 10, pp. 1911-1921, 2018.

[6] 森山柊平, 大野誠寛. Rnn とロジスティック回帰を用いた平仮名文の逐次的な形態素解析. 自然言語処理, Vol. 29, No. 2, pp. 367-394, 2022.

[7] 鈴木雅弘, 坂地泰紀, 和泉潔, 石川康. 金融文書を用いた追加事前学習言語モデルの構築と検証.言語処理学会第 28 回年次大会発表論文集, pp. 588-592, 2020.

[8] 井筒順, 古宮嘉那子, 新納浩幸. 平仮名 bert による平仮名文の分割. 研究報告自然言語処理 (NL), Vol. 2022-NL-253, No. 1, pp. 1-7, 2022.

[9] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written japanese. Language resources and evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

## A 追加実験

実験 1 と実験 2 の結果において、2 種類の平仮名 BERT 単語分割システムの $\mathrm{F}$ 値を比較すると、 unigram BERT 単語分割システムの $\mathrm{F}$ 值がより良い結果であることが確認できる。bigram の方が unigram より情報量が多くなるため、我々は bigram BERT 単語分割システムの方が、unigram BERT 単語分割システムを上回ることを予想していたが、結果は逆であった。この理由としては、モデルの大きさに対応して必要になる学習データの差が考えられる。本研究において使用した平仮名 BERT の語彙数は unigram BERT 作成では 300 であり、bigram BERT 作成では 80956 であった。つまり語彙数に約 270 倍の差が存在する。その分、モデルは大きくなるため、必要な学習データも多くなると考えられる。ところが、 2 種類の平仮名 BERT 単語分割システムにおける事前学習で利用したデータ数はどちらも 300 万文であった。つまり、モデルの大きさに必要な学習データ量に対して bigram BERT には十分な学習デー タではなかった可能性があり、それが unigram BERT 単語分割システムの $\mathrm{F}$ 值が bigram BERT の $\mathrm{F}$ 値を上回った要因であると考えられる。

語彙数に大幅な差があることに着目し、我々は、実験 1 のテストデータから記号等の文字種を除いたデータを利用し、各システムの評価を再度算出した。実験 1 のテストデータから取り除かなかった文字種は、平仮名・片仮名・句点・読点・長音・符空白である。実験 1 のテストデータの各文に対して上記以外の文字種が含まれる文は評価せず、上記のみの文字種で構成された文を各システムに入力し、評価した。本追加実験における結果を表 5 に示す。

表 5 実験 1 においてテストデータから記号を除いた場合の各システムの結果

 &  &  \\

適合率 & $\mathbf{9 5 . 0 4}$ & 93.38 & 92.15 \\
再現率 & $\mathbf{9 4 . 9 3}$ & 93.50 & 89.81 \\
F 値 & $\mathbf{9 4 . 9 9}$ & 93.44 & 90.91 \\

表 5 より文字種を制限することにより全体的に F 值が向上していることが確認できる。特に、unigram BERT 単語分割システムと bigram BERT 単語分割システムにおける F 值の差は 1.55pointである。表3における 2 つの単語分割システムの $\mathrm{F}$ 値の差が 1.72
であったことから、テストデータにおける文字種を制限することで $\mathrm{F}$ 値の差が縮まっていることがわかる。

## B 実験の可視化

実験 1 におけるシステム構築を可視化した図を図 1 に示す。また、実験 2 におけるシステム構築を可視化した図を図 2 に示す。

図1 実験 1 : BCCWJによるファインチューニングの実験

図 2 実験 2: Wikipedia によるファインチューニングの実験


# 思考連鎖指示における大規模言語モデルの否定表現理解

葉夢宇 1 栗林樹生 1,2 舟山弘晃 1,3 鈴木潤 1,3
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所
\{ye.mengyu.s1, h.funa\}@dc.tohoku.ac.jp
\{kuribayashi, jun.suzuki\}@tohoku.ac.jp

## 概要

近年，推論過程の出力を指示することで大規模言語モデルの性能が向上することが示された. しかし既存研究では，推論過程を経て生成された結論のみが評価されており，モデルがどのような推論過程を生成し, また過程から導かれる妥当な結論を下しているのかといった推論内容の大規模な分析は行われていない. 本研究では，言語モデルについて，推論過程を踏まえて結論を生成する能力を評価し，特に言語モデルが苦手としてきた否定表現の扱いに焦点を当てる. 実験を通して，最先端の 175B 言語モデルですら，推論過程に not が存在する場合，結論として noを生成するといった浅い理解に基づいた処理が行われている可能性を示す.

## 1 はじめに

近年，大規模言語モデルに少数事例を提示することで様々な言語タスクを解く, 少数事例指示 （few-shot prompting）[1]が注目を集めている. 特に最近では，推論過程を生成するようモデルに指示する思考連鎖指示 (chain of thought prompting) [2] の有効性が示された. 例えば，「大谷翔平選手が硬式ボールを投げた可能性はあるか」といった質問に対して，思考連鎖指示に基づく推論では，モデルはまず「大谷選手は野球選手であり, 硬式ボー ルは野球で投げるので...」といった推論過程を生成し, 続いて「はい」といった結論を導く. 既存研究では，思考連鎖指示のもと最終的に得られる結論の質が向上することは示されたものの，モデルが妥当な過推論程を生成しているのか, モデルの結論が過程と一貫しているのかといった推論過程の妥当性については十分に分析されていない.

本研究では，一連の思考指示を (i) 推論仮定を生成する段階と (ii) 与えられた過程から結論を出す段階に分解し, 評価の容易さから，まずは後者の与え問題：「大谷翔平選手が硬式ボールを投げた」はあり得そうか？推論過程を明示して答えよ。

推論過程 : 大谷選手は野球選手であり,硬式ボールは野球のみで投げるので,

図1 思考連鎖指示を元に，大規模言語モデルを用いて，否定表現が含まれる推論過程から論理的に適切な結論を導くことができるかを調査する

られた過程から結論を導く能力について統制的に調査を行う．特に，言語モデルが苦手としてきた否定表現の処理に焦点を当て，only やnot といった否定表現が含まれる推論過程から論理的に適切な結論を導くことができるかを調査する（図 1).

GPT-3（text-davinci-002，パラメータサイズ 175B） $[3,1]$ と OPT-66B (Open Pre-trained Transformer Language Models）[4]を含む大規模言語モデルを対象とした実験の結果，only，not，implausible といった表現に誤誘導 (mispriming) され，否定的な表現が推論過程に含まれるだけで，論理的な帰結に反してモデルの下す結果は大きく noに偏ることが観察された.

この結果から，依然として深い言語理解に基づく論理的な推論が行われていないことが示唆された.

## 2 実験設定

評価したい能力: 思考連鎖指示では，少なくとも (i) 推論過程を生成し (ii) 推論過程を踏まえて結論を

$
\begin{aligned}
& \text { Determine whether an artificially constructed sentence } \\
& \text { relating to sports is plausible or not. } \\
& \text { Q: Is the following sentence plausible? "Bam Adebayo } \\
& \text { scored a reverse layup in the Western Conference Finals." } \\
& \text { A: Let's think step by step. } \\
& \text { Bam Adebayo is an American basketball player. Scoring a } \\
& \text { reverse layup only happens in basketball. So the answer is } \\
& \text { yes. } \\
& \text { Q: Is the following sentence plausible? "Santi Cazorla } \\
& \text { scored a touchdown." } \\
& \text { A: Let's think step by step. } \\
& \text { Santi Cazorla is a soccer player. Touchdowns are only } \\
& \text { happen in football. So the answer is no. } \\
& \text { Q: Is the following sentence plausible? "DeMar DeRozan } \\
& \text { was called for the goaltend." } \\
& \text { A: Let's think step by step. } \\
& \text { DeMar DeRozan is an American basketball player. } \\
& \text { Goaltending only happens in basketball. So the answer is } \\
& \text { yes. }
\end{aligned}
$

図 2 少数事例指示文の例，緑色は推論過程の部分を表す

出力するという 2 つの能力が求められる. 本研究では，後者に焦点を当てて評価を行う，後者に焦点を当てる理由としては，yes/no の答えのみを出力する段階は分類問題であるため評価が比較的簡単であることと，この能力は思考連鎖指示が達成されるための必要条件であるため，最低限の要請として達成できることを期待したいという点があげられる.

問題設定: 例題として，「Pが A をした」という文の尤もらしさをモデルに自然言語で問う設定を採用した1）。ここでPは人名(player，スポーツ選手名）, A は行動（action，ボールを踣るなど）を表し，推論過程ではPが何のスポーツ S の選手であるか，また A がそのスポーツS で行われているかを段階的に推論するシナリオを採用した。図 2 に示す通り，実際の問題は英語で書かれている.

実験では，問題と推論過程（So the answer is まで） をモデルに入力し，モデルが yes/no のどちらを回答するか分析することで，推論過程を踏まえて適切な結論を出力する能力を評価する．結論を導くステップでは「PはSの選手である，SではAしない. よってPはAしない」といった簡単な論理推論が求められている。この段階において，例えば推論過程に

$n o t$ のような否定表現が出現したら結論を no とするといった表層的な処理が行われているかを調査する.

なお，推論過程はあらかじめ準備した適当なものを入力しており，ある人名があるスポーツの選手でありそうか，ある行動がそのスポーツで行われるかといった常識的知識をモデルに問わない。この点は 3.1 節でも更に対処する。

少数事例指示: 先行研究 [6] に倣い，タスクに関する説明と，問題文・模範的な推論過程・結論を合計 3 問をモデルに入力したのち，実際に解かせたい問題の問題文と推論過程を入力する．以降導入する否定語を挿入した設定などにおいても，指示文は共通のものを用いている。

モデル： 実験では，GPT-3（text-davinci-002，パラメータサイズ 175B） [3,1] と OPT(Open Pre-trained Transformer Language Models) [4] を用いた. OPT については Huggingface ${ }^{2)}$ 上に公開されているパラメータサイズの異なる 7 モデル (350M, 1.3B, 2.7B, 6.7B, 13B, 30B, 66B）を評価対象とした。

## 3 実験

まず初めに，推論過程を踏まえて正しく回答できるかを精緻に問うため，常識知識ではなく推論過程を見なければ解けない問題設定を導入する (3.1 節).次に，否定表現の有無とモデルの振る舞いについて調査を行う (3.2 節).

## 3.1 事前実験: FICTION 設定の導入

設定 BIG-Bench の Sports understanding 問題 [5] から収集したデータセット (REAL) に加え，架空の選手名・スポーツ名から構成したデータセット（FICTION） を用意した (付録 A). 既存の REAL セットは実世界の常識に即した問題になっているが，本研究の関心のもとでは，モデルが正解した時に推論過程の内容を理解して結論を導いたのか，モデルが持つ常識知識に基づいて回答できたのかの切り分けが難しい.従って，推論過程を踏まえないと答えることのできない FICTION 設定を導入した。なお，正解ラベルの分布は $1: 1$ であることが期待されるが，乱数シードの都合上，REAL 設定では正解ラベルが yes の問題が 496 問，正解ラベルが no の問題が 504 問であり， FICTION 設定では正解ラベルが yes の問題が 495 問，
 opt
表 1 結果（yes: yes の割合，no: no の割合）

正解ラベルが no の問題が 505 問である.

結果表 1 に各設定での正解率と, モデルが yes/no と回答した割合を示す.また前述の通り， データセット中の yes/no が回答である問題の比はおよそ $1: 1$ である。事前学習の知識が使えない FICTION 設定では全体的に正解率が下がり，特に OPT-30B および OPT-2.7B においては, 出力が yes か no のどちらかに大きく偏ることになった. このことから思考連鎖指示中には生成した推論過程のみでなく，モデルが有する知識も活用されていることが示唆され，推論過程の分析をする上で，事前知識が使えない設定を導入することの意義が確認された. 以降の実験では，FICTION 設定に編集を加えていく。

## 3.2 実験: 否定語の影響

設定： 否定表現に関する 4 つの設定を導入する. ONLY 設定において，元の問題設定 [5] では，「P は $\mathrm{S}_{1}$ の選手である. A $\mathrm{S}_{2}$ で行われる. よって no」 というシナリオで問題が設計されているが，「Aが $\mathrm{S}_{2}$ で行われる」ことは「Aが $\mathrm{S}_{1}$ で行われない」ことを含意しないため, 厳密には曖昧性のある問題であった. そこで「Aが $\mathrm{S}_{2}$ のみで行われる」といった制限を導入することで，問題を解きやすくする。 Not 設定は，否定表現の意味合いを強まることの影響を調べるために導入する． Implausible+（Not）は FICTION 設定と同じ問題構成で，質問文や推論過程内の機能語を変えた場合でも，モデルがその変化に応じて正しい出力をするかを調査する. 各設定の概略を以下に示す. モデルには質問と，回答における \{はいいいえ $\}$ の直前までが入力される。また図 3 の例のように，実際はこれらの問題は英語で記述されている.

## ONLY

質問:「Pが A した.」という文はあり得そうか？回答: $P$ は $S_{1}$ 選手であり, $A$ は $\left.\{S_{1} / S_{2}\right.\}$ のみで行

Q: Is the following sentence plausible? "Judy Hogan
set the pick and roll."
A: Let's think step by step.
Judy Hogan is a fileball player. Set the pick and roll
only happens in caseball. So the answer is
Q: Is the following sentence plausible? "Judy Hogan
set the pick and roll."
A: Let's think step by step.
Judy Hogan is a fileball player. Set the pick and roll
did not happen in fileball. So the answer is

Q: Is the following sentence implausible? "Judy
Hogan set the pick and roll."
A: Let's think step by step.
Judy Hogan is a fileball player. Set the pick and roll
only happen in caseball. So the answer is

Not+Implausible設定
Qogan set the pick and roll."
A: Let's think step by step.
Judy Hogan is a fileball player. Set the pick and roll
did not happen in fileball. So the answer is

図 3 ONLy, Not, Implausible および Not+ImPlaUSIBLE の設定における入力文の例.

われるので，\{はい/いえ\}

## Not

質問: 「PがALた.」という文はあり得そうか？

回答: $\mathrm{P}$ は $\mathrm{S}_{1}$ 選手であり，A $\left.\{\mathrm{S}_{1}\right.$ のみで行われる/ $S_{1}$ で行われない $\}$ ので，\{はい/いえ\}

## IMPLAUSIBLE

質問:「Pが A Lた.」という文はあり得ないか？

回答: $\mathrm{P}$ は $\mathrm{S}_{1}$ 選手であり, $A$ は $\left.\{\mathrm{S}_{1} / \mathrm{S}_{2}\right.\}$ のみで行われるので，\{いいえ/いい\}\})

## IMPLAUSIBLE+NOT

質問: 「PがALた.」という文はあり得ないか？

回答: $\mathrm{P}$ は $\mathrm{S}_{1}$ 選手であり, $\mathrm{A}$ は $\left.\{\mathrm{S}_{1}\right.$ のみで行われる/ $S_{1}$ で行われない $\}$ ので，\{いいえ/はい\} $\}$

## 3.3 結果・考察

表 2 に結果を示す. 全てのタスクにおいて, noが出力された問題の割合の大幅な上昇を観測した.この結果から, 出力が否定的な意味合いを持つ単語に誤誘導されていることが示唆される.

ONLY 設定: この設定では，問題が明確化されたにも関わらず，FicTION 設定と比較すると no の生成率が高まることから，言語モデルは onlyによって誤誘

表 2 結果（yes: yes の割合， no: no の割合）

導されたことが確認された. この点からも，言語モデルが論理的な推論といった深い言語理解に基づいて思考連鎖指示をできているとは考えづらい.

Noт 設定：この設定では，yes の問題は onlyを用いた ONLY 設定と同様のものを，noの問題は not を用いた推論過程に書き換えたものである. この設定でも FICTION 設定と比較すると no の生成率が高くなり，依然として否定語の扱いに苦戦していることが観察された。

ImPLAUSIble (+Not) 設定 : ImplAUSIBLE 設定と ImPLAUSIBLE+NOT 設定の共通点は, 少数事例指示文の部分に変更を加えずに, implausible かという質問に変更したことである。この 2 つの設定でも，FICTION 設定より多くの no が生成され, 否定表現に誤誘導され，GPT-3，そしてどんなパラメータ数の OPT に関しても，implausible という単語に誤誘導され，ほぼ noしか答えない現象が観察された。

以上の観察より，単なる否定的な単語の出現により，論理的に妥当な帰結に反して，言語モデルの回答は no に誤誘導されていくことが確認された.従って，思考連鎖指示では生成された推論過程に含まれる浅い特徴によって，結論を導いている可能性が示唆された。

## 4 関連研究

思考連鎖指示による性能向上これまでの思考連鎖指示に関する研究では，主に最終的な結論の正当性が評価され，推論過程の妥当性に関しての大規模な評価は行われていなかった. 例えば， BIG-Bench [5] を代表とした横断的評価において，思考連鎖指示を用いることによって，多数のタスクにおいて人間の正解率を上回ったことが報告された [6].

本研究は，結論の正当性と共に，推論の過程の妥当性や，モデルの推論におけるある種の癖を分析し
たものであり，本研究の結果から，思考連鎖指示の評価の解像度を上げ，近年の言語モデルの能力について知見を深めることも期待される。

言語モデルにおける誤誘導効果と否定表現事前学習済み言語モデルでは，例えば Talk? Birds can [MASK] と入力すると Birds can talk と生成してしまうように，質問に直接関係のない単語に出力が誘導される誤誘導効果が報告されている [7].

アリストテレスの「命題論」では，全ての宣言文は肯定と否定のいずれかに分類されている [8], 否定表現は自然言語を扱うための重要な概念であるとされている。．否定表現に焦点を絞ったデータセットが多数存在している $[9,10,11,12]$. それらのデータセットを用いた評価結果から，否定表現を理解することは事前学習済みモデルにとって挑戦的なタスクであることが確認されている [13]. 本研究の結果では，推論過程や問題文に否定表現が含まれる際，最近の大規模言語モデルでも，no と結論を下してしまうような誤誘導効果が生じることを確認した。

## 5 おわりに

本稿では，大規模言語モデルの推論能力の向上に寄与する思考連鎖指示を対象に，推論過程から結論を導く部分，特に否定表現に注目し，大規模言語モデルは妥当な推論過程を行なっているかどうかを検証した. GPT-3 とOPTを対象とした実験では，論理関係ではなく，否定表現が存在するからnoを生成するというような浅い推論を行なっている可能性を明らかにした。

今後はより多くの思考連鎖指示が有効とされるタスクに検証対象を拡張しさらに深堀りしていく.また，これまでに BERT [14] などを対象とした内部解析手法を用い，大規模言語モデルの内部挙動を分析する方向性も興味深い。

## 謝辞

本研究は，JSPS 科研費 JP21H04901，JST ムーンショット型研究開発事業 JPMJMS2011 (fundamental research), JST 次世代研究者挑戦的研究プログラム JPMJSP2114 の助成を受けて実施されたものである.

## 参考文献

[1] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, and et al. Language models are few-shot learners. In Hugo Larochelle, Marc'Aurelio Ranzato, Raia Hadsell, Maria-Florina Balcan, and Hsuan-Tien Lin, editors, Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual, 2020.

[2] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed H. Chi, Quoc Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models. CoRR, Vol. abs/2201.11903, , 2022.

[3] Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul F. Christiano, Jan Leike, and Ryan Lowe. Training language models to follow instructions with human feedback. CoRR, Vol. abs/2203.02155, , 2022.

[4] Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona T. Diab, Xian Li, Xi Victoria Lin, Todor Mihaylov, Myle Ott, Sam Shleifer, Kurt Shuster, Daniel Simig, Punit Singh Koura, Anjali Sridhar, Tianlu Wang, and Luke Zettlemoyer. OPT: open pre-trained transformer language models. CoRR, Vol. abs/2205.01068, , 2022.

[5] Aarohi Srivastava, Abhinav Rastogi, Abhishek Rao, Abu Awal Md Shoeb, Abubakar Abid, Adam Fisch, Adam R. Brown, Adam Santoro, Aditya Gupta, Adrià Garriga-Alonso, and et al. Beyond the imitation game: Quantifying and extrapolating the capabilities of language models. CoRR, Vol. abs/2206.04615, , 2022.

[6] Mirac Suzgun, Nathan Scales, Nathanael Schärli, Sebastian Gehrmann, Yi Tay, Hyung Won Chung, Aakanksha Chowdhery, Quoc V. Le, Ed H. Chi, Denny Zhou, and Jason Wei. Challenging big-bench tasks and whether chain-of-thought can solve them. CoRR, Vol. abs/2210.09261, , 2022.

[7] Nora Kassner and Hinrich Schütze. Negated and misprimed probes for pretrained language models: Birds can talk, but cannot fly. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 7811-7818. Association for Computational Linguistics, 2020.

[8] John L Ackrill and et al. Categories and De interpretatione. Clarendon Press, 1975.

[9] Atticus Geiger, Kyle Richardson, and Christopher Potts. Neural natural language inference models partially embed theories of lexical entailment and negation. In Afra Alishahi, Yonatan Belinkov, Grzegorz Chrupala, Dieuwke Hupkes, Yuval Pinter, and Hassan Sajjad, editors, Proceedings of the Third BlackboxNLP Workshop on Analyzing and Interpreting Neural Networks for NLP, BlackboxNLP@EMNLP 2020, Online, November 2020, pp. 163-173. Association for Computational Linguistics, 2020.

[10] Abhilasha Ravichander, Matt Gardner, and Ana Marasovic. CONDAQA: A contrastive reading comprehension dataset for reasoning about negation. CoRR, Vol. abs/2211.00295, , 2022.

[11] Roser Morante and Eduardo Blanco. *sem 2012 shared task: Resolving the scope and focus of negation. In Eneko Agirre, Johan Bos, and Mona T. Diab, editors, Proceedings of the First Joint Conference on Lexical and Computational Semantics, * SEM 2012, June 7-8, 2012, Montréal, Canada, pp. 265-274. Association for Computational Linguistics, 2012.

[12] Johan Reitan, Jørgen Faret, Björn Gambäck, and Lars Bungum. Negation scope detection for twitter sentiment analysis. In Alexandra Balahur, Erik Van der Goot, Piek Vossen, and Andrés Montoyo, editors, Proceedings of the 6th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, WASSA@EMNLP 2015, 17 September 2015, Lisbon, Portugal, pp. 99-108. The Association for Computer Linguistics, 2015.

[13] Md Mosharaf Hossain, Venelin Kovatchev, Pranoy Dutta, Tiffany Kao, Elizabeth Wei, and Eduardo Blanco. An analysis of natural language inference benchmarks through the lens of negation. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pp. 9106-9118. Association for Computational Linguistics, 2020.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

## A Fiction データセット

FICTION 設定では，架空のスポーツ名を 5 個，そして一種目につき 100 個の架空の選手名，合計 500 個の選手名を作った.ここで架空スポーツ名の全部および架空選手名の一部（50 個）を表 3 に示す.

表 3 FICTIONデータセットの一部詳細


# Classification of Polysemous and Homograph Word Usages using Semi-Supervised Learning

Sangjun Han ${ }^{1}$ Brian Kenji Iwana ${ }^{2}$ Satoru Uchida ${ }^{3}$
${ }^{1}$ Department of Electrical Engineering and Computer Science, Kyushu University
${ }^{2}$ Department of Advanced Information Technology, Kyushu University
${ }^{3}$ Faculty of Languages and Cultures, Kyushu University
\{sangjun.han, brian\}@human.ait.kyushu-u.ac.jp uchida@flc.kyushu-u.ac.jp
}

\begin{abstract}
Words can have different meanings based on the context of how they are used. Therefore, to help language understanding, it is important to be able to distinguish between the word usages. To do this, we propose to automatically classify word meaning using a Transformer neural network. However, annotating large amounts of word usages for effective machine learning can be time-consuming and expensive. Thus, we propose using unlabeled data for Pseudo Labeling to improve the robustness of the model.
\end{abstract
## 1 Introduction

Words can have different meanings, or usages, depending on the context. For example, the word "see" can have many different meanings, such as, to see something with your eyes, to understand something, to imagine something in a particular way, etc. Polysemous words are words with related origins and homographs are words with different origins.

The study of polysemous words and homographs is important for language learning [1,2]. Language learners often have difficulties knowing the intended meaning of words when using dictionaries [3]. Due to this, it is common for language learners to only use the top definition in dictionaries [4]. Thus, correct identification of word usage can be an important tool.

In order to address this problem, we propose the use of machine learning, namely text classification, to predict the usage of words. Namely, we use a Bidirectional Encoder Representations from Transformer (BERT) [5] neural network to embed words into a word-wise semantic vector and use a classifier to learn the usage based on the vector.
Through this, we show that it is possible to predict the word usage within the context of a sentence.

However, one issue with using neural networks is the requirement for data. Specifically, a large amount of annotated data is required to train accurate models and acquiring the annotations can be a time-consuming and expensive process. Therefore, we propose the use of SemiSupervised Learning (SSL) to make up for the lack of data. SSL combines the use of supervised data, i.e. labeled data, and unsupervised data, i.e. unlabeled data. Specifically, Pseudo Labeling [6] is used. In Pseudo Labeling, the unlabeled data is classified and given Pseudo Labels based on the classifier confidence.

The contributions are as follows:
- We develop a word usage classifier that is able to learn the usage of a word based on the context.
- We demonstrate that SSL, specifically Pseudo Labeling, can help make up for the difficulty of annotating data.
- We show that the word embeddings learned by BERT contain contextual usage information.
- A case study is conducted on specific words with polysemous and homograph definitions to show the effectiveness of our approach.

## 2 Related Work

While word embedding research [7] and text classification research $[8,9]$ are widely studied fields, specific word usage classification is not often explored.

In a related problem set, homograph disambiguation aims to differentiate homographs in text, most often used with text-to-speech generation $[10,11]$. Notably, SSL has been used for homograph disambiguation in text-to-speech
generation Mandarin [12] and Persian [13]. While these methods are similar, they differ in that they only separate homographs by sound and not specifically by meaning. This means that the labels typically follow part of speech, very broad meanings, or labels that have different meanings but the same pronunciations [10]. The aim of our work is to predict the usage of words from a comprehensive set of definitions.

## 3 Bidirectional Encoder Representations from Transformers (BERT)

Transformers [14] are feed forward neural networks that consist of blocks of a Multi-Head Self-Attention (MHSA) layer and a fully-connected layer. The MHSA layer uses parallel self-attention layers to learn pairwise relationships between tokens of the input. After the MHSA, there is a fully-connected layer. The output of a Transformer layer is vector embeddings corresponding to each input token.

Bidirectional Encoder Representations from Transformer (BERT) [5] is an extension to the original Transformer. Some of the improvements include using a bidirectional self-attention, adding segment encodings, and training using BooksCorpus [15], which contains the contents of 11,038 books.

## 3.1 Tokenization

The input representations of BERT are constructed of summing token embeddings, positional encodings, and segment encodings [5]. The token embeddings are WordPiece vectors [16] embedded in vectors using a linear layer.

The WordPiece vectors represent pieces of words, including full words, in a 30,522 word-part token vocabulary. The positional encodings represent the position that the word piece appears in the sentence, and the segment encoding is the sentence number.

## 3.2 Embeddings

BERT is trained in an encoder-decoder structure. The encoder layers create an embedding corresponding to each input token vector. This allows Transformer layers to be stacked and to be used with a decoder Transformer for training. Thus, the output of the encoder layers is a set of token-wise vector embeddings. Due to this, as shown in Fig. 1, we use these word embeddings as representations for our classifier.

Aside from the word embeddings, there is a special clas-

Figure 1 Word Usage Classification Using BERT

Figure 2 Pseudo Labeling

sification embedding (CLS) and sentence separation embeddings (SEP). In traditional text classification, the CLS token is used to classify the entire document. However, in our case, we do not use the CLS embedding because we focus on individual word usage.

## 4 Semi-Supervised Learning

SSL is a problem setup that incorporates supervised data and unsupervised data to train models. The benefit of SSL is that it makes it possible to leverage large amounts of unlabeled data to supplement the labeled data. This is useful because annotating unlabeled data can be costly and time-consuming.

One method of SSL is the use of Pseudo Labeling [6]. Pseudo Labeling is a method of labeling the unlabeled data based on probabilistic confidence to be used alongside the already labeled data. Pseudo Labeling is performed in multiple rounds of training, as shown in Fig. 2. First, the model is trained using the labeled data. Next, the unlabeled data is classified using the trained model. When the unlabeled

Table 1 Details of the datasets

 & 70 & 95 & 64 & 703 \\

data is classified, a confidence score $p$ is determined. For the purpose of Pseudo Labeling, the confidence is defined as the probability of the predicted class. Then, the predicted unlabeled data with a high confidence threshold $\tau$ is labeled, i.e. where $p \geq \tau$, which becomes pseudo labels. The model is then trained again using the combined annotated labels and pseudo labels. Finally, this process is repeated $N$ number of rounds or until satisfied.

## 5 Experimental Results

## 5.1 Dataset

In this study, we use data from two corpora. The first corpus is the English Vocabulary Profile (EVP) Online word list [17]. The corpus includes a list of words with definitions, usages, and example sentences, hereafter referred to as dictionary examples. For this study, the American English definitions are used. In addition, EVP also includes learner examples which are sentences written by varying levels of language learners. The second is a privately gathered book corpus consisting of Common European Framework of Reference (CEFR) graded materials. The EVP corpus is used to create the supervised datasets and the book corpus is used for the unsupervised data.

From the corpora, we created five datasets, as shown in Table 1. Each dataset is used to classify the usage of a single word. Also, it should be noted that each dataset incorporates all tenses of the word. Four of the datasets, "get," "let," "play," and "see (1)" use the usage labels determined by EVP. We use the dictionary examples as the training set and the learner examples as the test set. For each unlabeled set, lines of text that contained the specific word were gathered from the book corpus.

In addition to datasets determined by EVP Online, a second dataset, "see (2)" was annotated manually. This dataset combines all sentences with the word "see" (and its tenses) from the entire EVP corpus. Each sentence was annotated based on the eight high-level definitions by two English speakers. The classes are "see (use eyes)," "see (meet)," "see (on media)," "see (understand)," "see (information)," "see (consider)," "see (happen)," and "see (believe)." The problem with the previous datasets is that there are only a few dictionary examples for each class. This dataset is used to evaluate the proposed method but on a larger dataset. The total number of sentences was 1,113 and a training and test split was created by taking $20 \%$ from each class to be saved for the test data.

## 5.2 Architecture and Training

To acquire the word embeddings, a 12 transformer layer pre-trained BERT is used. The pre-trained BERT is fed word piece sequences created from each sentence and outputs word embeddings. As recommended by Bertas-service [18], the embeddings from the second-to-last transformer layer is used, i.e. the 11th layer. This is done because Bert-as-service found that the last layer embeddings tend to be learned in a way for the Masked Language Model (MLM) [5]. The second-to-last layer contains more contextual information and word meaning.

The word embedding vectors are then classified using a Multi-Layer Perceptron (MLP) neural network. The network consists of two layers, one hidden layer and one output layer. The hidden layer has 512 nodes. The hidden layer uses Rectified Linear Unit (ReLU) activations and Dropout with a probability of 0.5 . The weights were initialized using a Xavier uniform initialization [19]. The word embedding vectors are then classified using a fullyconnected layer with the number of nodes equalling the number of classes and a softmax activation.

The MLP is trained using Adam optimizer [20] for 1,000 epochs. We use a batch size of 10 and an initial learning rate of 0.0001 . For the SSL, rounds of Pseudo Labeling were performed until all of the unlabeled data was labeled or a maximum of 10 rounds has passed. The threshold was set to $\tau=0.99$.

## 5.3 Results

The results are shown in Table 2. In the table, MLP is the classifier using the BERT word embeddings without Pseudo Labeling, and MLP+PL uses Pseudo Labeling. For comparison, we use 1-Nearest Neighbor (1-NN) with the

Table 2 Classification Accuracy $(\%)$

Table 3 Example Test Set Instances with the Same Token Embedding but Different Word Embeddings That Were Correctly Classified

BERT embeddings. For "play," $\tau=0.95$ was used because no unlabeled data had a confidence of 0.99 . The results show that the Pseudo Labeling is able to help improve the accuracy of "see (2)."

Conversely, the datasets with a very high unlabeled to labeled ratio performed worse. Calculated from Table 1, the "get," "let," "play," and "see (1)" datasets have an unlabeled to labeled training data ratio of 7.4:1, 3.1:1, 11.2:1, 15.3:1, respectively. This indicates that Pseudo Labeling is weak in instances where there are not enough training samples compared to the unlabeled samples.

Table 3 shows instances where the target word, "see," had the same input embedding but different output word embeddings. Importantly, the word embedding was able to be used to correctly classify the usage in each sentence. Thus, it can be inferred that the embeddings from BERT contain semantic information and is able to separate homographs.

## 5.4 Ablation

In order to determine the threshold for Pseudo Labeling, we performed a parameter search. The analysis is performed on the larger "see (2)" dataset to increase the reliability of the analysis. The results in Table 4 show that the best $\tau$ is 0.99 for Pseudo Labeling.

## 5.5 Examining the Pseudo Labels

It is important for the unlabeled data to be assigned accurate Pseudo Labels for SSL to work. Therefore, in
Table 4 Affect of the Threshold Accuracy (\%)

Table 5 Example Pseudo Labels and Confidences for "See (2)"

 \\

Table 5, we examine some of the Pseudo Labels assigned by the model. In the examples where the confidence $p$ was higher than $\tau=0.99$, the correct Pseudo Label was assigned.

Furthermore, in the table, (4) and (5) were mislabeled. (4) should be "see (use eyes)" and (5) should be "see (understand)." Due to their low confidence scores, they were correctly not Pseudo Labeled. However, despite example (6) having low confidence, it was labeled correctly, thus, not selected as a Pseudo Label.

## 6 Conclusion

In this research, we verified whether the output word vectors of BERT can represent the usage of words, and made classifiers using the output word vectors. Also, we improved our classifier through the use of Pseudo Labeling. We demonstrate that the use of Pseudo Labeling is useful in helping improve the model. However, there are limitations to Pseudo Labeling and when there are many more unlabeled patterns than there are labeled patterns, then the accuracy is degraded. In the future, we will increase the words and incorporate other information inherent to text to improve Pseudo Labeling.

## Acknowledgments

This work was supported by MEXT-Japan (Grant No. JP21K17808, JP22H00677, JP20H00095).

## References

[1] Marjolijn Verspoor and Wander Lowie. Making sense of polysemous words. Language Learning, Vol. 53, No. 3, pp. 547-586, jul 2003.

[2] Victoria Abou-Khalil, Samar Helou, Brendan Flanagan, Mei-Rong Alice Chen, and Hiroaki Ogata. Learning isolated polysemous words: identifying the intended meaning of language learners in informal ubiquitous language learning environments. Smart Learning Environments, Vol. 6, No. 1, nov 2019.

[3] Alex Boulton and Sylvie De Cock. Dictionaries as aids for language learning. In International Handbook of Modern Lexis and Lexicography, pp. 1-17. Springer, dec 2016.

[4] Li Jin and Elizabeth Deifell. Foreign language learners' use and perception of online dictionaries: A survey study. Journal of Online Learning and Teaching, Vol. 9, No. 4, p. 515, 2013.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[6] Dong-Hyun Lee. Pseudo-label: The simple and efficient semi-supervised learning method for deep neural networks. In ICML Workshops, Vol. 3, p. 2, 2013.

[7] S. Selva Birunda and R. Kanniga Devi. A review on word embedding techniques for text classification. In Innovative Data Communication Technologies and Application, pp. 267-281. Springer, 2021.

[8] Andrea Gasparetto, Matteo Marcuzzo, Alessandro Zangari, and Andrea Albarelli. A survey on text classification algorithms: From text to predictions. Information, Vol. 13, No. 2, p. 83, feb 2022.

[9] Qian Li, Hao Peng, Jianxin Li, Congying Xia, Renyu Yang, Lichao Sun, Philip S. Yu, and Lifang He. A survey on text classification: From traditional to deep learning. ACM Transactions on Intelligent Systems and Technology, Vol. 13, No. 2, pp. 1-41, apr 2022.

[10] Kyle Gorman, Gleb Mazovetskiy, and Vitaly Nikolaev. Improving homograph disambiguation with supervised machine learning. In Language Resources and Evaluation, 2018 .

[11] Marco Nicolis and Viacheslav Klimkov. Homograph disambiguation with contextual word embeddings for TTS systems. In ISCA Speech Synthesis Workshop, 2021.

[12] Binbin Shen, Zhiyong Wu, Yongxin Wang, and Lianhong Cai. Combining active and semi-supervised learning for homograph disambiguation in mandarin text-to-speech synthesis. In Interspeech, 2011.

[13] Noushin Riahi and Fatemeh Sedghi. A semi-supervised method for persian homograph disambiguation. In Iranian Conference on Electrical Engineering, 2012.
[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems (NeurIPS), 2017.

[15] Yukun Zhu, Ryan Kiros, Rich Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Aligning books and movies: Towards story-like visual explanations by watching movies and reading books. In International Conference on Computer Vision (ICCV), 2015.

[16] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, et al. Google's neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint arXiv:1609.08144, 2016.

[17] English Vocabulary Profile. English vocabulary profile online - american english. https://www. englishprofile. org/american-english, 2023.

[18] Han Xiao. Bert-as-service. https://github.com/ hanxiao/bert-as-service, 2018.

[19] Xavier Glorot and Yoshua Bengio. Understanding the difficulty of training deep feedforward neural networks. In International Conference on Artificial Intelligence and Statistics, pp. 249-256, 2010.

[20] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.


# 単語に対して複数の表現を使用した上位概念の発見

盛野晃平 ${ }^{1}$ Tad Gonsalves ${ }^{1}$
${ }^{1}$ 上智大学 理工学研究科 理工学専攻 情報学領域
k-morino-5m6@eagle.sophia. ac.jp t-gonsal@sophia. ac.jp

## 概要

単語同士の関係性を機械学習を用いて見つけることは自然言語処理の分野で重要なタスクである。その中でも本研究では上位概念の発見という，単語をより抽象度の高い単語で表すタスクに取り組む. 先行研究では， 1 つの単語に対して 1 つ表現を使用して学習を行っていたが提案するモデルでは単語に対して意味を考慮した複数の表現を用いて学習することを提案する. SemEval2018 task9 [5] というコンペティションで提供されているデータで学習と評価を行った.

## 1 はじめに

自然言語の上位概念・下位概念の関係は言語の意味的な関係においてとても重要なものである.ある単語のより抽象的な意味を表す上位語と, ある単語をより具体的に説明する下位語の関係である. 本研究で取り組むタスクは上位概念の発見である.このタスクは, 単語が与えられたときに上位概念の候補の単語の中から, その単語の上位概念としてふさわしい単語にランキングをつけて出力することが目的である. 本研究では教師あり学習を使用し, CRIM [4] が提案するモデルをもとに，単語に対して意味を考慮した複数の表現を出力できる Adaptive Skip-gram [3] (AdaGram)を使用して学習および精度の検証を行う.

## 2 関連研究

上位概念の発見にはパターンベースのアプローチと分散表現を使用したアプローチがある.

パターンベースのアプローチでは Hearst [6]が提案した文法のパターンを使用して上位語と下位語の関係を見つけ出す，簡単にできる一方で，計算時間の問題, 言語依存, 上位語と下位語が同じ文章内で現
れる必要があることによる低い再現率といった問題が挙げられる。

2つ目の方法として分散表現を用いたアプローチは，教師あり学習または教師なし学習を使用し, 単語の埋め込み表現を使用して関係性を見つけ出すことを目標にしている. Adapt [8]は上位概念の発見のために Skip-gram [9]を用いて単語の埋め込み表現を学習し, 得られた単語の埋め込み表現をもとにコサイン類似度を用いて上位概念か否かの判定をする教師なし学習のモデルを提案している。より一般的なのは教師あり学習のモデルである．教師あり学習では単語の埋め込み表現が入力され, 正解のペアデータを用いてモデルを学習する. CRIM は教師なし学習と教師あり学習を共に使うことで精度の向上をした.

[2]のモデルでは教師なし学習で上位語の発見の夕スクに挑戦している，このモデルではコサイン類似度とコーパスにおける単語の出現の回数を基にしたランキング付けを行うメソッドを基に学習を行っている.

精度を向上させるための別のアプローチとして, 単語の埋め込み表現に工夫を加えるものが挙げられる。 [1]は BoxE という，エンティティをポイントして埋め込み，基本的な論理的な性質を特徴づけた超長方形のセットに関係性を埋め込む方法を提案した。

[10]は box embedding を上位概念の発見で使用するモデルである HyperBox を提案した。

## 3 提案手法

## 3.1 前処理

まず，単語の表現のモデルを作成するためにラベル付けされていない文章の単語の前処理を行う。全ての単語の文字を小文字にして，複数の単語で成り立つ言葉の単語間のスペースをアンダースコアに変換し 1 つの単語として学習を行う. さらに, ノイズになる単語を取り除く。

## 3.2 単語埋め込み表現のモデル

本研究では, Skip-gram を使用して単語の埋め込み表現を得ている CRIM と異なり, それぞれの単語に対して複数の表現を用いる. そのために AdaGram を使用する.この手法は， 1 つの表現で単語のすべての意味を考慮することは難しいのではないかという推測のもと提案され, word similarity のタスクで従来の Skip-gram に比べて良い精度を示した. AdaGram を用いて学習することで意味を考慮した単語埋め込み表現を得ることができる。また, AdaGram は自動的に単語の意味の数を学習することができる. それぞれの単語は意味ごとの表現に従ってインデックスが付与される.

## 3.3 ペアの選択

それぞれの単語に対して複数の表現を用いるためにはトレーニングのペアの選択を慎重に行う必要がある. 学習で用いるラベル付けされたデータは, 1 つの下位語と 1 つ以上の上位語で成り立っている. それぞれの単語に対してどの単語の表現を使用するかを決める必要があるので, この選択はコサイン類似度をもとに行う. 下位語 $\mathrm{q}$ が $\mathrm{n}$ 個の意味を, 上位語 $\mathrm{h}_{\mathrm{i}}(\mathrm{i}=1,2, \ldots \mathrm{k})$ が $\mathrm{m}_{\mathrm{i}}$ 個の意味を持っていた場合に，すべての下位語と上位語の意味を考慮した表現同士のコサイン類似度を計算するので，

$
P=n \times \sum_{i=1}^{k} m_{i}
$

$\mathrm{P}$ 個の計算結果を比較し, その中でベストな値を示したぺアをトレーニングデータとして採用する.この時に，コサイン類似度が 0 より大きいペアのみ採用する. Algorithm1 に実際の選択方法を示す.

図 1 に上記の計算を行うことで選択されるぺアの例を示す. Algorithm1 に従って, それぞれの単語には事前学習済みの単語埋め込み表現モデルが出力する意味を考慮した表現の数に従ってインデックスが付与される. インデックスが付与された単語のぺアを使用して学習を行う. 検証, テスト用のペアは意味を考慮したインデックスが付与されていない.コサイン類似度を用いれば，これらのペアにもインデックスを付与することは可能だが正確性に欠けてしまう. 推論の際に出力されるのは意味のインデックスが付与された単語であるので, 検証とテストを行

う際には，それらのインデックスを取り除く必要がある。学習済みのモデルは, 単語ごとに上位語として予測した単語をスコアとともに出力する.このスコアは上位語としてどれだけふさわしいかを表したものである. このスコアをもとにランキングを作成し上位 $\mathrm{n}$ 語の単語を取得し評価を行う. 評価手法に関しては 4.2 で説明する.

図 1 意味に応じてインデックスが付与されたペア

## 3.4 上位概念発見のモデル

上位概念の関係を見つけるためのモデルは CRIM が提案したモデルをもとに作成する。学習は Projection learning [11]という単語の埋め込み表現の射影ベクトルを使用した方法で行う. 下位概念の単語の埋め込み表現の射影ベクトルと上位語の候補の単語の埋め込み表現のベクトルの距離を計算しスコアを出力する．上位語のランキングを作成するときには, 出力されたこのスコアが高いものから順に上位語としてふさわしいと判断をした. 活性化関数には sigmoid 関数を使用し, 損失関数は Binary cross entropy を使用した. Negative sampling を用いて学習を行うので, 出力されたスコアを正解のデータでは 1 に不正解のデータを 0 に近づけるように学習を行った。学習の際のロスは正例と負例におけるロスを合計したものを使用した. 最適化には Adam [7]を使用した. 図 2 にモデルの学習手順を示す.

図 2 トレーニング手順

## 4 実験

## 4.1 データセット

本研究では, SemEval2018 task9 で提供されている英語のデータセット（1A, 2A, 2B）を用いて実験を行った. それぞれのデータセットはラベル付けをされていないテキストデータと上位語・下位語のぺアのデータで構成されている.2Aのデータは医療の領域, 2B のデータは音楽の領域の単語のペアを持つ. $1 \mathrm{~A}$ のデータが 1 番多く,学習とテストデータは 1,500個あり，2Aと 2B は 500 個ある. それぞれ 1 つ以上の上位概念・下位概念のぺアを持つ. $1 \mathrm{~A}$ のデータの検証用のデータ数が 50 個あるのに対して $2 \mathrm{~A}$ と $2 \mathrm{~B}$ の検証用のデータの数は 15 語しかないので学習の精度に影響を及ぼす可能性がある。単語の埋め込み表現のモデルはそれぞれのデータセットのテキストデータを基に作成した。

## 4. 2 評価指標

提案するモデルは最大で上位 15 語の予測結果を 3 つの指標を用いて評価した. SemEval 2018 task 9 で使われている評価指標と同じものを使用した。 1 つ目は, Mean Average Precision(MAP)である. MAP を提案するモデルの評価の主要な指標として用いた. Average Precision は, その順位までの正解率を特定のデータにおいて平均を求めたものである.この指標の平均が MAP にあたる.

$
\mathrm{MAP}=\frac{1}{|Q|} \sum_{q \in Q} A P(q)
$

2つ目は, Mean Reciprocal Rank(MRR)である. MRR は最初に現れた正解データの順位の逆数の平均をとったものである.

$
\mathrm{MRR}=\frac{1}{|Q|} \sum_{i=1}^{|Q|} \frac{1}{\text { rank }_{i}}
$

3 つ目が，P@1である．P@n (n は自然数)は上位 $\mathrm{n}$個における Precision である. HyperBox と精度の比較を行う際には $\mathrm{P} @ 5 を$ 使用した。

## 4. 3 実験手順

まず, 3.1 で説明した前処理を行った. 次に, 単語をべクトル表現するためのモデル(Emb model)を AdaGram を用いて作成した.このモデルが出力する単語埋め込み表現の次元は CRIM が用いている単語埋め込み表現の次元に合わせて 300 である. 加えて， Emb model はコーパスで現れる回数が 5 回未満の単語を無視した. さらに，そのモデルにおいて単語がどれくらいの数の意味を持っているかは, AdaGram の論文で採用されている閾値 $10^{-3}$ を用いて定めた。作成された Emb model をもとに 3.3 で説明されている手順に従ってトレーニング用の上位概念・下位概念のペアを作成した．学習時に使用する不正解のデ一夕は, その単語の上位概念の正解データに含まれない他のペアの上位語をランダムに取得し使用した.

CRIM のモデルは結果の評価をする際にはデータの種類に関わらず, $1 \mathrm{~A}$ のデータのみでパラメータのチユーニングしたモデルを使用していたので，それに倣って 1A のデータのみでチューニングしたパラメ一タを $2 \mathrm{~A} ， 2 \mathrm{~B}$ のデータセットでのトレーニングにも用いた。トレーニング中で最も高い MAP を得ることができたモデルをテストに用いた。テストでは先ほど説明した評価指標をもとに CRIM との精度の比較を行った。

## 5 実験結果

## 5.1 英語のデータにおける実験結果

表 1 に英語のデータにおける実験の結果を示す. CRIM の精度は提案するモデルと公平に評価するために, 教師あり学習でパターンを基にしたアプロー チを使用していないものを用いた. CRIMでは Hearst が提案した上位概念・下位概念の関係を見つけることができる文法のパターンを用いて上位語の発見を行っている. 提案するモデルは CRIM と比べると $2 \mathrm{~A}$ データセットの MAP の結果を除き他の全ての指標で精度を上回った. 特に, MRR と $\mathrm{P} @ 1$ の指標で大幅に精度を改善することができた。

Algorithm1 で説明をしたコサイン類似度が 0 より大きいぺアのみ選択する処理を行わないと $1 \mathrm{~A}$ のデー タセットにおいて MAPが 35.96\%, MRRが 18.77\%, P@1が 29.73\%となった.

## 5.2 チューニングを行った際の実験結果

CRIM との結果を比較したが，提案するモデルは 2A, 2B のデータに対してはパラメータのチューニングを行っていないので，それぞれのデータセットに対してチューニングを行えばより高い結果が得られると推測した. 結果の比較の際には，2A と 2B のデ ータセットでCRIM に比べて高い精度を示している HyperBox を使用する. 提案するモデルでは $2 \mathrm{~A}$ に対してパラメータのチューニングを行ったときには精度の改善が見られたが，2B のデータで行った際には精度の改善ができなかったので 2B の実験結果に関しては表 1 と同じ結果を使用する。表 2 に結果の比較を示す。全ての項目で提案するモデルは HyperBox の精度を上回った. 特に MRR のスコアに関しては大幅に精度を上回った. 英語のデータでの実験の際にも同じように MRR の大幅な改善が見られた. このことから提案するモデルは，上位語の単語をより高い順位で出力することができたことがわかった.

表 2 チューニング後の実験結果

## 6 まとめ

本研究では，上位概念の発見のタスクにおいて， 1つの単語に対して意味を考慮した複数の単語の表現を用いることで予測の精度を改善できることを示した. さらに，モデルを構築するためのトレーニングペアを選択する方法を説明した。提案するモデルは，意味を考慮した単語の表現を得るために人間が構築した辞書などを必要としないので，学習用の上位概念・下位概念のぺアがあれば容易に適応することができる.

## 参照文献

1. ABBOUD, Ralph, et al. Boxe: A box embedding model for knowledge base completion. Advances in Neural Information Processing Systems, 2020, 33: 9649-9661.

2. ATZORI, Maurizio; BALLOCCU, Simone. Fullyunsupervised embeddings-based hypernym discovery. Information, 2020, 11.5: 268.

3. BARTUNOV, Sergey, et al. Breaking sticks and ambiguities with adaptive skip-gram. In: artificial intelligence and statistics. PMLR, 2016. p. 130-138.

4. BERNIER-COLBORNE, Gabriel; BARRIERE, Caroline. Crim at semeval-2018 task 9: A hybrid approach to hypernym discovery. Proceedings of the 12 th international workshop on semantic evaluation. 2018. p. 725-731.

5. CAMACHO-COLLADOS, Jose, et al. SemEval2018 task 9: Hypernym discovery. Proceedings of the 12th International Workshop on Semantic Evaluation (SemEval-2018); 2018 Jun 5-6; New Orleans, LA. Stroudsburg (PA): ACL; 2018. p. 71224. ACL (Association for Computational Linguistics), 2018.

6. HEARST, Marti A. Automatic acquisition of hyponyms from large text corpora. COLING 1992 Volume 2: The 14th International Conference on Computational Linguistics. 1992.

7. KINGMA, Diederik P.; BA, Jimmy. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

8. MALDONADO, Alfredo; KLUBIČKA, Filip. Adapt at semeval-2018 task 9: Skip-gram word embeddings for unsupervised hypernym discovery in specialised corpora. Proceedings of The 12th International Workshop on Semantic Evaluation. 2018. p. 924-927.

9. MIKOLOV, Tomas, et al. Distributed representations of words and phrases and their compositionality. Advances in neural information processing systems, 2013, 26.

10. PARMAR, Maulik, et al. HyperBox: A Supervised Approach for Hypernym Discovery using Box
Embeddings. arXiv preprint arXiv:2204.02058, 2022.

11. YAMANE, Josuke, et al. Distributional hypernym generation by jointly learning clusters and projections. Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers. 2016. p. 1871-1879.


# 深層学習を利用した PropBank 形式の 日本語意味役割付与モデル

タロックカラム 1 竹内孔一 2 バトラーアラステア 3
長崎郁 4 パルデシプラシャント 5
1 岡山大学大学院 2 岡山大学学術研究院
3 弘前大学 4 名古屋大学 5 国立国語研究所
poq93z0h@s. okayama-u.ac.jp
takeuc-k@okayama-u.ac.jp

## 概要

本論文では日本語に対して述語項構造シソーラスの概念フレームを基に PropBank 形式の意味役割を付与したタグ付きコーパス NPCMJ-PT に対して，複数の深層学習モデルを適用することで，意味役割ラベルとその範囲 (スパン)を予測する実験を行ったので報告する. 深層学習で利用するモデルとして BERT の他にスパンを選択するためのモデルを導入する。また NPCMJ-PT のデータからは意味役割が付与された事例約 53,000 事例 (1 事例 1 述語の意味役割) を利用する. 評価実験において BERT の利用層の異なりや特徴量を変えることで最も高い精度を出すモデルについて検討する。

## 1 はじめに

意味役割ラベル付与というタスクは文内の述語と係り関係にある句に対して意味的な関係を付与するタスクである。例えば図 1 では「壊す」の述語と係り関係にある「彼は」「木の扉を」「手で」3つの句に対して $\operatorname{Arg0}, \mathrm{Arg} 1, \mathrm{Arg}-\mathrm{MNS}$ のラベルを付与するタスクである.この $\operatorname{Arg0}$ などのラベルはここでは $\operatorname{Arg} 0$ は動作主 (壊す人), $\operatorname{Arg} 1$ は壊される対象, ArgM-MNS は壊す際に使う手段を表しており，これは述語の概念フレームによって異なる. 図 1 には概念フレームは示していないがここでは壊すは [破壊] という概念 (FID=277) である. これらは述語項構造シソーラス $(\mathrm{PT})^{1)}$ で公開している.

一方，国立国語研究所では Web 上で公開可能な

1） https://pth.cl.cs.okayama-u.ac.jp/.「壊す」の他の概念フレー ムとして [身体部分の症状 (195)] 「異を壊す」や [消滅 (137)]「計画を壊す」がある。それぞれ概念フレームによって意味役割の意味が異なる.

図 1 「彼は木の扉を手で壊した」の意味役割ラベル

日本語テキストに対して構文木を付与したデータ NPCMJ を作成して公開している2). NPCMJ に対して述語項構造シソーラスの体系を基に PropBank 形式の意味役割を付与したデータが NPCMJ-PT であり現在も付与を続けている.

そこで，本論文では NPCMJ-PT に付与されている意味役割データ (意味役割は 32 種類) に対して，深層学習モデルを適用することで係り関係にある句とその意味役割ラベルを推定する。

## 2 関連研究

意味役割付与の研究は主に英語の PropBank を利用したデータで研究されており，CoNLL2005 や CoNLL2012 のデータが利用されている $[1,2,3]$. 上述の通り，意味役割は係り関係にある句を取り出す必要があるため，複数の単語列を文から取り出す必要がある. 文献 [1] にあるように大きく分けて 3 種類の方法がある．1)IOB2 タグで意味役割のラベルと区間をモデル化する手法 (例えば [4])，2) スパンベースで解く方法 $([2,3]), 3)$ 各フレーズの主辞単語を同定してから解く方法 (例えば [5]) が提案されている。本論文では 2)のスパンを利用した手法 [3] を参考に日本語意味役割付与モデルについて検討する。

## 3 スパンに基づく意味役割付与モ デル

2) https://npcmj.ninjal.ac.jp/index.html.

図 2 スパンベクトル「彼は木の扉を手で壊した」の意味役割ラベル

## 3.1 スパン選択モデル

本論文ではスパン選択モデル [3] を基にした深層学習による意味役割付与モデルを構築する. まず入力文である日本語はすべてトークン化された状態で入力するとし，またどの述語に対する項 (述語と係り関係にある句) を取り出すか指定することとする。

スパンは文中の対象の述語に対する 1 つの項を表し, その最初と最後の形態素に対応したトークン番号を $i, j$ とし, 意味役割のラベルを $l$ としたとき $\langle i, j, l\rangle$ で表す. 各トークンに対する分散表現ベクトルを $h_{i}, h_{j}$ とすると, 最大のトークン列について全ての組 $\left[h_{i}, h_{j}\right]$ を作成する. このべクトル組を連結して1つのべクトルにしたものを本論文ではスパンベクトルと呼ぶ.

これらのスパンベクトルに対して意味役割が付与されているものには $\operatorname{Arg} 0$ や $\operatorname{Arg} 1$ など付与し，その他の部分について $\mathrm{O}$ や述語 $\mathrm{V}$ や $\mathrm{N}(\mathrm{Null})$ タグ, さらに意味役割の句よりも短いものは F(Fragment) などラベルを設定して，全スパンの組み合わせについてラベルを用意する ${ }^{3}$. 誤差学習の部分では, 全スパンの組に対して正解ラベルとの誤差を計算して，クラス分類に基づく誤差でニューラルネットワークの重みを学習する。

次に，テストデータに対する意味役割付与において，各スパンベクトルの意味役割ラベルを推定した値 (Softmax や Logits を利用)を利用して值が大きいものから順に Greedy で意味役割のスパンとラべルを決定する.この処理を Decode と呼ぶ. この際， スパンが重ならないように選択する。また，テストデータに対しては学習中に利用した $\mathrm{F}$ やタグは無

$ は全部で 32 種類，その他 $\mathrm{O}, \mathrm{V}, \mathrm{N}$ と -A, F-Pを含めて学習時は 37 種のタグで学習する.
}

る. 図 2 に最終層の部分の処理について記述する. スパンベクトルには指定する述語を含むかどうかを知らせる 1 次元のべクトルを連結している.

## 3.2 スパンベクトルの作成

スパンベクトル作成のために様々な深層学習モデルを利用する。まず文書は BERT を利用してトー クン化を行い，各トークンに対する分散表現べクトルとする. BERT は東北大が作成した Huggin Face の BERT (Small)4)を利用する。この基本モデルを基に，複数のモデルを作成する．1) Base: BERT の最終出力層のベクトルを利用する。また Decode 時に softmax の值を利用する. 2) Logits: Decode 時に logits の値を利用する. 3) ExO: Decode 時に O タグを予測しない. 4) DelO: 学習時に O ラベルを Nに統合. 5) AddF: 学習時に F ラベルを F-A0, F-A1 などより詳細に付与する. 6) Enc4: Base モデルの BERT のエンコーダの学習層を最終 4 層に変更. これら 6 種類のモデルを作成して実験を行う。

## 3.3 実験

上記で定義したモデルに対して意味役割付与デー タ (NPCMJ-PT) で学習およびテストを害施する.これによりどのモデルが効果的であるか実験的に明らかにする。

## 3.4 実験設定

NPCMJ-PT から抽出した学習データは 1 述語に対して関係する意味役割が付与されている形式である. そのため同じ文であっても対象とする述語が異なれば別の 1 件としてデータが作成されている. 1 述語のデータの件数は 5483 件で，これらから意味役割の部分だけ取り出すと全部で 53,867 件である. これを学習，開発，テストデータとして $8: 1: 1$ に分割して利用する。

評価としてスパンと意味役割タグが一致した部分のみ正解とする。また評価値としては適合率 (Precision), 再現率 (Recall), 調和平均 (F) を利用する.

## 3.5 実験結果と考察

上記のモデルについてテストデータに対して意味役割付与を行った結果を表 1 に実験結果を記述

表 1 NPCMJ-PT に対する意味役割付与実験

する.

表 1 から，まず Base モデルと比較して softmax ではなくlogitsを利用した場合は $\mathrm{F}$ 値が下がったため softmax を利用した方が良いことが分かる。また副次的に出力している $\mathrm{O}$ タグや $\mathrm{N}$ タグ， $\mathrm{F}$ タグであるが, 基本的にはこれらは最終の出力としては利用されないタグではあるが，タグそのものは正解の意味役割ラベルから与えられているため, ある種の異なるタスクをモデルに解かせている状態と考えられる. ExO や DelO などタグを削除する方向では精度が下がったため, 逆に F タグを細かく設定して学習させたところ精度の向上が見られた. また，Base にたいして F 値を上回ることができた.

また，一方で BERT から取り出すべクトルを変更した Enc4 は大きく精度が向上し, 提案したモデルの中で最も高い値をしめした. BERT の最終出力層だけでなく最終の 4 層部分を利用した方がよいことがわかる.

また表 1 の結果は英語ので CoNLLを利用した結果より $\mathrm{F}$ 值が低いことが分かる. しかしながら学習データが意味役割の項で約 20 万以上 ${ }^{5 ）}$ ときいことから，学習データ量による差があると考えられる。

## 3.6 おわりに

日本語の PropBank 形式の意味役割付与データである NPCMJ-PT に対して，スパンに基づく意味役割付与モデルを構築して評価実験を実施した. その結果 $\mathrm{F}$ 值として約 0.62 の精度を得ることができた.意味役割の種類数は 32 である. 英語の結果に比べて F 值が劣る理由としてデータ量が挙げられるが， NPCMJ-PT も約 5 万例と少なくない意味役割データ量であるため，より外部知識や深層学習モデルを工夫することにより精度の向上を行う予定である.

## 謝辞

本研究の遂行にあたって JSPS 科研費 JP22k00530 の助成を受けた。

## 参考文献

[1] Zhisong Zhang, Emma Strubell, and Eduard Hovy. Comparing span extraction methods for semantic role labeling. In Proceedings of the 5th Workshop on Structured Prediction for NLP, pp. 67-77, 2021.

[2] Luheng He, Kenton Lee, Omer Levy, and Luke Zettlemoyer. Jointly Predicting Predicates and Arguments in Neural Semantic Role Labeling. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 364-369, 2017.

[3] Hiroki Ouchi, Hiroyuki Shindo, and Yuji Matsumoto. A Span Selection Model for Semantic Role Labeling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1630-1642, 2018.

[4] Luheng He, Kenton Lee, Mike Lewis, and Luke Zettlemoyer. Deep Semantic Role Labeling: What Works and What's Next. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 473-483, 2017.

[5] Zhisong Zhang, Xiang Kong, Zhengzhong Liu, Xuezhe Ma, and Eduard Hovy. A two-step approach for implicit event argument detection. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7479-7485, 2020.

5） https://www.cs.upc.edu/ srlconll/st05/slides/intro.pdf


# 深層距離学習を用いた動詞の意味フレーム推定

山田 康輔 1 笹野遼平 1,2 武田 浩一 1
1 名古屋大学 2 理化学研究所
yamada.kosuke.v1@s.mail.nagoya-u.ac.jp \{sasano, takedasu\}@i.nagoya-u.ac.jp

## 概要

意味フレーム推定において、事前学習済み文脈化単語埋め込みを用いる手法が主流になっている。しかし、汎用的な埋め込み空間は、必ずしもフレームに関する人間の直観と一致しているわけではない。 そこで、本研究では、コーパス内の一部の述語についてのラベル付きデータの存在を仮定し、深層距離学習に基づき文脈化単語埋め込みをファインチュー ニングすることで、高精度な意味フレーム推定を実現する手法を提案する。実験を通し、深層距離学習を適用することで、 8 ポイント以上スコアが向上することを示す。さらに、教師データが極めて少量である場合でも、提案手法が有効であることを示す。

## 1 はじめに

動詞の意味フレーム推定は、テキスト中の動詞を、その動詞が喚起する意味フレームごとにまとめるタスクである。たとえば、表 1 に示される FrameNet [1,2]の 8 つの用例の場合、各動詞が喚起するフレームごとにグループ化し、4つのクラスタを形成することが目標となる。

意味フレーム推定において、ELMo [3] や BERT [4] などの文脈化単語埋め込みの有用性が報告されている [5, 6, 7]。図 1 (a) は FrameNet に含まれる用例中の動詞の事前学習済み BERT (Vanilla BERT) による埋め込みを t-SNE [8] で 2 次元にマッピングした結果である。動詞「cover」の用例 (1) と (7) は空間上で離れている一方、同じ TOPIC フレームを喚起する動詞の用例 (7) と (8) は近くに位置しており、ある程度、意味フレームの違いを反映した埋め込み空間であるといえる。しかし、同じフレームを喚起する動詞が離れた位置に存在するケースも散見される。たとえば、同じ Removing フレームを喚起する動詞の用例 (5) と (6) は互いに離れた位置に存在している。これは Vanilla BERT の埋め込み空間が、意味的に似た事例が近い位置に、異なる事例が離れた位置になると表 1 FrameNet 内のフレームを喚起する動詞の用例

Removing (5) Volunteers removed grass from the marsh.

ToPIC

(7) Each database will cover a specific topic.

(8) Chapter 8 treats the educational advantages. (a) Vanilla BERT

(b) Fine-tuned BERT w/ AdaCos図 1 Vanilla BERT と AdaCos を用いてファインチューニングされた BERT による動詞の埋め込みの 2 次元マッピング。各色 (形) は Filling ($\cdot$)、Placing ( $\boldsymbol{x}$ )、Removing (ロ)、TopIc (+) フレームを示し、数字は表 1 と対応する。

いう人の直観と常に一致しているわけではないことを意味している。

本研究では、フレームに関する人の直観をより強く反映した意味フレーム推定手法を実現するため、 コーパス内の一部の述語に対してアノテートされたデータの存在を仮定する教師あり意味フレーム推定タスクにおいて、深層距離学習に基づき文脈化単語埋め込みをファインチューニングすることで、高精度な意味フレーム推定を実現する手法を提案する。深層距離学習は、同じラベルの事例を埋め込み空間上で近づけ、異なるラベルの事例を遠ざける学習を行うものであり、教師データに基づく埋め込み空間の調整が期待できる。図 1 (b) は代表的な深層距離学習手法の 1 つである AdaCos [9]を用いてファインチューニングした BERT による埋め込みの 2 次元マッピングである。Vanilla BERT において同じ意
味フレームを喚起する動詞の用例であるにも関わらず、距離が離れていた用例 (3) と (4)、用例 (5) と (6) が、AdaCos を用いてファインチューニングした BERT では、互いに近い位置に存在していることが確認できる。これは、深層距離学習によって、意味フレームに関する人の直観をより反映させた埋め込み空間が得られたことを示している。

## 2 教師あり意味フレーム推定

動詞の教師あり意味フレーム推定は、コーパス内の一部の動詞への教師データの存在を仮定した意味フレーム推定タスクであり、より性能の高い意味フレーム推定手法を実現することが目的となる。教師なし意味フレーム推定では、文脈化単語埋め込みなどの特徴量ベクトルを用いたクラスタリングベースの手法が一般的であるが、教師あり意味フレーム推定においても同様の桿組みが適用できる。異なる点は、教師データを用いることで特徴量ベクトルを学習できるかどうかである。本稿では、教師データである学習セットに存在しない動詞の意味フレーム推定に対応するため、学習セットとクラスタリング対象のテストセット内の動詞が重複しない設定を採用する。ただし、異なる動詞が同一のフレームを喚起するケースは存在することから、テストセットに含まれるフレームの一部は学習セットにも出現する。

## 2.1 ベースライン手法

シンプルなベースライン手法として、文脈化単語埋め込みによる 1 段階クラスタリングを用いる。1 段階クラスタリングでは、ユークリッド距離に基づく群平均法による階層型クラスタリングを利用する。また、Yamada ら [10]によるマスクされた単語埋め込みと 2 段階クラスタリングを活用した手法を導入する。前者に関して、クラスタリングに用いる埋め込みは動詞の文脈化埋め込み $\left(v_{\text {word }}\right)$ とその動詞を“[MASK]” に置き換えたときの文脈化埋め込み $\left(v_{\text {mask }}\right)$ の加重平均 $\left(v_{w+m}\right)$ とする。これは $\alpha$ を重みとして、式 (1) で定義される。

$
v_{w+m}=(1-\alpha) \cdot v_{\text {word }}+\alpha \cdot v_{\text {mask }}
$

後者の 2 段階クラスタリングは、 1 段階目に動詞ごとの用例クラスタリング1)、2 段階目に動詞横

断クラスタリングを行う手法である。1 段階目に X-means [11]、2 段階目に群平均法を用いる。その他の設定は、Yamada ら [10] と同様とする。

## 2.2 深層距離学習の適用

教師あり意味フレーム推定において、文脈化単語埋め込みのファインチューニングとして深層距離学習を適用する。これにより、同じフレームの事例が近づき、異なるフレームの事例が遠ざかることが期待される。本稿では、距離ベースと分類べースの 2 つのアプローチを採用する。

距離ベースのアプローチ一般に複数エンコーダを用いて事例ぺア間の距離を学習するアプローチである。事例ぺアはある事例をアンカーとし、同じフレームの事例を正例、異なるフレームの事例を負例として作成する。損失には以下の 2 つを導入する。

Contrastive 損失 [12] は、正例ぺアを近づけ、負例ペアを一定のマージン以上遠ざける学習を実現する。これは、クラス $i$ の事例の埋め込みを $x_{i}$ 、マー ジンを $m$ 、平方ユークリッド距離に基づく距離関数を $D$ とした式 (2)で定義される。

$
L_{\mathrm{cont}}= \begin{cases}D\left(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}\right) & i=j \\ \max \left(m-D\left(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}\right), 0\right) & i \neq j\end{cases}
$

また、Triplet 損失 [13] は、事例の 3 つ組に対して、 アンカー $x_{a}$ と負例 $x_{n}$ の距離を、アンカー $x_{a}$ と正例 $x_{p}$ の距離より一定のマージン以上遠ざける学習を行うものであり、式 (3) で定義される。

$
L_{\text {tri }}=\max \left(D\left(\boldsymbol{x}_{a}, \boldsymbol{x}_{p}\right)-D\left(\boldsymbol{x}_{a}, \boldsymbol{x}_{n}\right)+m, 0\right)
$

分類ベースのアプローチ近年、顔認識タスクを中心に広く利用されているアプローチである。このアプローチのモデルの多くは、単一エンコーダと線形層を持つネットワークを利用し、式 (4) の softmax 損失がベースとなっている。式 (4) の $\boldsymbol{w}_{i}$ と $b_{i}$ は線形層の重みとバイアス、 $n$ はクラス数を示す。

$
L_{\mathrm{soft}}=-\log \frac{e^{\boldsymbol{w}_{i}^{\top} \boldsymbol{x}_{i}+b_{i}}}{\sum_{j=1}^{n} e^{\boldsymbol{w}_{j}^{\top} \boldsymbol{x}_{i}+b_{j}}}
$

重み $\boldsymbol{w}_{i}$ をクラス $i$ の埋め込みと捉元、事例とクラスの埋め込みの距離を学習するための損失がいくつか提案されている $[14,15,16]$ 。その中でも ArcFace 損失 [16] は幾何的な解釈に優れることから広く利用されている。ArcFace 損失は、式 (5) のように、 softmax 損失をべースとして、 $b_{i}$ を除き、 $\boldsymbol{w}_{i}$ と $\boldsymbol{x}_{i}$ に $l_{2}$ 正規化を適用することで $\boldsymbol{w}_{i}^{\top} \boldsymbol{x}_{i}$ を $\cos \theta_{i}$ と表現し、

3 分割交差検証による教師あり意味フレーム推定実験結果。\# $\mathrm{pLU}$ と $\mathrm{C}$ はそれぞれ $\mathrm{pLU}$ 数とクラスタ数を示す。

} & Vanilla & 0.00 & - & 429 & $53.0 / 57.0 / 54.9$ & $40.8 / 44.6 / 42.6$ \\

クラス内の集約性とクラス間の分散性を強化するためにマージン $m$ とスケール $s$ を導入している 2$) 。$

$
L_{\mathrm{arc}}=-\log \frac{e^{s \cdot \cos \left(\theta_{i}+m\right)}}{e^{s \cdot \cos \left(\theta_{i}+m\right)}+\sum_{j=1, j \neq i}^{n} e^{s \cdot \cos \theta_{j}}}
$

Zhang ら [9] はこれらの損失の性能がハイパーパラメータ依存な点を指摘し、それらの値を調査している。結果として、マージンを除き、動的なスケー ル $\tilde{s}$ を用いた式 (6)の AdaCos 損失を提案している。

$
L_{\mathrm{ada}}=-\log \frac{e^{\tilde{s} \cdot \cos \theta_{i}}}{\sum_{j=1}^{n} e^{\tilde{s} \cdot \cos \theta_{j}}}
$

## 3 実験

教師あり意味フレーム推定における深層距離学習によるファインチューニングの有用性を評価する。 また、少量の学習事例における性能を検証する。

## 3.1 実験設定

データセット FrameNet 1.7 [2] から、フレームを喚起する動詞の用例を抽出し、データセットを作成した。 3 分割交差検証を行うため、それらを動詞単位で分割し3）、3つのサブセットを作成した。動詞数、 $\mathrm{LU}$ 数、フレーム数、事例数の平均は、それぞれ 831、1,273、434、27,537 である。学習セットは文脈化単語埋め込みのファインチューニングに使用し、開発セットは埋め込み $v_{w+m}$ の重み $\alpha^{4)}$ 、クラスタ数、マージン5) の決定に使用する。

2）マージンとスケールの働きが類似すること [9] から、本実験では、スケールを 64 に固定し、マージンのみを探索する。

3）多義動詞の割合は一定とする。

4） 0 から 1 まで 0.1 刻みで探索している。

5） contrastive 損失と triplet 損失では、 $0.1 、 0.2 、 0.5 、 1.0 、$ ArcFace 損失では、 $0.01 、 0.02 、 0.05 、 0.1$ の範囲で探索している。比較手法文脈化埋め込みモデルとして、事前学習済み BERT (bert-base-uncased) ${ }^{6}$ )を使用する。ファインチューニングをしないモデル (Vanilla) と 5 つのファインチューニングされたモデル (Contrastive、 Triplet、Softmax、ArcFace、AdaCos) に対して、1 段階クラスタリングと 2 段階クラスタリングを用いた全部で 12 の手法を比較する。埋め込みは全て $l_{2}$ 正規化を適用する。また、バッチサイズは 32、学習率は 1e-5、エポック数は 5 とし、最適化アルゴリズムは AdamW [17]を使用する。

評価指標評価指標として、B-cubed Precision

值 $(\mathrm{BCF})[18]$ と、Purity (PU)、Inverse Purity (IPU)、およびその調和平均である $\mathrm{F}$ 值 (PIF) [19]を使用する。

## 3.2 実験結果

表 2 に実験結果を示す。Vanilla モデルと比較して、ファインチューニングされたモデル、特に Triplet、ArcFace、AdaCos モデル、は全体的に高い

できる。一方、Contrastive モデルでは相対的に低いスコアとなった。これは Contrastive モデルのマージンが適切な粒度のクラスタ構築との親和性が低いことが要因であると考えられる。クラスタリングに関して、2 段階クラスタリングが 1 段階クラスタリングに比べて全体的に高いスコアを達成している。しかし、Vanilla モデルの場合では BcF と PIF 共に 12 ポイント以上差があったが、ファインチューニングされたモデルの場合ではその差が縮まっているこ

6) https://huggingface.co/bert-base-uncased
学習事例数を変化させたときの実験結果。各列は学習セット内の各 LU の使用された最大事例数を示す。

Vanilla BERT

Self_motion $*$ EXPerilencer_obJ

A BODY_MOVEMENT

Fine-tuned BERT w/ Triplet

PLACING

太 PATH_SHAPE

図 23 つのモデルにおける $v_{\text {word }}$ の 2 次元マッピング。各色および形状は事例数の多い上位 10 フレームを示す。

とが確認できる。このため、ファインチューニングを行う場合、1 段階クラスタリングも有望な選択肢になり得る。また、重み $\alpha$ に関して、スコアの高い AdaCos や Triplet モデルを用いた 2 段階クラスタリングにおいて值が 0.5 であり、マスクされた単語埋め込みを用いることの有効性が確認できる。

以上の実験結果から、約 30,000 という大規模な学習事例数が存在する場合については、学習事例に基づきファインチューニングを行うことで高い性能を実現できることが確認できた。しかし、FrameNetのような大規模リソースが存在しない言語への適用を考えた場合、少量の学習事例に対しても高い性能が期待できることが重要となる。そこで、LUごとの最大学習事例数の条件を ' 1 '、 ' 2 '、 ' 5 '、' 10 '、' 'all'として実験を行った。 3 セットの平均学習事例数はそれぞれ 1,273、2,445、5,680、10,053、27,537である。表 3 に結果を示す。Triplet モデルは少ない学習事例数においても有用であることが確認できる。特に、 2 段階クラスタリングでは、' 1 ' と 'all' で学習事例数が 20 倍以上異なるにも関わらず、スコアは 3 ポイント程度しか変わらないことから、少量の教師デー タが存在するのであれば、Triplet モデルを用いた 2 段階クラスタリングを適用することで、高精度な意味フレーム推定が実現可能と考えられる。一方、 AdaCos モデルでは学習事例が少ない場合は大きな性能の改善が確認できない。これは線形層の重みが十分に学習されないためであると考えられる。

図 2 に Vanilla、Triplet、AdaCos モデルの $v_{\text {word }}$ における t-SNE による 2 次元マッピングを示す。Vanilla モデルでは、フレームごとに事例がまとまる傾向はあるが、SELF_MOTION フレームの事例は大きく $2 \supset$ のクラスタに分かれており、Removing フレームの事例は散らばっている。一方、Triplet や AdaCos モデルでは、Vanilla モデルと比較して、より意味フレームごとにまとまっていることが確認できる。

## 4 おわりに

本稿では、文脈化単語埋め込みを深層距離学習に基づきファインチューニングすることで高性能な意味フレーム推定手法が可能となることを示した。特に、Triplet、ArcFace、AdaCos モデルは全体的に高いスコアを獲得しており、その有用性が確認できた。 また、Triplet モデルにおいては、少量の学習事例数でも有用であることを示した。今後の方針として、多言語の動詞や名詞の意味フレーム推定における提案手法の有用性を検証したいと考えている。

## 謝辞

本研究は、JST 創発的研究支援事業 JPMJFR216N、 および JSPS 科研費 22J14993 の支援を受けたものである。

## 参考文献

[1] Collin F Baker, Charles J Fillmore, and John B Lowe. The Berkeley FrameNet project. In ACL-COLING, pp. 86-90, 1998.

[2] Josef Ruppenhofer, Michael Ellsworth, Myriam Schwarzer-Petruck, Christopher R Johnson, and Jan Scheffczyk. FrameNet II: Extended theory and practice. International Computer Science Institute, 2016.

[3] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In NAACL-HLT, pp. 2227-2237, 2018.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL, pp. 41714186, 2019.

[5] Nikolay Arefyev, Boris Sheludko, Adis Davletov, Dmitry Kharchev, Alex Nevidomsky, and Alexander Panchenko. Neural GRANNy at SemEval-2019 task 2: A combined approach for better modeling of semantic relationships in semantic frame induction. In SemEval, pp. 31-38, 2019.

[6] Saba Anwar, Dmitry Ustalov, Nikolay Arefyev, Simone Paolo Ponzetto, Chris Biemann, and Alexander Panchenko. HHMM at SemEval-2019 task 2: Unsupervised frame induction using contextualized word embeddings. In SemEval, pp. 125-129, 2019.

[7] Eugénio Ribeiro, Vânia Mendonça, Ricardo Ribeiro, David Martins de Matos, Alberto Sardinha, Ana Lúcia Santos, and Luísa Coheur. L2F/INESC-ID at SemEval2019 task 2: Unsupervised lexical semantic frame induction using contextualized word representations. In SemEval, pp. 130-136, 2019.

[8] Laurens van der Maaten and Geoffrey Hinton. Visualizing data using $\mathrm{t}$-SNE. Journal of Machine Learning Research, Vol. 9, pp. 2579-2605, 2008.

[9] Xiao Zhang, Rui Zhao, Yu Qiao, Xiaogang Wang, and Hongsheng Li. AdaCos: Adaptively scaling cosine logits for effectively learning deep face representations. In CVPR, pp. 10823-10832, 2019.

[10] Kosuke Yamada, Ryohei Sasano, and Koichi Takeda. Semantic frame induction using masked word embeddings and two-step clustering. In ACL-IJCNLP, pp. 811-816, 2021.

[11] Dan Pelleg and Andrew Moore. X-means: Extending kmeans with efficient estimation of the number of clusters. In ICML, pp. 727-734, 2000.

[12] Raia Hadsell, Sumit Chopra, and Yann LeCun. Dimensionality reduction by learning an invariant mapping. In CVPR, Vol. 2, pp. 1735-1742, 2006.

[13] Kilian Q Weinberger and Lawrence K Saul. Distance metric learning for large margin nearest neighbor classifica- tion. Journal of Machine Learning Research, Vol. 10, No. 2, 2009 .

[14] Weiyang Liu, Yandong Wen, Zhiding Yu, Ming Li, Bhiksha Raj, and Le Song. SphereFace: Deep hypersphere embedding for face recognition. In CVPR, pp. 212-220, 2017.

[15] Hao Wang, Yitong Wang, Zheng Zhou, Xing Ji, Dihong Gong, Jingchao Zhou, Zhifeng Li, and Wei Liu. CosFace: Large margin cosine loss for deep face recognition. In CVPR, pp. 5265-5274, 2018.

[16] Jiankang Deng, Jia Guo, Niannan Xue, and Stefanos Zafeiriou. ArcFace: Additive angular margin loss for deep face recognition. In CVPR, pp. 4690-4699, 2019.

[17] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In ICLR, 2017.

[18] Amit Bagga and Breck Baldwin. Entity-based crossdocument coreferencing using the vector space model. In ACL-COLING, pp. 79-85, 1998.

[19] Ying Zhao and George Karypis. Criterion functions for document clustering: Experiments and analysis. Technical report, Retrieved from the University of Minnesota Digital Conservancy, 2001.


# 論文執筆支援を目的とした引用要否判定タスクの ドメイン間比較

小山康平 ${ }^{1}$ 小林恵大 ${ }^{1}$ 成松宏美 ${ }^{2}$ 南泰浩 1
1 電気通信大学情報理工学研究科 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
k2131071@edu.cc.uec.ac.jp k2231042@edu.cc.uec.ac.jp
hiromi.narimatsu.eg@hco.ntt.co.jp minami.yasuhiro@is.uec.ac.jp

## 概要

学術論文の執筆および査読支援を目的として，引用の不足や余分な引用を自動で検出する引用要否判定タスクを課題とした研究が行われている.この引用要否判定タスクは非常に高い精度の推定が可能であるが，実験に用いるデータセットには実用が想定される状況よりも簡単な問題が含まれる懸念がある．そのため，我々は引用要否判定タスクにおけるデータセットの妥当性について検討してきた。本稿では, 論文のドメインの観点から妥当性を検討した. まず，異なるドメインから作成された複数のデータセットを用いて引用要否判定タスクを実施しその精度を比較した. ドメインごとに推定精度に大きな差があることが分かった．続いて，ドメインの差による引用要否判定タスク精度差の原因を調査するために，それぞれのデータセットに出現する単語パタンの比較を実施した. 出現する単語に差があり, 引用要否判定学習モデルの学習精度にも影響を与えている可能性があることが分かった.

## 1 はじめに

公開される学術論文の数は年々増加しており [1]研究者はこれまで以上に早いスピードで論文化し公開することが求められている。この論文化の過程では，学術論文を執筆する際，多数の関連研究を読み，一文一文に気を配りながら適切に引用することが求められ, 研究者の負担は増している. 論文執筆に慣れた研究者であれば，それらの作業を効率よく行うことができるが，そうでない場合には，執筆に関わる負担は大きい。また執筆した論文をチェックする共著者や査読者への負担の影響も大きい。

こうした背景から，論文執筆支援に関わる様々な研究が行われている。具体的には，既に検索済みの論文の閲読時間削減を目的とした論文要約 $[2,3,4]$ や，未検索の論文の効率的な検索を目的とした参考文献推薦 [5]，論文執筆の効率化を目的とした引用要否判定 $[6,7]$, 被引用文献割り当て [8], 引用文生成 $[9,10]$ などである. 本研究では，論文チェックにおいて最初に必要となる引用要否判定タスクに着目する。

引用要否判定タスクとは，論文中の任意のある文に対して引用が必要か必要でないかを推論するタスクである。 その精度は9 割程度と非常に高く [11].前後の文脈の入力や学習モデルの改善により, さらなる精度の向上が期待できる [12]. しかしながら，支援システムを目的とするとき，これらの精度が真に得られているかは注意深く分析する必要がある.具体的には，引用箇所をそのまま取り除いているために発生する不完全文，引用をする際の明らかなパタン，論文カテゴリの偏りなどが判定精度を高めている可能性が示唆される。 そのため, 我々は引用要否判定を正しく評価し，その判定精度を向上を目的として，引用要否判定タスクのデータの妥当性分析を行ってきた [12].

従来の引用要否判定タスクに用いられるデータセットは単一のドメインから作成されている. ドメインに偏りのあるデータセットを用いて引用要否モデルの学習を行った場合，ドメイン特有の引用，たとえば固有名詞などを特徴として学び取ることで，高い精度が出ている可能性があり, 文全体から引用が必要かどうかは判断できていない可能性がある.以上の理由から，本稿では，異なるドメインから作成された複数のデータセットを用いて引用要否判定タスクを実施しその精度を比較する. もし， ドメインの偏りが引用要否判定タスクに影響を与えるなら，どのような情報が引用要否判定タスクに影響を与えるかを調査する必要がある．影響を与える要
素を特定するために，引用要否判定タスクに用いたデータセットをドメインと引用の要否の観点から分類し， N-gram や Tf-idf を用いて分析を行う。

## 2 関連研究

引用論文推薦の前段階として，引用の要否を判定する研究が行われている $[11,13]$. 引用要否判定夕スクとは，論文中の各文に対して，引用が必要かどうかを判定するタスクである。初期の研究では，サポートベクターマシン (SVM) や決定木を使った判定器を学習する方法が提案されてきた [14, 15]. 彼らは，ACLをはじめとする論文データベースから構築したデータセットを用いて評価を行なっていた。近年では，公開される論文数の増加に伴い，より大規模な論文データベースからデータを作成できるようになった. ARC [16]などは特に幅広く使われている大規模データセットである.これによりデー 夕量が必要な深層学習をべースとする手法も提案されてきている [17]. さまざまな自然言語処理のタスクで高い性能を発揮している大規模汎用言語モデルの一つである BERT [18] を用いた研究もある．堂坂らは，BERT を引用要否判定タスクの少量のデータで転移学習することで, Bonab らが公開した Citation Worthiness データセット [19]にて，CNNをベースとする手法よりも高い精度が得られ, $\mathrm{F}$ 值で 0.7 に到達することを示している. 成松らは, arXiv の論文を対象にデータセットを構築し，BERT で評価をした結果, $\mathrm{F}$ 值で 0.9 を達成しており, 高い精度で要否の判定が可能であることを示している [20].

しかしながら，いずれの研究においても，ドメインの違いが引用要否判定タスクに及ぼす影響の分析は行われていない. 本研究では，異なる引用要否判定研究の結果を比較し, より適切な推定手法やデー タセットを作成するためには異なるドメイン間の引用要否判定を実施する.

## 3 データセット

本稿では 2 種類のデータセットを使用する. 1 種類目のデータセットは AxCell [21] である.このデータセットは $\operatorname{arXiv}$ から集めた，コンピュータサイエンス分野の論文を基に作成されている. 本来は引用要否判定のために作成されたデータセットではないが，より汎用的な論文執筆支援タスクに応用するために加工を行なった [22]. 引用要否判定に用いた文は 707560 文である. 2 種類目のデータセッ
トは PMOA-CITE である [23]. このデータセットは PubMed から集めた, 医学分野の論文を基に作成されている. データ量は 1008060 文である.

## 4 異なるドメインの引用要否判定

異なるドメインから作成された引用要否判定モデルの推定精度に差が生じるかを確かめるために，上記の医療分野とコンピュータサイエンス分野のデー タセットを利用し，それぞれに引用要否判定タスクを行う．また，単一ドメインのデータセットを学習基にした引用要否判定モデルを他分野に応用できるか確かめるために，学習データと評価データを異なるドメインにした引用要否判定も実施する.

## 4.1 実験条件

引用が必要か不要かの二値分類の性能を言語モデルを用いて評価する。本稿では，汎用言語モデルとして最初に成功を納めた BERT [18]を基に，科学論文を事前学習に使用した SciBERT [24]を用いて引用要否判定を実施する. データセットには上記の AxCell [21],PMOA-CITE [23] を使用し，データ数同数になるよう，データ量を (train:200,000 文,dev:50,000 文,test:50,000 文) とした. 学習モデルのパラメータは (学習率:1e-7,Epoch 数:10, batch_size:32)とした.

## 4.2 実験結果

実験結果を表 1 に示す. 学習と評価共に同一ドメインの結果を見ると, AxCell の方が PMOAよりも推定精度が高い.このことから，コンピュータサイエンス分野のデータセットは医療分野のデータセットよりも推定が容易であることが分かる. ドメインによって引用要否判定の難易度が異なる場合があることが予想される. また, 学習用データと評価データで異なるドメインのデータセットを使用した場合に精度が低下していた. このことから，引用要否判定タスクの精度はドメインごとの固有情報から影響を受ける可能性があり，ある単一分野から学習した引用要否判定モデルは他分野に転用できないことが分かる，学習データに AxCell, 評価データに PMOA-CITE を用いた結果が学習データに PMOA-CITE, 評価データに AxCellを用いた結果を下回ったことから，PMOA-CITE には AxCell よりも幅広い情報が含まれている可能性がある。どのような固有情報が引用要否判定タスクに影響を与えるかを明らかにするために，次章では PMOA-CITET と
表 1 複数のドメインの引用要否判定

AxCell のデータセットに現れる単語パタンを分析し比較する。

## 5 異なるドメインの単語パタン比較

PMOA-CITE 及び AxCell の引用要否判定データセットに含まれる固有情報を明らかにするために， それぞれのデータセットの N-gram 単語頻度の調査を行う。

まず初めに，ドメインごとに重要度の高い単語パタンを調査し，データセットの特徴を明らかにする. そのために，データセットの文中から単語 bigram 情報を抽出し, PMOA と AxCell それぞれにおける Tf-idf 值を計算する。

続いて，引用手段の特徴の差を明らかにするために，片方のドメインでは引用の要否によって単語 bigram パタンの出現頻度が大きく異なるが，もう片方のドメインでは出現頻度が変わらない単語を調査する. 今回は, 引用の要否による出現頻度の偏り (特有度)独自に定義してドメインごとに計算する。

## 5.1 実験条件

特有度の計算は式 (1) に示す. $(x, y$ は対象 bigram が引用の要・否それぞれに出現する割合を表す)調査には (4.1) 節で定義したデータセットと同様のものを使用する。

$
\text { 特有度 }=\log |x-y|
$

## 5.2 実験結果

ドメインごとの単語 bigram パタンの重要度を図 3 に示す. 縦軸が PMOA-CITE における Tf-idf 値, 横軸が AxCell における Tf-idf 値を表している．PMOA では” associated with" ,"this study”のようなパタンの tf-idf が高い一方で, AxCell では”which is","For example”のようなパタンの tf-idf が高かった. 以上のことから, ドメインごとの出現単語に大きく差がある単語 bigram パタンが存在し, 深層学習を用いて作成した引用要否判定モデルに影響を与える可能性
があることが分かる.

ドメインごとの単語 bigram パタンの特有度を図 4 に示す。縦軸が PMOA-CITE における重要度, 横軸が AxCell における重要度を表している。この図では左上, 右下に位置する単語 bigram パタンほど引用の要否及びドメイン間での重要度の差が大きいことになる.こうした単語 bigram パタンには”deep learning" ,"in patients”をはじめとするを含む表現や"focus on","effect of"のような言い回し表現も含まれる。以上のことから引用要否判定データセットにはドメイン特有の単語パタンが含まれていることが分かる.

図 1 引用要否ごとの Tf-idf(AxCell)

図 2 引用要否ごとの Tf-idf(PMOA)

図 3 単語パタンの重要度

図4 単語パタンの特有度

## 6 考察と今後の展望

本稿では，論文中のある文に対して引用が必要か必要でないかを推論するタスクである引用要否判定タスクにおいて，ドメインの種類が引用要否判定に影響を与えるかを調査するために，複数のデータセットで引用要否判定を実施した. コンピュータサイエンス分野と医学分野のデータセットでこの調査を行いその精度を比較した結果，コンピュータサイエンス分野のデータセットを用いた方が精度が高いことがわかった. このことから，引用要否判定はドメインごとに難易度に差があることが分かる. また，学習と評価で異なるデータセットを使用した場合には精度が大きく低下した.このことから，引用要否データセットにはドメイン固有の表現が含まれており，学習モデルの転用には，考慮が必要なことが分かった。

異なるドメインのデータセット内における単語の重要度を bigram の td-idf で比較した結果，ドメイン間で大きな差があることがわかった．また，単語 bigram パタンに対して引用要否ごとの偏りを表した特有度を計算した。その結果，様々なパタンでデー タセットごとの特有度に差が見られた. 以上のことから，カテゴリごとに単語パタンの出現頻度には偏りがあり，引用要否判定モデルの学習に影響を与えている可能性があることが分かる.

ドメインごとにデータセットには特徴があり，引用要否判定に与える影響にも大きく差が出る。そのため，より実用的な引用要否データセットを作成するためには，様々な領域全体をカバーするより大規模なデータを利用する，あるいは，厳密な実験条件を定義し，ドメインごとの明示的な単語パタンを取り除いたデータセットを作成することなども必要である。

## 謝辞

研究の遂行にあたり，ご助言をいただきました，秋田県立大学堂坂浩二教授，NTTコミュニケーション科学基礎研究所杉山弘晃氏，東中竜一郎氏，大阪工業大学平博順教授, 工学院大学大和淳司教授, 科学技術振興機構菊井玄一郎氏に感謝いたします。

## 参考文献

[1] 桑原真人. 各国の論文数の推移から見えるもの. 日本物理学会誌, Vol. 72, No. 4, pp. 246-251, 2017.

[2] Simone Teufel and Marc Moens. Articles summarizing scientific articles: Experiments with relevance and rhetorical status. Computational Linguistics, Vol. 28, No. 4, pp. 409-445, 2002.

[3] Michihiro Yasunaga, Jungo Kasai, Rui Zhang, Alexander Fabbri, Irene Li, Dan Friedman, and Dragomir Radev. ScisummNet: A large annotated corpus and contentimpact models for scientific paper summarization with citation networks. In Proceedings of AAAI 2019, 2019.

[4] Chenxin An, Ming Zhong, Yiran Chen, Danqing Wang, Xipeng Qiu, and Xuanjing Huang. Enhancing scientific papers summarization with citation graph. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 14, pp. 12498-12506, May 2021.

[5] Xiaomei Bai, Mengyang Wang, Ivan Lee, Zhuo Yang, Xiangjie Kong, and Feng Xia. Scientific paper recommendation: A survey. IEEE Access, Vol. 7, pp. 9324-9339, 2019.

[6] Michael Färber, Alexander Thiemann, and Adam Jatowt. To cite, or not to cite? detecting citation contexts in text. In Gabriella Pasi, Benjamin Piwowarski, Leif Azzopardi, and Allan Hanbury, editors, Advances in Information Retrieval, pp. 598-603, Cham, 2018. Springer International Publishing.

[7] Rakesh Gosangi, Ravneet Arora, Mohsen Gheisarieha, Debanjan Mahata, and Haimin Zhang. On the use of context for predicting citation worthiness of sentences in scholarly articles. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4539-4545, Online, June 2021. Association for Computational Linguistics.

[8] Michael Färber and Adam Jatowt. Citation recommendation: approaches and datasets. International Journal on Digital Libraries, Vol. 21, , 122020.

[9] Xinyu Xing, Xiaosheng Fan, and Xiaojun Wan. Automatic generation of citation texts in scholarly papers: A pilot study. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6181-6190, Online, July 2020. Association for Computational Linguistics.

[10] Qingqin Wang, Yun Xiong, Yao Zhang, Jiawei Zhang, and Yangyong Zhu. Autocite: Multi-modal representation fusion for contextual citation generation. In Proceedings of the 14th ACM International Conference on Web Search and Data Mining, WSDM '21, p. 788-796, New York, NY, USA, 2021. Association for Computing Machinery.

[11] Michael Färber, Alexander Thiemann, and Adam Jatowt. To cite, or not to cite? detecting citation contexts in text. In Gabriella Pasi, Benjamin Piwowarski, Leif Azzopardi, and Allan Hanbury, editors, Advances in Information Retrieval, pp. 598-603, Cham, 2018. Springer International Publishing.

[12] 小山康平, 小林恵大, 南泰浩, 成松宏美. 引用要否判定タスクにおけるモデルの性能評価とデータの妥当性分析. 言語処理学会第 28 回年次大会, 2022.

[13] Hamed Bonab, Hamed Zamani, Erik Learned-Miller, and James Allan. Citation worthiness of sentences in scientific reports. 072018.

[14] Kazunari Sugiyama, Tarun Kumar, Min-Yen Kan, and Ramesh C Tripathi. Identifying citing sentences in research papers using supervised learning. In 2010 International Conference on Information Retrieval \& Knowledge Management (CAMP), pp. 67-72. IEEE, 2010.

[15] Qi He, Daniel Kifer, Jian Pei, Prasenjit Mitra, and C Lee Giles. Citation recommendation without author supervision. In Proceedings of the fourth ACM international conference on Web search and data mining, pp. 755764, 2011.

[16] Steven Bird, Robert Dale, Bonnie Dorr, Bryan Gibson, Mark Joseph, Min-Yen Kan, Dongwon Lee, Brett Powley, Dragomir Radev, and Yee Fan Tan. The ACL Anthology reference corpus: A reference dataset for bibliographic research in computational linguistics. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Mo- rocco, May 2008. European Language Resources Association (ELRA).

[17] Rakesh Gosangi, Ravneet Arora, Mohsen Gheisarieha, Debanjan Mahata, and Haimin Zhang. On the use of context for predicting citation worthiness of sentences in scholarly articles. CoRR, Vol. abs/2104.08962, , 2021.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2019.

[19] Hamed Bonab, Hamed Zamani, Erik Learned-Miller, and James Allan. Citation worthiness of sentences in scientific reports. In The 41st International ACM SIGIR Conference on Research \& Development in Information Retrieval, pp. 1061-1064, 2018.

[20] Hiromi Narimatsu, Kohei Koyama, Kohji Dohsaka, Ryuichiro Higashinaka, Yasuhiro Minami, and Hirotoshi Taira. Task definition and integration for scientificdocument writing support. In Proceedings of the Second Workshop on Scholarly Document Processing, pp. 18-26, 2021.

[21] Marcin Kardas, Piotr Czapla, Pontus Stenetorp, Sebastian Ruder, Sebastian Riedel, Ross Taylor, and Robert Stojnic. Axcell: Automatic extraction of results from machine learning papers. arXiv preprint arXiv:2004.14356, 2020.

[22] 小山康平, 南泰浩, 成松宏美, 堂坂浩二, 田盛大悟, 東中竜一郎, 平博順. 学術論文における関連研究の執筆支援のための被引用論文の推定. 言語処理学会第 26 回年次大会, 2021.

[23] TONG ZENG. PMOA-CITE dataset. 62020

[24] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.