# HTML 構造を補助情報として利用する 日本語ブログ記事からの固有表現抽出

植 塁 ${ }^{1}$ 數見 拓朗 ${ }^{2}$ 小泉和之 ${ }^{1}$
1 横浜市立大学大学院 2 株式会社サイバーエージェント
 }^{1}\left.\{}.$ w205607d,zumi\}@yokohama-cu.ac.jp ${ }^{2}$ kazumi_takuro@cyberagent.co.jp

## 概要

Web 上のテキストからの固有表現抽出では, HTML タグが除去され自然言語のテキストのみが利用されていることが多い. 本研究では, HTML 構造 を補助情報として利用する固有表現抽出手法を提案 する。提案手法は複数あり，グラフニューラルネッ トワークを用いて HTML 構造を読み取るアプロー チの手法と，単語と HTML タグの系列を既存の固有表現抽出モデルに入力するアプローチの手法に分け られる．また，ブログ記事を用いた実験を通して，提案手法の中でも BERT と Graph Attention Networks を組み合わせた手法と BERT に HTML タグを入力 する手法の 2 つが優れた性能を持つことを示す.

## 1 はじめに

現在，Web 上には様々なテキストが蓄積されてお り，その 1 つとしてブログ記事が挙げられる. 2000 年以降のブログサービスの急速な普及に伴い，日々増加する大量の記事から有用な情報を抽出する技術 が求められ，盛んに研究されている $[1,2,3,4]$.

本研究では，HTMLテキストとして記述された日本語ブログ記事からの固有表現抽出を扱う. HTML テキストからの固有表現抽出に関する先行研究で は，前処理として HTML タグを除去し自然言語の テキストのみを利用していることが多い $[5,6]$. そ こで本研究では，HTML 構造を補助情報として利用 する固有表現抽出手法を提案しその有効性を検証 する。

本研究では複数の手法を提案するが，それらは 大きく 2 種類に分けられる. 1 つ目は，既存の固有表現抽出モデルに HTML タグをトークンとして入力する単純なアプローチである． 2 つ目は，グラフ ニューラルネットワークを用いて HTML 構造情報 を処理するモジュールと既存の固有表現抽出モデル
を用いて自然言語情報を処理するモジュールとを組 み合わせるアプローチである.

レシピに関するブログ記事を対象とした実験を行 い，提案手法を用いて HTML 構造を補助情報とし て活用することで既存手法に比べて性能が向上する ことを確認した．提案手法の中でも特に，BERT [7] と Graph Attention Networks [8] とを組み合わせた手法と，BERT に HTML タグをトークンとして入力す る手法の 2 つが高い性能を示すことを確認した.

## 2 関連研究

近年，ニューラルネットワークを用いた固有表現抽出モデルが注目を集め盛んに研究されてい る. Lample et al. [9] は双方向の LSTM と Conditional Random Field (CRF) を組み合わせた BiLSTM-CRF モ デルを提案し，この手法は現在の固有表現抽出の主流となり様々な自然言語データに適用されている. また，自然言語処理分野において汎用的なモデルで ある BERT [7] をべースにした手法が，いくつかの データセットにおいて最高性能を記録する [10] など して注目を集めている. Web 上のテキストを扱った 研究の例として, Duc et al. [6] が提案した Web 上か ら固有表現を収集するシステムでは, Google 検索 によって収集した Web ページに対して HTML タグ を削除した上で固有表現抽出モデルが適用されて いる.

## 3 手法

## 3.1 HTML タグをトークンとして入力する アプローチ

提案手法 1 : BiLSTM-CRF with Tag この提案手法 では，HTML テキストを「単語と HTML タグが入り 混じった系列」と見なし，それを埋め込みべクトル 系列に変換し BiLSTM-CRF [9] に入力する. 例えば
「今日はハンバーグを作る」という文があっ た場合, 先行研究では HTML タグを除去した系列「今日ハは/ハンバーグにを/作る」を BiLSTM-CRF に入力する場合が多い（例えば [5]など）が，この提案手法では「今日/は/>/ハンバーグ|/を/作る」と いうそのままの系列を入力する．各トークンの埋め 込みべクトルは, 単語については東北大学の研究グ ループによる日本語 Wikipedia エンティティベクト ル [11]で初期化した上でファインチューニングを行 い，各種 HTML タグについては乱数で初期化した上 で学習させる。なお，HTML タグ内の属性は全て事前に除去し利用せず，開始タグと終了タグは区別し て扱う。

提案手法 2: BERT with Tag この提案手法では,前項の手法と同様に HTMLテキストを「単語と HTML タグが入り混じった系列」と見なし，そのま ま BERT [7]に入力する．単語の埋め込みベクトル と BERT 内部の Transformer Encoder [12] のパラメー タについては東北大学の研究グループによる事前学習済み BERT モデル [13] で初期化した上でファイン チューニングを行い，各種 HTML タグの埋め込みべ クトルは乱数で初期化した上で学習させる.

## 3.2 グラフニューラルネットワークを用い て HTML 構造を読み取るアプローチ

本節では，グラフニューラルネットワーク (GNN) を用いて HTML 構造情報を処理するモジュールと 既存の固有表現モデルを用いて自然言語情報を処理 するモジュールとを組み合わせるアプローチの提案手法を 3 つ説明する.

HTML テキストのグラフ表現 Document Object Model (DOM) [14] は，マークアップされたテキス トをツリー構造で表現し操作する仕組みである. HTML テキストは HTML タグでマークアップされ たテキストであるため，DOM を用いることでツ リー構造のグラフとして表現することができ，これ を本論文では DOM グラフと呼ぶこととする．DOM グラフのノードは要素ノードとテキストノードの 2 つに大別できる。例えば「
見出し
」とい う HTMLテキストは，要素ノード「h1」とテキスト ノード「見出し」がエッジで繋がった DOM グラフ として表される. 本研究で扱うブログ記事の HTML テキストとそれをDOM グラフとして表したものを 図 1 の左側に示す.
GNN によるノード埋め込み 抽出したい固有表現はグラフ中の一部のテキストノードに含まれる. そこで本節の提案手法では，GNNを利用しHTML 構造情報を考慮した上で各テキストノードをべク トルに埋め込むことを考える。まず，ノード埋め 込みを行う様々な GNN の共通事項を述べる。ノー ド集合 $V$ とエッジ集合 $E$ の組からなるグラフ $G$ に おいて，各ノードの特徵量ベクトル $\boldsymbol{x}_{v}[v \in V]$ を 用意する. 最終的な出力は各ノードの埋め込みべ クトル $\boldsymbol{y}_{v}^{\mathrm{GNN}}[v \in V]$ である. また，内部に学習可能なパラメータ $\Theta$ を持ちグラフ構造を考慮した 変換を行う関数 $f(\cdot ; G, \Theta)$ をレイヤ数の分だけ複数用意する. この関数 $f$ はグラフ上の近傍ノード の特徴量ベクトルを集約するように構成され，具体形は手法によって異なる。また， $\sigma$ を活性化関数とし，ネットワークのレイヤ数は $L$ とする。そ して，次式のように更新していくことで，ノード の特徵量 $X_{V}:=\left[x_{1}, x_{2}, \ldots, x_{|V|}\right]^{T}$ を埋め込み表現 $Y^{\mathrm{GNN}}:=\left[\boldsymbol{y}_{1}^{\mathrm{GNN}}, \boldsymbol{y}_{2}^{\mathrm{GNN}}, \ldots, \boldsymbol{y}_{|V|}^{\mathrm{GNN}}\right]^{T}$ に変換する.

$
\begin{aligned}
& \boldsymbol{X}^{(0)}=\boldsymbol{X}_{V} \\
& \boldsymbol{X}^{(l)}=\sigma\left(f\left(\boldsymbol{X}^{(l-1)} ; G, \Theta^{(l)}\right)\right)[l=1,2, \ldots, L-1] \\
& \boldsymbol{Y}^{\mathrm{GNN}}=\boldsymbol{X}^{(L)}=f\left(\boldsymbol{X}^{(L-1)} ; G, \Theta^{(L)}\right)
\end{aligned}
$

次に，本節の 3 つの提案手法それぞれで利用する Graph Convolutional Networks (GCN) [15], GraphSAGE [16], Graph Attention Networks (GAT) [8] について説明 する. GCNでは，まずグラフ $G$ の全ノードに自己 ループ (自分自身と接続するエッジ)を追加する。 その状態での隣接行列を $\widehat{\boldsymbol{A}}$, 次数行列を $\widehat{\boldsymbol{D}}$ とする. GCN では, 式 (2), (3) の関数 $f$ として, 次式の $f_{\mathrm{GCN}}$ を用いてノード特徴量を変換する。

$
f_{\mathrm{GCN}}(\boldsymbol{X})=\widehat{\boldsymbol{D}}^{-\frac{1}{2}} \widehat{\boldsymbol{A}} \widehat{\boldsymbol{D}}^{-\frac{1}{2}} \boldsymbol{X} \boldsymbol{W}
$

ここで重み行列 $\boldsymbol{W}$ は学習対象のパラメータである. GraphSAGE では複数のモデルが提案されており, そ の中で本研究では GraphSAGE-mean (GSAGE) を利用 する. このモデルでは, 式 (2), (3) の関数 $f$ として,次式の $f_{\mathrm{GSAGE}}$ を用いて各ノードの特徴量ベクトル $v \in V$ を変換する.

$
f_{\mathrm{GSAGE}}\left(\boldsymbol{x}_{v}\right)=\boldsymbol{W}_{1} \boldsymbol{x}_{v}+\boldsymbol{W}_{2} \operatorname{MEAN}\left(\left.\{\boldsymbol{x}_{u} \mid u \in \mathcal{N}^{\prime}(v)\right.\}\right)
$

ここで重み行列 $\boldsymbol{W}_{1}, \boldsymbol{W}_{2}$ は学習対象のパラメータで あり，MEAN は平均べクトルをとる操作を表す。ま た, $\mathcal{N}^{\prime}(v)$ はノードvの近傍ノードをランダムサン プリングして得られる集合であり，これは計算コス

トの削減を目的としている，GATでは，式 (2) の関数 $f$ として, 次式の $f_{\mathrm{GAT}}$ を用いて各ノードの特徴量ベクトル $v \in V$ を変換する.

$
\begin{aligned}
& f_{\mathrm{GAT}}\left(\boldsymbol{x}_{v}\right)=\operatorname{CONCAT}\left(\boldsymbol{h}_{v}^{(1)}, \boldsymbol{h}_{v}^{(2)}, \ldots, \boldsymbol{h}_{v}^{(K)}\right) \\
& \boldsymbol{h}_{v}^{(k)}=\sum_{u \in \mathcal{N}(v)} \alpha_{v u}^{(k)} \boldsymbol{W}^{(k)} \boldsymbol{x}_{u} \\
& \alpha_{v u}^{(k)}=\frac{\exp e_{v u}^{(k)}}{\sum_{u^{\prime} \in \mathcal{N}(v)} \exp e_{v u^{\prime}}^{(k)}} \\
& e_{v u}^{(k)}=\operatorname{LReLU}\left(\boldsymbol{a}^{(k)^{T}} \operatorname{CONCAT}\left(\boldsymbol{W}^{(k)} \boldsymbol{x}_{v}, \boldsymbol{W}^{(k)} \boldsymbol{x}_{u}\right)\right)
\end{aligned}
$

ここで重み行列 $\boldsymbol{W}^{(1)}, \boldsymbol{W}^{(2)}, \ldots, \boldsymbol{W}^{(K)}$ と縦べクトル $\boldsymbol{a}^{(1)}, \boldsymbol{a}^{(2)}, \ldots, \boldsymbol{a}^{(K)}$ は学習対象のパラメータであり, K は Multi-head Attention のヘッド数である.また， $\mathcal{N}(v)$ はノード $v$ の近傍ノードの集合であり，LReLU は活性化関数 Leaky ReLU [17] である.

提案手法 3, 4, 5 : BERT + GCN, GSAGE, GAT 提案手法 3, 4, 5 は，言語情報を処理する BERT 部と HTML 構造情報を処理するGNN 部で構成される. その概要図を図 1 に示す. BERT 部では，HTML タ グを除去して自然言語のみとなったテキストのサブ ワード系列 $w_{1}, w_{2}, \ldots, w_{N}$ を BERT に入力し，さら に出力次元が固有表現ラベル数となるように線形変換を行い，ベクトル系列 $\boldsymbol{y}_{1}^{\mathrm{BERT}}, \boldsymbol{y}_{2}^{\mathrm{BERT}}, \ldots, \boldsymbol{y}_{N}^{\mathrm{BERT}}$ を得 る.これを行列 $\boldsymbol{Y}^{\mathrm{BERT}}:=\left[\boldsymbol{y}_{1}^{\mathrm{BERT}}, \boldsymbol{y}_{2}^{\mathrm{BERT}}, \ldots, \boldsymbol{y}_{N}^{\mathrm{BERT}}\right]^{T}$ にまとめる。 GNN 部では，まず HTMLテキストを DOM グラフで表現し，ノード特徴量 $\boldsymbol{x}_{v}[v \in V]$ とし てノード種別 (h1 要素ノード, $\mathrm{p}$ 要素ノード, ...,テキ ストノード）の One-Hot ベクトルを用意する．この グラフを式(1),(2), (3) からなる GNNに入力し，ノー ド埋め込み表現 $\boldsymbol{Y}^{\mathrm{GNN}}:=\left[\boldsymbol{y}_{1}^{\mathrm{GNN}}, \boldsymbol{y}_{2}^{\mathrm{GNN}}, \ldots, \boldsymbol{y}_{|V|}^{\mathrm{GNN}}\right]^{T}$ を 得る.ここで，埋め込み次元は固有表現ラベル数 と一致するようにしておく. BERT 部の出力 $\boldsymbol{Y}^{\text {BERT }}$ と GNN 部の出力 $\boldsymbol{Y}^{\mathrm{GNN}}$ を合わせるために, サブ ワードと DOM グラフ上のノードの対応を表す行列 $\boldsymbol{I}_{\text {Word,Node }}$ を用意する. この行列の第 $i, j$ 成分は「第 $i$ サブワードが第 $j$ ノードに含まれていれば 1 でそ

提案手法の最終的な出力とする.

$
\boldsymbol{Y}^{\mathrm{BERT}+\mathrm{GNN}}=\boldsymbol{Y}^{\mathrm{BERT}}+\boldsymbol{I}_{\mathrm{Word}, \mathrm{Node}} \boldsymbol{Y}^{\mathrm{GNN}}
$

$Y^{\mathrm{BERT}}$ と $Y^{\mathrm{GNN}}$ とをこのように組み合わせることで，各サブワードに対して BERT が出力したスコアベ クトルに，そのサブワードが属するノードの埋め込 み表現ベクトルが足し合わされ，言語情報と HTML 構造情報とを両方とも利用した固有表現抽出が行わ表 1 各モデルの F1 スコア

 &  \\

BiLSTM with Tag & 75.3 & 54.4 & 77.6 \\
BERT (既存手法) & 78.5 & 72.5 & 80.2 \\
BERT with Tag & 80.2 & 72.6 & $\mathbf{8 6 . 9}$ \\
BERT + GCN & 80.3 & 76.4 & 80.8 \\
BERT + GSAGE & 80.9 & 76.6 & 80.4 \\
BERT + GAT & $\mathbf{8 1 . 2}$ & $\mathbf{7 8 . 0}$ & 81.6 \\

れる。ここで，上記の GNN 部に GCN, GSAGE, GAT を用いた 3 パターンの提案手法をそれぞれ BERT + GCN, BERT + GSAGE, BERT + GAT と呼ぶ.

## 4 実験と考察

## 4.1 データセット

本節では，提案手法の性能評価実験のために構築 したデータセットについて述べる。まず，ブログ サービス「アメーバブログ1)」上の料理レシピに関 する 2 つのブログ $\mathrm{A}, \mathrm{B}{ }^{2}$ から，それぞれ 100 個ず つの記事を HTML テキストとして取得した. 次に，株式会社サイバーエージェントから提供を受けた アノテーションシステム Orion Annotator [18] を利用 し，その 200 記事に 3 種類の固有表現「料理」「材料」「分量」をアノテーションした.

## 4.2 実験設定

前項で構築したデータセットを比率 $6: 2: 2$ で Train, Valid, Test に分割し，Train で訓練を行い Valid で八イパーパラメータをチューニングすることで，提案手法 $1,2,3,4,5$ それぞれのモデルを作成した. また，比較のために， HTML タグを除去したテキス 卜を利用する BiLSTM-CRF, BERT のモデル（すなわ ち提案手法 1,2 から HTML タグを削除したモデル) も作成した. そして，この7つのモデルを Test セッ 卜に適用し，F1 スコアで性能を評価・比較した。な お，同様の実験をブログ $\mathrm{A}, \mathrm{B}$ それぞれの 100 記事の みを含むデータセットに対しても行った。

## 4.3 実験結果と考察

実験結果を表 1 に示す. 表中の評価値において， BiLSTM with Tag が BiLSTM を上回っていることと，

図 1 提案手法 3, 4, 5 の概要図. GNN 部に GCN, GSAGE, GAT レイヤを用いた手法をそれぞれ BERT + GCN, BERT + GSAGE, BERT + GAT と呼ぶ. 図中の A ではノード特徴量としてノード種別の One-Hot ベクトルを持つグラフを作成して いる．B では各テキストノードに含まれる文を BERT のトークナイザでサブワード化している．Cでは各サブワードの BERT 出力ベクトルに対してそのサブワードが属していたノードの GNN 埋め込みべクトルが足し合わされている.

BERT with Tag, BERT + GCN, BERT + GSAGE, BERT + GAT が BERT を上回っていることから，提案手法 を用いて HTML 構造を補助情報として活用するこ とで既存手法に比べて性能が向上することを確認し た.また，提案手法の中でも特に，BERT + GAT と， BERT with Tag の 2 つが高い性能を示している.

BERT + GCN, BERT + GSAGE, BERT + GAT はい ずれも GNNを用いて HTML 構造情報を読み取る が，表 1 で性能を比較すると BERT + GAT が他 2 つを上回っている.これは, GAT が持つ Multi-head Attention 機構によるものだと考えられる. HTMLテ キストのDOM グラフには，異質なノードが混在し ている. 例えば，太字を表す $\mathrm{b}$ ノード, 画像の存在 を表す img ノード, 段落を表す $\mathrm{p}$ ノード, ハイパー

このようなノードの異質性に対して Attention 機構 の「異なる近傍ノードに異なる重みを与えて集約す る」という仕組みが有効に作用したと考えられる.

また，ブログ B のみを対象とした実験では，ブ ログ A とは異なり BERT with Tag の性能が BERT +GATを上回っている. ここで，固有表現のうち HTML の開始タグ（ や
など）の直後に現れ ているもの比率を調べたところ，ブログ A では 20.4 $\%$, ブログ B では $52.0 \%$ であったため，ブログ B で
は固有表現が開始タグの直後に現れやすい傾向があ ると言える．BERT + GAT では HTML 情報を DOM として扱うため, 開始タグとその中の単語との位置関係を参照することはできず，先程のような傾向 を利用することはできない. 一方 BERT with Tag で は HTML タグと単語の系列を BERTに入力するた め, 先程のような傾向を学習し利用することができ る.このことが，ブログ B において BERT with Tag が BERT + GAT を上回った理由の 1 つとして考えら れる。

## 5 おわりに

本研究では，Web上のテキストを対象とした固有表現抽出タスクにおいて, HTML 構造を補助情報と して利用する手法を提案した。そして，レシピに関 するブログ記事を対象とした実験を通して提案手法 の有効性を検証した。提案手法は複数あり, 単語と HTML タグの系列を既存の固有表現抽出モデルに入力するアプローチの手法と，GNNを用いて HTML 構造情報を読み取るアプローチの手法に分けられ る. 今後の課題として, どちらのアプローチがどの ような特徴を持つ HTML テキストに有効であるか を明らかにするため，様々なブログでデータセット を構築し性能評価実験を行うことが挙げられる。

## 参考文献

[1] Tetsuya Nakatoh and Sachio Hirokawa. Extraction of Tourist Behavior Contexts from Blog by Verbs and Their Objects. In Proceedings of the 2012 IIAI International Conference on Advanced Applied Informatics, 2012.

[2] 齋藤邦子, 鈴木潤, 今村賢治. CRF を用いたブログか らの固有表現抽出. 言語処理学会第 13 回年次大会発表論文集, 2007.

[3] 堀達也, 白井清昭. ブログページからのウェブサイト 情報・作成者情報の抽出. 言語処理学会第 21 回年次大会発表論文集, 2015.

[4] 池田流弥, 安藤一秋. 深層学習によるブログ記事から の土産の品名・店名抽出. 言語処理学会第 25 回年次大会発表論文集, 2019.

[5] 近江崇宏. Wikipedia を用いた日本語の固有表現抽出 のデータセットの構築. 言語処理学会第 27 回年次大会発表論文集, 2021 .

[6] Nguyen Tuan Duc, Danushka Bollegala, 石塚満. エン ティティペア間類似性を利用した潜在関係検索. 情報処理学会論文誌, Vol. 52, No. 4, pp. 1790-1802, 2011.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019.

[8] Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, and Yoshua Bengio. Graph Attention Networks. In International Conference on Learning Representations, 2018.

[9] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural Architectures for Named Entity Recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2016.

[10] Xiaoya Li, Xiaofei Sun, Yuxian Meng, Junjun Liang, Fei $\mathrm{Wu}$, and Jiwei Li. Dice Loss for Data-imbalanced NLP Tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.

[11] 日本語 Wikipedia エンティティベクトル. https: //github.com/singletongue/WikiEntVec.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, 2017.

[13] 日本語 BERT 訓練済みモデル. https://github.com/ cl-tohoku/bert-japanese.

[14] WHATWG. DOM Living Standard. https://dom. spec. whatwg.org/.

[15] Thomas N Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. In International Conference on Learning Representations (ICLR), 2017.

[16] William L Hamilton, Rex Ying, and Jure Leskovec. Inductive representation learning on large graphs. In Neural Information Processing Systems, 2017.
[17] Andrew L. Maas, Awni Y. Hannun, and Andrew Y. Ng. Rectifier nonlinearities improve neural network acoustic models. In Proceedings of the International Conference on Machine Learning, 2013.

[18] 上辻慶典. アノテーションを支える Orion Annotator の紹介. CyberAgent 秋葉原ラボ技術報告, Vol. 2, pp. 32-37, 2019.

[19] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In International Conference on Learning Representations, 2015.

## A 実験設定の詳細

ここでは，本文の 4.2 に記載しなかった実験設定 の詳細について述べる。

まず，提案手法 $1,2,3,4,5$ と HTML タグを利用 しない BiLSTM-CRF, BERT の計 7 つの手法の訓練 において共通で，エポック数を 10 , バッチサイズを 1, オプティマイザを Adam [19] とした. 学習率は, BiLSTM を用いる 2 つの手法では 0.001 とし, BERT を用いる 5 つの手法では 0.00001 とした. また，全 ての実験は NVIDIA T4 (16GB) を利用して実行した.

BiLSTMを用いる 2 つ手法においては，ハイ パーパラメータとして隠れ状態べクトルの次元を 10,50,100,150,200 の中から選択した.

グラフニューラルネットワークを用いる 3 つの 提案手法では, レイヤの数と各レイヤの出力次元を ハイパーパラメータとしてチューニングした. レイ ヤの数の候補値は, GCN と GSAGE では $2,3,4$ 層と し, GAT では 2,3 層とした. 出力次元の候補值は $16,32,64,128,256$ とした. なお，組み合わせを減ら す目的で, 同一モデルの各レイヤの出力次元は同じ 値とした. ただし, 最後のレイヤの出力次元は固有表現ラベル数で固定した. また, GAT の Multi-head Attention のヘッド数は, 2 層のモデルでは順に 4,6 で固定し, 3 層のモデルでは順に $4,4,6$ で固定した. また, GATの最終レイヤでは, [8] に倣って式 (6)の CONCAT の部分を平均ベクトルをとる操作に置き 換えている。

## B 実験結果の詳細

各手法の F1 スコアを記した表 1 に Precision と Recall の評価值を追記したものを表 2 に示す.

表 2 各モデルの F1 スコア, Precision, Recall


# 静的および動的な埋め込みに基づくエンティティの曖昧性解消

大葉大輔 1,2 山田育矢 ${ }^{2,3}$ 吉永直樹 4 豊田正史 ${ }^{4}$
1 東京大学 ${ }^{2}$ Studio Ousia ${ }^{3}$ RIKEN ${ }^{4}$ 東京大学生産技術研究所
oba@tkl.iis.u-tokyo.ac.jp ikuya@ousia.jp \{ynaga,toyoda\}@iis.u-tokyo.ac.jp

## 概要

エンティティの曖昧性解消タスクでは，各エン ティティを埋め込み表現としてパラメタ化した上 で曖昧性解消モデルの学習を行うことが有効であ る (Yamada et al. 2021) が，パラメタ化対象外のエン ティティの曖昧性解消は行えない。本稿では，エン ティティの説明文やエンティティを含む文からエン ティティの埋め込み表現を動的に推定し，学習済み 曖昧性解消モデルを拡張する手法を提案する．実験 では，評価データに出現する候補エンティティ全て をパラメタ化した上で訓練された既存モデルらと同等またはそれ以上の性能が得られることを示した。

## 1 はじめに

入力テキストに含まれるエンティティのメンショ ンを知識ベース (KB) のエントリに分類する Entity Disambiguation (ED) は，文書分類や質問応答等の言語処理タスクや，テキストからの KB 構築等の情報抽出タスクにおける重要な前処理の一つである [1].近年，ED モデルのパラメタとして分類候補の エンティティ集合に埋め込み表現を与えた上で， Wikipedia のハイパーリンクを正解データとする大量の学習データを用いた訓練を行うことで EDを高精度に解けるようになった $[2,3,4,5,6,7]$. しかし，埋め込み表現は訓練時にパラメタ化の対象となる一部のエンティティに対してのみ学習されるため，そ の他エンティティ (未知エンティティ）のメンショ ンは曖昧性を解消できない，実際，多くの既存シス テムは，評価時の正解候補エンティティすべてをパ ラメタ化した上で訓練および評価を行っている。

対して，エンティティの説明文とエンティティを 言及する文のエンコード結果を近づける学習によ り zero-shot で ED を解く方法 $[8,9]$ は未知エンティ ティの曖昧性解消を可能とする。しかし，埋め込み 表現に基づいた上述の方法より性能が低い上 [10],各メンションについて，その候補エンティティの数

図 1 提案手法の概要. エンティティの説明文 (Description) やエンティティを言及する文 (Sentence with hyperlink) からその埋め込み表現を推定し, ED モデルのエンティ ティ埋め込み表現行列 (Entity Embeddings) を補完する。

だけエンコーダの順伝搬計算を必要とする.

本稿では，訓練時にパラメタ化されたエンティ ティの静的な埋め込み表現と，テキストから推定し た動的な埋め込み表現を相補的に用いることを提案 (§3) し，静的なエンティティ表現に基づくED モ デル [7] (§2)を拡張する（図 1). 具体的には，まず 高頻度エンティティに限定した形で ED モデルを構築し, Wikipediaのハイパーリンクを正解とするデー 夕を用いて訓練を行う (§3.1). 次にエンティティの 埋め込み表現を動的に推定する 2 種類のエンコーダ を訓練する (§ 3.2). そして低頻度エンティティの埋 め込み表現を推定し，ED モデルのパラメタ（エン ティティの埋め込み表現行列）を拡張する (§3.2). これにより学習時にパラメタ化されない未知エン ティティを含む評価データでも，精度の高い静的な エンティティ表現に基づく EDを適用出来る.

代表的な評価データ (AIDA-CoNLL, MSNBC, AQUAINT, ACE2004, WNED-CWEB, WNED-WIKI)用いた実験では，提案手法により，正解候補エン ティティが既知な状態で訓練を行う既存手法と同等 またはそれ以上の性能が得られることを示す (§4).

## 2 事前知識

本節では，我々が基盤とする Yamada ら [7] の Global Model（以降 $\mathbf{Y}_{\mathbf{G}}$ )を説明する． $\mathbf{Y}_{\mathbf{G}}$ は BERT $_{\text {LARGE }}$ [11]を基盤とする現在の最高精度の モデルである. テキストの単語とエンティティの トークン列を入力に取り (§2.1), 各エンティティ トークンに対応する BERT の出力を基に曖昧性解消を行う (§2.2). 以降，単語とエンティティの語彙 セットを $V_{w}, V_{e}$ ，埋め込み表現の次元を $H$ とする.

## 2.1 入力表現

$\mathbf{Y}_{\mathbf{G}}$ では，入力テキストの単語トークン列とそ の内のエンティティに対応するトークン列を結合 し, 単語トークン列の先頭と末尾に特殊トークンの [CLS] と [SEP] を挿入する.この時，各トークンは 以下 3 種の埋め込み表現の和により表現される:

Token embedding： 各単語およびエンティティに 対応. 表現行列は $\mathbf{A} \in \mathbb{R}^{\left|V_{w}\right| \times H}$ および $\mathbf{B} \in \mathbb{R}^{\left|V_{e}\right| \times H}$.

Type embedding: トークンの種類（単語かエン ティティか) に対応. $\mathbf{C}_{w} \in \mathbb{R}^{H}$ および $\mathbf{C}_{e} \in \mathbb{R}^{H}$.

Position embedding: 入力系列中の単語トークン の位置に対応. 位置 $i$ にある単語およびエンティ ティの位置埋め込みは, $\mathbf{D}_{i} \in \mathbb{R}^{H}$ および $\mathbf{E}_{i} \in \mathbb{R}^{H}$ と する. 複数トークンで構成されるエンティティにつ いては対応する位置埋め込みを平均する。

## 2.2 曖昧性解消

$\mathbf{Y}_{\mathrm{G}}$ は Masked Language Model (MLM) [11] の要領で エンティティの曖昧性解消を行う. より具体的に は，メンションに該当する入力エンティティトー クンを [MASK] に置き換え，対応する BERT の出力 $\mathbf{h}_{e} \in \mathbb{R}^{H}$ からエンティティの推定を行う:

$
\begin{aligned}
\mathbf{m}_{e} & =\text { layernorm }\left(\operatorname{gelu}\left(\mathbf{W}_{f} \mathbf{h}_{e}+\mathbf{b}_{f}\right)\right) \\
\hat{\mathbf{y}} & =\operatorname{softmax}\left(\mathbf{B m}_{e}+\mathbf{b}_{o}\right)
\end{aligned}
$

$\mathbf{W}_{f} \in \mathbb{R}^{H \times H}, \mathbf{b}_{o}, \mathbf{b}_{f} \in \mathbb{R}^{H}$ はパラメタであり, gelu は 活性化関数 [12], layernorm は層正則化 [13] を表す.

訓練エンティティトークンを一定確率で [MASK] に置換し，対応する推定結果 $\hat{\mathbf{y}}$ の対数尤度を最大化 させる最適化を行う. Wikipedia のハイパーリンク を正解ラベルと見なした訓練データを使用する。

推論 $\mathbf{Y}_{\mathrm{G}}$ は推論を逐次的に行う．まず全エン ティティトークンをマスクし, 各 [MASK] に対応す るエンティティを推定する (式 2). 次に $\hat{\mathbf{y}}$ の最大確率が最も高い [MASK] を，その推定結果のエンティ ティトークンに置き換えて新しい入力を得る.この 処理を全 [MASK] が曖昧性解消されるまで繰り返す。

## 2.3 問題点

$\mathbf{Y}_{\mathrm{G}}$ は多くの評価データ (§ 4.1) で最高精度を達成 している [7] が， $V_{e}$ 外のエンティティは学習時に埋 め込み表現としてパラメタ化されないため曖昧性解消が行えない. 全てのエンティティを $V_{e}$ に含める 場合，訓練時の計算量が大幅に増加するだけでなく 特に低頻度エンティティに関するデータの過踈性 が問題になる. また，こうした制約から $\mathbf{Y}_{G}$ を含む 先行研究の多く $[2,3,4,5,6,7]$ は訓練の段階で評価 データに出現する全メンションのリンク先候補エ ンティティの集合を $V_{e}$ に定め, エンティティの埋也込み行列 $\mathbf{B} \in \mathbb{R}^{\left|V_{e}\right| \times H}$ を学習し評価に使用してい る. しかし, 訓練の段階で評価データに現れる全メ ンションを知っている設定は非現実的である.

## 3 提案

前節の問題点を踏まえ，訓練時のパラメタ化対象外のエンティティの埋め込み表現を動的に推定す ることを提案する. まず前節で導入した $\mathbf{Y}_{G}$ を基盤に, Wikipedia で頻出する一定数のエンティティ $V_{e}^{\prime}$ にのみ静的な埋め込み表現を与え, その $V_{e}^{\prime}$ に 閉じた ED モデルの訓練を行う (\$ 3.1). 次にその他 エンティティ $V_{e}^{\prime \prime} \notin V_{e}^{\prime}$ の埋め込み表現を別途推定 し(§ 3.2), 訓練済みモデルの静的な埋め込み表現行列を拡張する (§3.2). これにより, 頻出エンティ ティに関しては高い性能への寄与が報告されてい る静的な埋め込み表現を保証しつつ，他のエンティ ティが出現する評価データについても同じ ED モデ ルで曖昧性解消が行える。

## 3.1 高頻度エンティティに限定した訓練

実装 後に拡張可能な形式で $\mathbf{Y}_{\mathrm{G}}$ の再定義 $\left(\mathbf{Y}_{\mathrm{G}}^{\prime}\right)$ を 行う. エンティティ埋め込み行列 $\mathbf{B}$ のみを補完する ため，項 $\mathbf{b}_{o}$ (式 2)を取り除く.また高頻度エンティ ティ $V_{e}^{\prime}$ のみで表現行列 $\mathbf{B}^{\prime} \in \mathbb{R}^{\left|V_{e}^{\prime}\right| \times H}$ を構成する:

$
\hat{\mathbf{y}}=\operatorname{softmax}\left(\mathbf{B}^{\prime} \mathbf{m}_{e}\right)
$

訓練 $\mathbf{Y}_{\mathrm{G}}$ と同じくWikipediaのハイパーリンクを 正解データとして，エンティティトークンを $30 \%$ の 確率で [MASK] に置換し，[MASK] に対応する推定結果 $\hat{\mathbf{y}}$ (式 3) の対数尤度を最大化させる最適化を行う.

## 3.2 エンティティ表現の推定エンコーダ

異なる言語資源に基づく 2 つのエンコーダを用い てエンティティの埋め込み表現を動的に推定する。 エンコーダは訓練済み $\mathbf{Y}_{\mathrm{G}}^{\prime}$ (§3.1)を基盤とする:

Description-based Encoder エンティティ $e_{i}$ の説明文を § 2.1 と同じ方法で $\mathbf{Y}_{\mathrm{G}}^{\prime}$ の入力表現とし, [CLS] に対応する BERT の出力表現 $\mathbf{h}_{\mathrm{CLS}}$ からエンティティ $e_{i}$ の埋め込み表現を推定する:

$
\hat{\mathbf{e}}_{\mathrm{DESC}_{i}}=\mathbf{W}_{\mathrm{DESC}} \mathbf{h}_{\mathrm{CLS}}+\mathbf{b}_{\mathrm{DESC}}
$

$\mathbf{W}_{\text {DESC }} \in \mathbb{R}^{H \times H}$ および $\mathbf{b}_{\text {DESC }} \in \mathbb{R}^{H}$ は学習パラメタ.

Hyperlink-based Encoder エンティティのハイ パーリンクを含む文集合を用いて埋め込み表現を 推定する。まず， $e_{i}$ のハイパーリンクを含む文を [SEP]を挟んで連結したものを 82.1 における単語 トークン列とする。次に，エンティティトークン 列のうち $e_{i}$ に該当するものを [MASK] に置換し，各 [MASK] に対応する BERT の出力 $\left[\mathbf{h}_{\text {MASK }_{1}} \ldots \mathbf{h}_{\text {MASK }_{\mathrm{N}}}\right]$ の 平均から埋め込み表現を推定する:

$
\begin{aligned}
\overline{\mathbf{h}}_{\mathrm{MASK}} & =\frac{1}{N} \sum_{j}^{N} \mathbf{h}_{\mathrm{MASK}_{j}} \\
\hat{\mathbf{e}}_{\mathrm{HL}_{i}} & =\mathbf{W}_{\mathrm{HL}} \overline{\mathbf{h}}_{\mathrm{MASK}}+\mathbf{b}_{\mathrm{HL}}
\end{aligned}
$

$\mathbf{W}_{\text {HL }} \in \mathbb{R}^{H \times H}$ および $\mathbf{b}_{\mathrm{HL}} \in \mathbb{R}^{H}$ は学習パラメタ.

訓練 訓練済み $\mathbf{Y}_{\mathrm{G}}^{\prime}(\S 3.1)$ におけるエンティティ 埋め込み表現行列 B' を教師信号とし，エンティティ $e_{i}$ に該当するインデックスの埋め込み表現と, エン コーダが推定した埋め込み表現 $\hat{\mathbf{e}}_{i}$ の平均二乗誤差を 最小化する. 埋め込み表現行列 $\mathbf{B}^{\prime}$ のみ固定し, 高頻度エンティティ $V_{e}^{\prime}$ に関する Wikipedia エントリか ら抽出した説明文 (概要) およびそれらのハイパー リンクを含む文を学習データに用いて訓練する。

推定表現のアンサンブル 最終的に，上記の異な るエンコーダから推定された埋め込み表現を平均化 することで一つのエンティティ埋め込み表現とす る.これにより，2つの異なる言語資源に含まれる 情報を利用できるようにする。

エンティティ表現の推定と補完 高頻度エンティ ティ集合に含まれないエンティティ集合 $V_{e}^{\prime \prime} \notin V_{e}^{\prime}$ の 埋め込み表現を上記エンコーダで推定し, 訓練済 み $\mathbf{Y}_{\mathrm{G}}^{\prime}$ (§ 3.1)の埋め込み表現行列 $\mathbf{B}^{\prime}$ (式 3)を補完す る $\left(\mathbf{B}^{\prime \prime \prime} \in \mathbb{R}^{\left|V_{e}^{\prime}+V_{e}^{\prime \prime}\right| \times H}\right) . \mathbf{Y}_{\mathrm{G}}^{\prime}$ は追加のエンティティ集合 に対しても同様の推論が行える:

$
\hat{\mathbf{y}}=\operatorname{softmax}\left(\mathbf{B}^{\prime \prime \prime} \mathbf{m}_{e}\right)
$

表 1 AIDA-CoNLL における In-KB Mico-F1. 最も性能が 良い $2 つ の$ 数値に太字，下線の順で印をつけた。

## 4 実験

Yamada ら [7] の $\mathbf{Y}_{\mathrm{G}}$ (§2) に提案手法を実装し, 評価データ中の全候補エンティティの埋め込み表現 をパラメタに持った上で訓練された既存システ ム $[3,4,5,6,7]$ と同等の性能が得られるか確認する.

## 4.1 実験設定

実装 まず， BERT $_{\text {BASE }}$ [11]を基に，Wikipedia 上の 頻出エンティティ $\left|V_{e}^{\prime}\right|=1 \mathrm{M}$ に限定した $\mathbf{Y}_{\mathrm{G}}$ の再定義 ( $\mathbf{Y}_{\mathrm{G}^{\prime}}{ }^{\prime}$ および訓練 (§3.1) を行う. 評価データで使用される約 $270 \mathrm{~K}$ 件の正解候補エンティティうち, $V_{e}^{\prime}$ のカバレッジは $55.9 \%$, 既存システムは $100 \%$ である。次に，訓練済み $\mathbf{Y}_{\mathrm{G}^{\prime}}$ と Wikipediaを用いて 提案エンコーダを訓練した後, 未知エンティティ $V_{e}^{\prime \prime} \notin V_{e}^{\prime}$ の埋め込みを推定し $\mathbf{Y}_{\mathrm{G}^{\prime}}$ を拡張する (§3.2).

評価データ Ganea \& Hofmann (2017) [3] の設定に倣い, AIDA-CoNLL [14], MSNBC, AQUAINT, ACE2004, WNED-CWEB, WNED-WIKI [15] を用い る.また，メンション表層に対する各エンティ ティへの被リンク事前確率 [3] に基づいて, 正解候補エンティティ集合を各メンションに割り当て る(KB+YAGO) [14]. 式 7 における推論の際には，候補エンティティ集合に対応するインデックスの埋め 込み表現行列のみを用いて内積計算および softmax を実行する. AIDA-CoNLLでは異なる候補エンティ ティ集合 PPRforNER [16] を使用した評価も行う.

評価指標 micro-F1 值を報告する。

Fine-Tuning AIDA-CoNLLでは，提案手法により 拡張した $\mathbf{Y}_{\mathrm{G}}^{\prime}$ を付属訓練セットを用いて Fine-tuning した評価も行う. Yamada ら [7] と同様にエンティ ティの埋め込み表現行列を固定，またエンティティ トークンを $90 \%$ の確率でマスクして, 出力 $\hat{\mathbf{y}}$ (式 7) の対数尤度を最大化させる. その他ハイパーパラメ タの探索空間は Devlin ら [11] と同じものを用いた.
表 2 AIDA-CoNLL 以外のデータにおける Micro-F1 值. 最も性能が良い 2 つの数値に太字，下線の順で印をつけた，

表 3 エンティティの動的な埋め込み表現を部分的に用い た時の AIDA-CoNLL における Micro-F1 値の変化.

表 4 未知エンティティメンションに関する Precision. ま た, 未知エンティティの hyperlink-based emb. を推定する際 に使用出来たハイパーリンク文の数 (\# sentences) によって メンションを分類し各々で precisionを算出した. Baseline は被リンク事前確率 [3] 最大のエンティティを選択する。

## 4.2 実験結果

AIDA-CoNLL およびその他評価データにおける実験結果を表 1 , 表 2 に示す. 提案モデルは WIKIおよ び ACE2004において最高性能であり，他の評価デー タでは Yamada ら [7]を除く全システムに優った.総合して，提案モデルの基盤である Yamada ら [7] の モデルが最も優れていたが，提案モデルは MSNBC を除く全評価データで $1 \mathrm{pt}$. 以内に迫った.

比較システム $[3,4,5,6,7]$ と異なり, 提案モデル は評価データの約 $60 \%$ の候補エンティティについて しか訓練を行なえていない。加えて，Yamada ら [7] は，提案モデルが基盤とする $\mathrm{BERT}_{\text {base }}$ よりも大き な $\mathrm{BERT}_{\text {large }}$ を基盤としている (§2). 提案手法がこ れらシステムと同等またはそれ以上の性能を得たこ とは，エンティティの埋め込み表現の推定および補完が一定の水準で達成されていることを示す.

## 4.3 考察

推定表現のアンサンブルの影響 動的な埋め込 み表現の平均化 (§ 3.2) の影響を観るため，いずれ かのエンコーダで推定された埋め込み表現のみを 用いて $\mathbf{Y}_{\mathrm{G}}[7]$ の拡張を行い，AIDA-CoNLL で評価し
た (表 3). 僅かではあるが，いずれの場合も一貫し て性能が低下しており，埋め込み表現の平均化によ り異なる性質を補い合っていることが推測される.

未知エンティティの曖昧性解消性能 訓練対象外 のエンティティをどの程度曖昧性解消できているの か確認するために，全評価データ (§ 4.1)の中で，未知エンティティ $\notin V_{e}^{\prime}$ をラベルに持つメンションに ついて precisionを計算した (表 4). 動的なエンティ ティ埋め込み表現の種類に関わらず約 8 割の未知エ ンティティが正しく曖昧性解消されていた。一方， その中でも Hyperlink-based な埋め込み表現が最も効果的であるという傾向は，既知エンティティを含め た結果の傾向（表 3）に反していることから，同埋 め込み表現は既知エンティティ $V_{e}^{\prime}$ の正しい曖昧性解消を惑わせる影響もあることを示唆している。

エンコードに使用する文の数の影響 Hyperlinkbased emb. の質と，そのエンコードに使用できるエ ンティティを言及する文の数の関係を分析するた め，その文の数に基づいて未知エンティティおよび それらをラベルに持つメンションを大まかに分類 し，それぞれで precision を計算した (表 4)，表より， エンティティを言及する文が 3 文以上利用できる場合はそこからエンコードされた埋め込みは全ての埋 め込みの中で最も質のよい表現であった. 反対に, 2 文以下の場合はエンティティの頻度に依存しない 説明文の利用が最も効果的であった. 今後，エン ティティの頻度に応じて両埋め込み表現に重みをつ けてアンサンブルするといった改善が考えられる。

## 5 おわりに

本稿では，未知エンティティの埋め込み表現を動的に推定し, 静的な埋め込み表現に基づく曖昧性解消モデルを拡張する方法を提案した (§3). 実験 (§4) では，提案手法を用いて拡張したモデルが，評価 データで使用される全エンティティの埋め込みをパ ラメタ化して訓練しているモデルらと同等またはそ れ以上の性能を得られることを示した。また，提案手法による未知エンティティの曖昧性解消への有効性と，動的な埋め込みの品質改善の余地を示した。

## 参考文献

[1] Johannes Welbl, Pontus Stenetorp, and Sebastian Riedel. Constructing datasets for multi-hop reading comprehension across documents. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 287-302, 2018.

[2] Ikuya Yamada, Hiroyuki Shindo, Hideaki Takeda, and Yoshiyasu Takefuji. Joint Learning of the Embedding of Words and Entities for Named Entity Disambiguation. In Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning, pp. 250-259, 2016.

[3] Octavian-Eugen Ganea and Thomas Hofmann. Deep Joint Entity Disambiguation with Local Neural Attention. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2619-2629, 2017.

[4] Phong Le and Ivan Titov. Improving Entity Linking by Modeling Latent Relations between Mentions. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1595-1604, 2018.

[5] Samuel Broscheit. Investigating Entity Knowledge in BERT with Simple Neural End-To-End Entity Linking. In Proceedings of the 23rd Conference on Computational Natural Language Learning, pp. 677-685, 2019.

[6] Thibault Févry, Nicholas FitzGerald, Livio Baldini Soares, and Tom Kwiatkowski. Empirical Evaluation of Pretraining Strategies for Supervised Entity Linking. In Automated Knowledge Base Construction, 2020.

[7] Ikuya Yamada, Koki Washio, Hiroyuki Shindo, and Yuji Matsumoto. Global Entity Disambiguation with Pretrained Contextualized Embeddings of Words and Entities. arXiv preprint arXiv:1909.00426, 2021.

[8] Lajanugen Logeswaran, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, Jacob Devlin, and Honglak Lee. Zero-Shot Entity Linking by Reading Entity Descriptions. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3449-3460, 72019.

[9] Ledell Wu, Fabio Petroni, Martin Josifoski, Se- bastian Riedel, and Luke Zettlemoyer. Scalable zero-shot entity linking with dense entity retrieval. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6397-6407, 2020.

[10] Nicola De Cao, Gautier Izacard, Sebastian Riedel, and Fabio Petroni. Autoregressive Entity Retrieval. In International Conference on Learning Representations, 2021.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[12] Dan Hendrycks and Kevin Gimpel. Gaussian Error Linear Units (GELUs). arXiv preprint arXiv:1606.08415v3, 2016.

[13] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E Hinton. Layer Normalization. arXiv preprint arXiv:1607.06450v1, 2016.

[14] Johannes Hoffart, Mohamed Amir Yosef, Ilaria Bordino, Hagen Fürstenau, Manfred Pinkal, Marc Spaniol, Bilyana Taneva, Stefan Thater, and Gerhard Weikum. Robust Disambiguation of Named Entities in Text. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 782-792, 2011.

[15] Zhaochen Guo and Denilson Barbosa. Robust Named Entity Disambiguation with Random Walks. Semantic Web, Vol. 9, No. 4, pp. 459-479, 2018.

[16] Maria Pershina, Yifan He, and Ralph Grishman. Personalized Page Rank for Named Entity Disambiguation. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, p. 238-243, 2015.


# 情報抽出技術を用いた JCoLA の拡張に向けて

染谷大河 1 進藤 裕之 ${ }^{2,3}$ 大関 洋平 1
1 東京大学 2 奈良先端科学技術大学院大学
${ }^{3}$ MatBrain 株式会社
\{taiga98-0809, oseki\}@g.ecc.u-tokyo.ac.jp
shindo@is.naist.jp

## 概要

近年多くの場面で活躍するニューラル言語モデル が、自然言語に内在する統語構造をどれほど理解し ているのかを検証する研究が盛んである。しかし、検証のためのデータセットを言語学論文の例文をも とに作成する際には、人手での例文抽出が不可欠で あり、それゆえにデータセットの規模を容易に拡大 することができないという課題があった。本研究で は、情報抽出の技術を言語学の分野に応用し、理論言語学の論文や教科書等から自動で例文を抽出する ことで、複雑な統語現象を扱いつつ、かつ大規模で あるという特徴を併せ持つ初めてのデータセットの 構築を試みる。

## 1 はじめに

近年、翻訳や文章要約、文法誤り訂正等さまざま な場面で、ニューラル言語モデルが活躍している。特に Transformer [1] をべースとしたモデルの精度は 非常に高く、様々なタスクで高い精度を発揮してい る $[2,3]$ 。一方、理論言語学の分野では、自然言語に は一種の統語構造が存在しているということが伝統的に主張されてきている $[4,5]$ 。確かに、先述のよ うなニューラル言語モデルは多くの自然言語処理夕 スクで高性能を発揮し、多くのアプリケーションの 基盤となっているが、そのようなニューラル言語モ デルが自然言語の統語構造をどれほど理解している のかについては、未だ多くが分かっていない。

このような背景から、ニューラル言語モデルが実際にどれほどの統語知識を獲得しているのかを検証 する研究が盛んに行われている。近年は、特に言語 モデルの統語的評価を行うための大規模なデータ セットを作った上で、それを用いて言語モデルを評価する研究が盛んになってきている $[6,7,8,9]$ 。そ のような研究の例としては、Warstadt et al. (2019) [6]
や Trotta et al. (2021) [8] のように、より複雑な統語現象を取り扱う理論言語学のジャーナル論文や教科書から例文を抽出することによりデータセットを作成するという方法がある。これにより、自動生成に より作成されたデータセットに比べて、より複雑な 統語現象を扱うデータセットを作成することができ る一方で、例文の抽出作業は人手で行う必要がある ため、自動生成の場合と比べてそのデータセットの 規模に課題があった。また、このようなデータセッ 卜を日本語で作成した例がなかったことなどから、理論言語学のジャーナル論文をもとに JCoLA [10] が構築されたが、依然データセットの規模の問題は 解決されていない。

そこで本論文では、情報抽出の技術を言語学の分野に応用し、理論言語学の論文や教科書等から自動 で例文を抽出する試みを紹介する。これにより、理論言語学で議論されている複雑な統語現象を扱いつ つ、かつ大規模であるという特徵を併せ持つ初めて のデータセットの構築が可能になる。

## 2 言語モデルの統語的評価

近年は、Linzen et al. (2016) [11]を端緒として、統語的評価用のデータセットを用いて、言語モデル がどれほどの統語知識を獲得しているのかを検証する研究が盛んである。Warstadt et al. (2019) [6] は、理論言語学のジャーナル論文や教科書から例文を抽出し、言語モデルの 2 値分類性能をテス トする大規模データセットである CoLA (Corpus of Linguistic Acceptability) ${ }^{1)}$ を構築した。CoLAなどの 言語学の論文中の例文から構築されているデー タセット $[6,8]$ は、理論言語学の論文や教科書か ら例文を抽出しているため、理論言語学で扱われ ている複雑な統語現象 (Class III judgments, Marantz

1）英語を対象とした大規模な言語理解ベンチマークである GLUE [2] に含まれるデータセットの一つともなっている。
表 1 既存の統語的評価用大規模データセットと JCoLA

2005 [12]; Linzen and Oseki 2018 [13] 参照)を対象と した評価が可能になっているものの、例文の抽出を 人手で行っているため、その規模を容易に拡大し ていくことが困難であるという特徴があった。一方、Warstadt et al. (2020) [7] は、ミニマルペアを自動生成してまとめた大規模データセット BLiMP（The Benchmark of Linguistic Minimal Pairs for English) を構築した。BLiMPなど例文の自動生成を行うことで 構築されたデータセット $[14,7,15]$ は、自動生成を おこなっているためそのデータセットの規模が大き く、さらにその拡大も容易であるが、ある特定のパ ターンにより例文が生成されるため、複雑な統語現象を扱うことができないという問題点があった。

一方で、以上の言語モデルの統語知識を検証する 試みは、その大多数が英語を対象としたものであ る。一部の研究で対象を英語以外にも拡張した検証 $[16,17,18,15]$ が行われてはいるが、幅広い統語現象を対象とし、かつ英語以外で検証を行った研究 は非常に限られている $[8,9]$ 。特に日本語において は自然言語処理の分野で広く使われる言語モデルの 統語知識を評価するベンチマークとなるようなデー タセットは存在しておらず、言語モデルが英語等の 一部の言語だけではなく、自然言語一般の統語現象 を捉えられているかどうかについての明確な証拠を 得ることはできない状況であると考えられる。

そのような背景から、染谷・大関 (2022) [10] では 理論言語学のジャーナル論文から例文を手動で抽出することで、日本語を対象とした言語モデルの統語的評価用データセット JCoLA (Japanese Corpus of Linguistic Acceptability)を作成した。しかし、その作業の性質上データセットの規模の拡張が難しいと いう問題点は解決することはできず、総例文数は 2,323 文にとどまった（表 1)。

本論文では、すでに化学分野等の論文から自動で 図表等の情報を抽出するために用いられている情報抽出の技術を言語学の分野に応用し、理論言語学の 論文から自動で例文を抽出する試みを紹介する。こ れにより、理論言語学で議論されている複雑な統語現象を扱いつつ、かつ大規模であるという特徴を併 せ持つ初めてのデータセットの構築が可能となる。

## 3 JCoLA の拡張

## 3.1 データ収集

本研究では、東アジア・東南アジア言語の理論言語学のジャーナルとして著名な JEAL (Journal of East Asian Linguistics) 、また世界的に著名な理論言語学 のジャーナルである LI (Linguistic Inquiry) と NLLT (Natural Language Linguistic Theory)のそれぞれにお いて 2006 年から 2020 年の 15 年間で掲載された論文の中で、特に日本語の統語論を扱う論文を対象と して、それらの論文に含まれる例文の自動抽出を 行う。

これにより、理論言語学の分野で頻繁に議論され ているような、複雑な統語現象 (Class III judgments, Marantz 2005[12]; Linzen and Oseki 2018[13] 参照) を 伴う例文を収集することができると考えられる。ま た、レイアウトの異なる複数のジャーナルを対象と することで、各ジャーナルごとのレイアウトの差異 に堅牢な情報抽出モデルの学習が可能となる。

## 3.2 訓練・評価用データの作成

前節で収集した論文 PDF はそのままでは情報抽出モデルの訓練・評価用データとして直接的に用い ることは出来ず、情報抽出モデルの入力として適切 な形式にするには、PDFからテキストを抽出し、か つどの範囲が抽出すべき例文に該当するのかのアノ テーションを行うことが必要となる。本研究では、 PDF に対して直接アノテーションを行い、結果をテ キスト形式で取り出すことができる PDFAnno [19] を用いて、論文PDFからアノテーション済みのテ キストを抽出する2)。具体的には、論文 PDF 上の各 ページごとに例文として抜き出すべき行の範囲のア ノテーションを行った上で、本文とアノテーション を PDF に埋め込まれている単語ごとの座標情報と 共にテキストに出力する。そして、その出力テキス トを行単位に分割することで、情報抽出モデルの訓練・評価用データを用意する。

2） PDFAnno のインターフェースについては、付録 A を参照さ れたい。

## 3.3 例文抽出

## 3.3.1 問題設定

化学分野等では、すでに固有表現抽出や関係抽出 の技術を用いて論文から情報抽出を行う試みがあ る。本研究ではその情報抽出の技術を言語学分野に 危用することで、言語学論文からの例文の自動抽出 を試みる。

ここで、論文 PDF から例文を抽出するためには、前節で用意されたアノテーション済みデータにつ いて、例文が含まれる行の範囲を予測する必要が あるが、本研究では、固有表現抽出の手法として 一般的な BIO-tagging の手法 $[20,21]$ の変種である BIEOS-tagging の手法を用いて例文が含まれる行の スパン予測を行う。具体的には、例文の先頭とな る行に B (Beginning)、例文中となる行に I (Inside)、例文の範囲外には $\mathrm{O}$ (Outside)、例文の最終行に $\mathrm{E}$ (End)、さらに 1 行からなる例文の行に S (Single) と いうラベルを予測するモデルを学習することによ り、例文が含まれる行のスパンを予測し例文を抽出 する。

## 3.3.2 モデルアーキテクチャ

固有表現抽出を行うモデルとしては、ゲート付 き畳み込みニューラルネットワーク (GCNN; Gated Convolutional Neural Network) [22] ${ }^{3)}$ と CRFを組み合 わせたモデルを使用する。

本研究で用いる GCNN の隠れ状態 $\boldsymbol{h}_{0}, \cdots, \boldsymbol{h}_{L}$ は 以下のように計算される。

$
\boldsymbol{h}_{l}\left(\boldsymbol{h}_{l-1}\right)=\boldsymbol{h}_{l-1} \otimes \sigma\left(\boldsymbol{h}_{l-1} * W+b\right)
$

ここで、 $\boldsymbol{W}, \mathrm{b}$ は学習されるパラメータであり、 $\boldsymbol{h}_{0}$ は、入力ベクトル系列 $\boldsymbol{X}=x_{0}, \cdots, x_{N}$ に相当する。 また、 $\sigma$ はシグモイド関数であり、 $\otimes$ はアダマール 積を表す。

また CRF (linear-chain CRF) は、GCNNにより得ら れた入力系列の特徴ベクトルを入力とし、最も尤度が高い BIEOS ラベルの系列を出力するモデルで ある。

$
P\left(\boldsymbol{y} \mid \boldsymbol{h}_{t}, \boldsymbol{W}, b\right)=\frac{\prod_{t=i}^{n} \exp \left(\boldsymbol{W}^{y_{t-1}, y_{t}} \boldsymbol{h}_{t}+b\right)}{\sum_{\boldsymbol{y}^{\prime}} \prod_{t=i}^{n} \exp \left(\boldsymbol{W}^{y_{t-1}, y_{t}} \boldsymbol{h}_{t}+b\right)}
$

ここで、 $\boldsymbol{W}, \mathrm{b}$ は学習されるパラメータである。

3）ゲート関数は本論文とは異なり、 $h_{l}\left(\boldsymbol{h}_{l-1}\right)=\left(\boldsymbol{h}_{l-1} * W+b\right) \otimes$ $\sigma\left(\boldsymbol{h}_{l-1} * V+C\right)$ で隠れ状態が計算される。ただし、 $\boldsymbol{W}, \boldsymbol{V}, b, c$ は学習されるパラメータである。
ラベルの予測の際には、1) 各行の単語列の埋め 込み行列と単語の座標情報の埋め込み行列の連結 を入力として、GCNNを用いて各行に対応する特徵ベクトル $\boldsymbol{h}_{\text {row }}^{1}, \cdots, \boldsymbol{h}_{\text {row }}^{N}$ を計算したのちに、2)さ らにその各行の特徴べクトルを入力として、GCNN を用いて周辺の行の情報を考慮した各行のより良 い特徴べクトル $\boldsymbol{h}_{\text {row }}^{\prime 1}, \cdots, \boldsymbol{h}_{\text {row }}^{\prime N}$ を計算し、3) 最後 に、そのべクトルを入力として CRFで BIEOS ラベ ル $y_{1}, \cdots, y_{N}$ の予測を行う。情報抽出モデル全体 のアーキテクチャについては、付録 B を参照され たい。

また、モデルのアーキテクチャについては今後検証を進めていく段階で変更する可能性も考 えられる。例えば、GCNN の部分を双方向 LSTM (Bidirectional Long Short-Term Memory) モデルに変更 することなどが考えられるが、モデルの最終的な選定は今後の課題としたい。

## 3.3.3 予備実験

$\mathrm{JEAL} \cdot \mathrm{LI} ・ \mathrm{NLLT}$ の各論文の 2 年間（2006 年-2007 年）で収録されている日本語統語論に関する論文す べて（各 5 報の合計 15 報、合計 381 ページ）を学習・訓練データとして、予備実験を行った。全 381 ページのうち $90 \%$ を学習データ、残りの $10 \%$ を評価データとした。すべてのデータについて、例文 の先頭となる行に B (Beginning)、例文中となる行に I (Inside)、例文の範囲外には O (Outside)、例文の最終行に E (End)、さらに 1 行からなる例文の行に S (Single) のラベル付けがされている。学習は 10 エ ポック行った。

表 2 予備実験の結果

タグレベルとスパンレベルでの結果を表 2 に示 す。ここで、タグレベルでの評価では、ある行のモ デルの予測が正解のラベルと一致していたら正解と 見做されており、スパンレベルの評価では、ある例文の範囲全体に対するモデルの予測が正解のラベル と完全一致した場合にのみ正解と見做されている。

スパンレベルの評価を見ると、15 報という少量な データにも関わらず 8 割程度の精度を達成できてい るという結果になった。また、タグレベルでの評価 において S-example の精度が悪くなっているのは、 その事例数が少ないためと考えられ、学習データを 増やすことによって解決し得る問題であると考えら れる。

## 3.4 後処理

前節までにより、対象の論文から例文が自動で抽出されるが、一般に言語学の論文の例文は以下のよ うな形で提示される。

(1) Taroo-ga Hanako-ni/*o au.

Taroo-Nom Hanako-Dat/Acc see

'Taroo sees Hanako.' (Takahashi, 2006) [23]

各行はそれぞれ上から 1) 例文、2) グロス4)、3) 英語訳に対応する。このように、各行はそれぞれ性質の 異なるテキストとなっているため、抽出後に後処理的に分割が必要となる。また、英語で書かれた論文 を対象とする際には、例文は漢字やひらがなではな くローマ字を用いて提示されているため、それらを 漢字平仮名混じりの例文へと変換する必要がある。 さらに、(1) の例文には-ni/*o という部分があるが、「に」を用いるのは文法的だが、「を」を用いるのは

う。」は正文であるが「太郎は花子を会う。」は非文 であるということを、この 1 行で示している。こち らについても、データセットに含めるためには後処理的に 1 行から 2 文への変換を行う必要がある。

## 3.5 今後の展望

以上で紹介した手法を用いて、その規模に課題を 抱えている JCoLA[10] の例文数を、まずは既存の言語学論文の例文に基づくデータセット $[6,8]$ に匹敵 する 10,000 文規模に拡張する予定である。その後、必要に応じてさらにデータセットの規模を拡大して いく予定である。

一方、言語学の論文には純粋な統語的制約の違反 によって容認不可能とされている例に加えて、ある 特定の解釈をすることができないという意味におい て容認不可能とされている例もある。

ここで、(2)は「ジョン」が「書いた」という動作の 主体であると解釈される場合にのみ容認不可能な例 であるが、言語モデルにこの文の容認度を予測させ る際に、ある特定の解釈を強制することは難しく、 したがってデータセットに含めるのが必ずしも適切 ではない例となる。以上のような例への対応につい ては、今後の検討事項としたい。

## 4 おわりに

本論文では、すでに他分野で応用が進んでいる情報抽出の技術を言語学の分野に応用し、理論言語学 の論文から自動で例文を抽出することで、言語モデ ルの統語的評価のためのデータセットを作成する 試みを紹介した。既存の言語モデルの統語的評価用 データセットは、例文を手動で抽出していたことに よりデータの規模を容易に拡大できないという課題 $[6,8]$ や、例文を自動で生成していたことにより 必ずしも複雑な統語現象を対象にした検証ができ るデータセットではないという課題 $[7,9]$ を抱えて いた。

本論文で紹介した言語学論文からの例文の自動抽出が実現すれば、理論言語学の論文で問題となって いるような複雑な統語現象を扱い、かつ大規模であ るという既存のデータセットにはなかった特徴を持 つ言語モデルの統語的評価のためのデータセットを 作成することが可能になるだろう。

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受 けたものです。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł Ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I Guyon, U V Luxburg, S Bengio, H Wallach, R Fergus, S Vishwanathan, and R Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[2] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In International Conference on Learning Representations, 2019.

[3] Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. Superglue: A stickier benchmark for general-purpose language understanding systems. CoRR, Vol. abs/1905.00537, ,

2019.

[4] Noam Chomsky. Syntactic structures. Mouton, 1957.

[5] Martin B H Everaert, Marinus A C Huybregts, Noam Chomsky, Robert C Berwick, and Johan J Bolhuis. Structures, not strings: Linguistics as part of the cognitive sciences. Trends Cogn. Sci., Vol. 19, No. 12, pp. 729-743, December 2015.

[6] Alex Warstadt, Amanpreet Singh, and Samuel R Bowman. Neural network acceptability judgments. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 625-641, November 2019.

[7] Alex Warstadt, Alicia Parrish, Haokun Liu, Anhad Mohananey, Wei Peng, Sheng-Fu Wang, and Samuel R Bowman. BLiMP: The benchmark of linguistic minimal pairs for english. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 377-392, December 2020.

[8] Daniela Trotta, Raffaele Guarasci, Elisa Leonardelli, and Sara Tonelli. Monolingual and cross-lingual acceptability judgments with the Italian CoLA corpus. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 2929-2940, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[9] Beilei Xiang, Changbing Yang, Yu Li, Alex Warstadt, and Katharina Kann. CLiMP: A benchmark for Chinese language model evaluation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2784-2790, Online, April 2021. Association for Computational Linguistics.

[10] 染谷大河, 大関洋平. 日本語版 CoLA の構築. 言語処理学会第 28 回年次大会, 2022.

[11] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of LSTMs to learn Syntax-Sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, December 2016.

[12] Alec Marantz. Generative linguistics within the cognitive neuroscience of language. Vol. 22, No. 2-4, pp. 429-445, 2005.

[13] Tal Linzen and Yohei Oseki. The reliability of acceptability judgments across languages. Glossa: a journal of general linguistics, Vol. 3, No. 1, 2018.

[14] Rebecca Marvin and Tal Linzen. Targeted syntactic evaluation of language models. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 11921202, Brussels, Belgium, 2018. Association for Computational Linguistics.

[15] Aaron Mueller, Garrett Nicolai, Panayiota Petrou-Zeniou, Natalia Talmina, and Tal Linzen. Cross-linguistic syntactic evaluation of word prediction models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Stroudsburg, PA, USA, 2020. Association for Computational Linguistics.

[16] Kristina Gulordava, Piotr Bojanowski, Edouard Grave, Tal Linzen, and Marco Baroni. Colorless green recurrent networks dream hierarchically. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1195-1205, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[17] Shauli Ravfogel, Yoav Goldberg, and Francis Tyers. Can LSTM learn to capture agreement? the case of basque. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 98-107, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[18] Aixiu An, Peng Qian, Ethan Wilcox, and Roger Levy. Representation of constituents in neural language models: Coordination phrase as a case study. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2888-2899, Hong Kong, China, November 2019. Association for Computational Linguistics.

[19] Hiroyuki Shindo, Yohei Munesada, and Yuji Matsumoto. PDFAnno: a Web-based Linguistic Annotation Tool for PDF Documents. In Nicoletta Calzolari (Conference chair), Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Koiti Hasida, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Asuncion Moreno, Jan Odijk, Stelios Piperidis, and Takenobu Tokunaga, editors, Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 7-12, 2018 2018. European Language Resources Association (ELRA).

[20] Lance Ramshaw and Mitch Marcus. Text chunking using transformation-based learning. In Third Workshop on Very Large Corpora, 1995.

[21] Lev Ratinov and Dan Roth. Design challenges and misconceptions in named entity recognition. In Proceedings of the Thirteenth Conference on Computational Natural Language Learning (CoNLL-2009), pp. 147-155, Boulder, Colorado, June 2009. Association for Computational Linguistics.

[22] Yann N. Dauphin, Angela Fan, Michael Auli, and David Grangier. Language modeling with gated convolutional networks. In Proceedings of the 34th International Conference on Machine Learning - Volume 70, ICML'17, p. 933-941. JMLR.org, 2017.

[23] Daiko Takahashi. Apparent parasitic gaps and null arguments in japanese. J. East Asian Ling., Vol. 15, No. 1, pp. 1-35, 2006.

[24] Yasutada Sudo. Hidden nominal structures in japanese clausal comparatives. J. East Asian Ling., Vol. 24, No. 1, pp. 1-51, 2015.

[25] Hideki Kishimoto. Ditransitive idioms and argument structure. J. East Asian Ling., Vol. 17, No. 2, pp. 141-179, 2008.

## A PDFAnno のユーザーインターフェース

図 1 PDFAnno のインターフェース。例文の範囲を PDF に直接アノテーションできる。論文は Kishimoto (2008) [25]。

B モデルアーキテクチャ

図 2 情報抽出モデル全体のアーキテクチャ。Coord. はPDF 文書に埋め込まれている単語の座標情報である。


# 物理モデル自動構築に向けた変数アノテーションツールの開発

加藤 祥太 加納 学
京都大学大学院情報学研究科
katou. shouta.23v@st.kyoto-u.ac.jp
manabu@human.sys.i.kyoto-u.ac.jp

## 概要

製造業におけるデジタルツイン実現に不可欠な 物理モデルの構築には多大な労力を要する.この 問題を解決するために，著者らは，文献情報から 物理モデルを自動で構築するシステム（Automated physical model builder; AutoPMoB）の開発を目指して いる. AutoPMoB の実現に向けた複数の要素技術の 開発には専用のデータセットが必要である. 本研究 では，文献中の変数の記号とその定義を含むデータ セットを作成するためのアノテーションツールを開発した。開発したツールを用いてプロセスの物理モ デルに関する論文 28 報に含まれる変数の記号とそ の定義をまとめたデータセットを作成した.

## 1 はじめに

化学や鉄鋼などのプロセス産業において，物理や 化学の法則に基づく物理モデルはプロセスの設計や 運転に必要不可欠である. 物理モデルの構築にはプ ロセスに関する深い理解と専門知識に加えて精度向上のための試行錯誤的な取り組みが必要なため, 多大な労力を要するという問題がある.

著者らはこの問題を解決するために，文献情報か ら物理モデルを自動で構築する人工知能 (Automated physical model builder; AutoPMoB）の開発を目指して いる. AutoPMoB は，1）文献データベースから対象 プロセスに関する文書を収集し，2）文書の形式を HTML 形式に変換し，3）物理モデル構築に必要な 情報（数式，変数，実験データなど）を抽出し，4）複数の文書から抽出した情報の同義性を判定して表現を統一し，5）その情報を統合して所望の物理モ デルを構築する。

AutoPMoB を実現するためには上述の 5 つのタス クを実行するための要素技術を開発する必要があ る. 著者らはこれまでにタスク 3 に関連する変数を 正確に抽出する手法の開発 [1] やタスク 4 に関連す る数式群の同義性判定手法の開発に取り組んでき
た [2]. さらなる要素技術を開発するためにはプロ セスに関する文献に情報を付与したデータセットが 必要である．本稿では，変数の定義抽出と同義性判定の技術の開発に必要なデータセットを作成する.

従来の変数の定義抽出に関連する研究 $[3,4,5,6]$ は，Wikipedia の記事や arXiv.org に掲載されている 論文を対象としており，HTML 文書中の math タグ が付与された要素や TeX 文書中の数式をスペースで 区切ることで得られるトークン，記述子などに対応 する定義を抽出していた. プロセスに関する文献で は，単一の記号で表される変数に加えて下付き文字 がついた変数や複数の記号で表される変数などが登場するが，従来の研究ではプロセスに関する文献は ほとんど扱われていない。また，従来の研究で用い ることを想定したアノテーションツールがいくつか 存在するが，工学分野の文献に特化したツールはな く，上述の変数と定義に特化したデータセットも存在しない.

そこで，本研究では，工学分野の文書から変数の 記号を自動で抽出するアルゴリズムを提案し，抽出 した変数の記号に対応する定義を付与する際に役立 つアノテーションツールを開発する。 さらに，その ツールを用いてプロセス関連の論文に対してアノ テーションをおこなう.

## 2 変数を意味する記号の抽出方法

科学文書中の数式を対象とした研究の多くは HTML 形式または TeX 形式の文書を扱っている.数式は, HTML 形式の文書では Mathematical Markup Language (MathML) 形式で, TeX 形式の文書ではコ マンドを用いて記述されるため，それらから数式は 容易に抽出できる. HTML 形式の文書が Web ペー ジで入手可能であること，PDF 形式の文書を HTML 形式に変換するツールが開発されていることを踏ま え，本稿では HTML 形式の文書を対象とする。な お， $\mathrm{LT}_{\mathrm{E}} \mathrm{XML}[7]$ のようなソフトウェアで TeX 形式 の文書を HTML 形式に変換することも可能である.

プロセスの物理モデルに関する文献では， $T$ のよ うに単一の記号で表される変数だけでなく, $T_{\mathrm{R}} や$ $\hat{y} ， \Delta E$ のように複数の記号で表される変数も存在す る.このような変数を表す記号を自動で抽出するた めのアルゴリズムを Algorithm 1 に示す.

この変数記号抽出アルゴリズムでは，まず， HTML 形式の文書 $d$ に含まれる msup タグが付与さ れた要素（上付き文字がついた記号）の一覧 $\mathscr{E}_{\text {msup }}$ を取得する (1 行目). 各要素の上付き文字に該当 する記号列がすべて立体（ローマン体）でない場合，その要素が累乗を表すと判断し， $d$ に含まれ る当該要素と同じ文字列を記号 ^を用いた表記に 置換する (2-8 行目).これにより累乗と付加的な 情報を表す上付き文字を区別する（例えば， $T^{\mathrm{R}}$ は
1 つの変数であるが， $T^{R}$ は $T$ の 乗である)．次 に, $d$ から math タグが付与された要素の一覧 $\mathscr{E}_{\text {math }}$ を得る (9 行目). HTML 形式の文書における math タグが付与された要素は, TeX 形式の文書におけ る数式環境（\begin\{equation\}...lend\{equation\}, } \begin\{eqnarray\}...lend\{eqnarray\}，\$..\$など) } に対応する. $\mathscr{E}_{\text {math }}$ の各要素について, 複数の記号 が連続した文字列（ $\Delta E$ や $\delta t$ など）のみが存在する 場合，その文字列を変数として抽出し，同じ文字列 を $d$ から削除する（11 行目から 18 行目）. 最後に，上述の処理をした $d$ から math タグが付与された要素の一覧 $\mathscr{E}_{\text {math }}^{\prime}$ を得て，各要素に含まれる変数を抽出する (19 行目から 24 行目).ここで抽出される変数は 1 つの記号，または 1 つの記号に上付き文字，下付き文字，上下の装飾（‘など）のいずれか，ある いはそれらの組み合わせがついた文字列である.

## 3 アノテーションツール

科学文書中の変数を表す記号（変数記号）に対し て定義（変数定義）を付与する際には，文書中の変数記号を特定し，変数定義に該当する名詞句を割り 当てる. 本稿ではこの作業の実行者をアノテータと 呼ぶ. 著者らは，アノテータが文書中の変数記号と 変数定義をまとめたデータを作成するためのツール を開発した。

本ツールを用いる際，各変数記号に対して文中 の変数定義と正しい変数定義を入力する必要が ある.これは，文中の変数定義が変数記号の意味 として必要十分ではない場合があるからである.例えば， $C_{\mathrm{A}}$ and $C_{\mathrm{B}}$ are concentrations of $\mathrm{A}$ and B. とい う文において，変数記号は $C_{\mathrm{A}}$ と $C_{\mathrm{B}}$ であり，それ に対応する正しい変数定義は concentration of A と concentration of B であるが，文中の変数定義はいず れも concentrations of A and B である. 文中の変数定義（concentrations of A and B）を抽出してから，それ が必要十分かを識別し処理することで正しい定義 （concentration of A と concentration of B）を得る定義抽出手法を今後開発していく予定である.

アノテーションツールの使用画面を図 1 に示す.最初に画面上部で対象とする文書を選択する（1）.本ツールは Algorithm 1 に従って選択された文書か ら変数記号を自動で抽出しIDを付与する. 画面左側には文書中のテキストが表示される（2），各変数記号が MATH_ID の文字列に置換されたテキスト （Processed text）と元のテキスト（Original text）の 2

## Annotation tool

Processed text

## III. CSTR Process Description

In this paper, we consider the control problem of an ideal jacketed Continuously Stirred Tank Reactor (CSTR) system (Fig.1), where the following exothermic and irreversible firstorder reaction is taking place:

$\mathrm{A} \rightarrow \mathrm{B}(7)$

With a kinetic rate law:

-MATH $\_0000=$ MATH_0015 $($ MATH_0016)MATH_0001 = MATH_0002exp

Under the assumptions of constant volume, perfect mixing inside the reactor and constant reacting mixture heat capacity, one may write down the following mass balance for species $A$, as well as an overall energy balance for the reactor:

$\frac{\text { dMATH_0001 }}{\text { dMATH_0019 }}=$ invalid-markup $($ MATH_0003 - MATH_0001) - MATH_001s
$\frac{\text { dMATH_0016 }}{\text { dMATH_0019 }}=$ invalid-markup $\left(\right.$ MATH_0004 - MATH_0016) $-\frac{\text { MATI }}{\text { MATH_002' }}$

Under the assumptions of uniform temperature of the jacket fluid inside the circulation tubes and constant water heat capacity, an energy balance for the jacket may also be written down:

$\frac{\text { dMATH_0008 }}{\text { dMATH_0019 }}=$ MATH_0009invalid-markup $($ MATH_0012 - MATH_0008) +

In equations (7)-(1) MATH_0019 is the time, MATH_0025 are concentrations, MATH_0016 represents temperatures, MATH_0008 is the jacket temperature, MATH_0006 is used for specific heat capacities, MATH_0020 represents volumetric flow rate, MATH_0011 is overall effective mass of the heating/cooling system, MATH_0021 is reactor volume, MATH_0022 represents densities, MATH_0007 is the heat exchange surface, MATH_0013 is heat capacity of water, MATH_0024 is power input to the heater, MATH_0012 is temperature of cooling water and MATH_0023 is the heat transfer coefficient. The numerical values taken from [8] (see, [9] for more details on CSTR). A linear model will be developed around the steady-state operating point. The linearization will be respect to MATH_0001 and MATH_0016,

Original text $(2)$

Choose variable No.

26

HTML format: <mi>u</mi>

TeX format: $\mathbf{u}$

Select the sentence including the variable definition.

$
\text { The goal is to contr... }
$

[

0 :

"The goal is to control the reactor composition by manipulating the cool rate through the control signal MATH_0026."

Input the variable definition in the sentence.

the control signal

[

๑ : "the control signal"

]

Input the correct variable definition.

the control signal

$\checkmark$

○ : "the control signal"

]

 &  &  \\

図 1 アノテーションツールの使用画面

種類を表示可能である. アノテーションは 1 変数記号単位でおこなう。アノテータは，画面右側でアノ
テーションをする変数記号を選択してから（3），変数定義を表す名詞句が含まれる文を選択し（4），
文中の変数定義と正しい変数定義を手作業で入力す る (5). 複数の文に変数定義が登場する場合，そ れらをすべて抽出する。 選択した文の数と入力した 文中の変数定義の数が異なるときや選択した文に変数定義が含まれないときには警告文が出力される.入力が終了したら Save ボタンを押して情報をファ イル（xlsx 形式）に保存する（6）. 変数定義が存在 する文がなければ文を選択せずに Save ボタンを押 し，変数定義が存在する文がない，という情報を保存する．保存された情報は画面上で確認できる。

各変数記号に対して以下の 8 つの情報を保存 する.

## $\cdot$ ID
- 変数記号の文字列 (HTML 形式)

・変数記号の文字列 (TeX 形式)
- 文中の変数定義
- 正しい変数定義

・変数定義が存在する文の番号
- 変数定義が存在する文の文字列
- 正しい変数定義が抽出可能か否か（文中の変数定義と正しい変数定義が一致するか)

本アノテーションツールは Python で実装し, UIに は Streamlit [8] を，テキストの文分割には Stanza [9] を使用した。

## 4 データセット作成

連続槽型反応器 (CSTR) に関する論文 10 報, 熱交換器に関する論文 7 報, 晶析プロセスに関する論文 11 報を対象に，開発したツールを使用して変数記号 と変数定義を含むデータセットを作成した. これら の論文は PDF 形式で入手したため, InftyReader [10] で TeX 形式に変換したのちに，もとの論文を再現す るように人手で修正し, LATEXML で修正後の TeX 形式の論文を HTML 形式に変換した。

作成したデータセットの統計情報を表 1 に示す.抽出された変数の総数は 1,094 , 文中に変数定義が 存在する変数の数は 680 , 文中に存在する変数定義 と正しい変数定義とが少なくとも 1 つ一致した変数 の数は 513 であった. 論文単位の変数の数の最小値 は 16, 最大値は 96, 平均値は 39 であった.

このデータセットはアノテータ 1 名（第一著者） が作成した. 作業ぺースは論文に含まれる変数の数 によるが，1 報あたり約 30 分であった. ツールを用 いずに上述の 8 つの情報を手作業で保存する場合,表 1 データセットの統計情報. $V$ は変数集合, $V_{\mathrm{ext}}$ は文中に変数定義が存在する変数の集合, $V_{\mathrm{cor}}$ は文中の変数定義と正しい変数定義が一致した変数の集合である. $|V|$ は $V$ に含まれる要素数を表す。

論文 1 報あたりの処理時間は 1 時間以上だったた め, 本ツールによって大幅に作業を効率化できた.今後は, 複数名のアノテータで上述の 3 つのプロセ ス以外のプロセスに関する論文と書籍を対象にして アノテーションをおこない，データセットを拡張す る予定である。

## 5 おわりに

本研究では，製造プロセスの物理モデルに関する 文献に含まれる変数を表す記号（変数記号）とその 定義（変数定義）からなるデータセットを作成する 作業を効率化するアノテーションツールを開発し た. 作業者（アノテータ）は本ツールによって自動 で抽出される変数記号に対して，変数定義を手作業 で入力する。開発したツールを用いて製造プロセス 関連の論文 28 報に対して変数記号と変数定義を含 むデータセットを作成した. 本ツールとデータセッ トは公開予定である.

開発したツールは今後も改良を続けていく，具体的には以下の機能を追加予定である.

PDF 形式の文書の扱い 本稿では, PDF 形式の 文書を $\mathrm{TeX}$ 形式に変換したが，数式や本文の一部 が正しく変換されなかったため, 手作業で修正し た. 今後, PDF 形式の文書を入力として扱えるよう に, TeX 形式への変換精度の改善に取り組む予定で ある.

定義の候補の提示 現状，アノテータは本文から 定義に該当する名詞句を探し出す必要がある. アノ テータがより効率的に定義を発見するためには，定義の候補を出力することが有効であると考えられ る. アノテータの負担を軽減するために，変数定義 の抽出技術を組み合わせ，定義候補を提示できるよ うにする予定である.

## 謝辞

本研究は JSPS 科研費 JP21K18849 および JST 次世

代研究者挑戦的研究プログラム JPMJSP2110の助成

を受けたものです。

## 参考文献

[1] Shota Kato and Manabu Kano. Identifier information based variable extraction method from scientific papers for automatic physical model building. PSE Asia, Paper No. 210043, 2020.

[2] 張純朴, 加藤祥太, 金上和毅, 加納学. ルールベース手法による数式群の同義性判定. 言語処理学会第 27 回年次大会発表論文集, pp. 279-282, 2021.

[3] Giovanni Yoko Kristianto, Goran Topić, and Akiko Aizawa. Extracting textual descriptions of mathematical expressions in scientific papers. D-Lib Magazine, Vol. 20, No. 11, 2014.

[4] Moritz Schubotz, Alexey Grigorev, Marcus Leich, Howard S Cohl, Norman Meuschke, Bela Gipp, Abdou S Youssef, and Volker Markl. Semantification of identifiers in mathematics for better math information retrieval. In SIGIR 2016 - Proceedings of the 39th International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 135-144, 2016.

[5] Moritz Schubotz, Leonard Krämer, Norman Meuschke, Felix Hamborg, and Bela Gipp. Evaluating and improving the extraction of mathematical identifier definitions. In Conference and Labs of the Evaluation Forum (CLEF), Dublin, Ireland, pp. 82-94, 2017.

[6] Hwiyeol Jo, Dongyeop Kang, Andrew Head, and Marti A Hearst. Modeling mathematical notation semantics in academic papers. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 3102-3115. Association for Computational Linguistics, 2021.

[7] Bruce Miller. ${ }^{2} T_{E} X M L$ The Manual-A ${ }^{2} T_{E} X$ to XML/HTML/MathML Converter, Version 0.8.3. https: //dlmf.nist.gov/LaTeXML/, 2018. (Accessed on 2021/11/06).

[8] Streamlit - the fastest way to build and share data apps. https://streamlit.io/. (Accessed on 01/10/2022).

[9] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108, Online, July 2020. Association for Computational Linguistics.

[10] M. Suzuki, F. Tamari, R. Fukuda, S. Uchida, and T. Kanahori. Infty: An integrated ocr system for mathematical documents. In Proceedings of the 2003 ACM Symposium on Document Engineering, p. 95-104, 2003.


# MioGatto による数式グラウンディングデータセットの構築

朝倉卓人

東京大学

takuto@is.s.u-tokyo.ac.jp宮尾祐介

東京大学

yusuke@is.s.u-tokyo.ac.jp相澤彰子

国立情報学研究所

aizawa@nii.ac.jp
## 概要

計算機を用いた科学技術文書の読解には，数式内 の 1 つ 1 つの記号の意味をグラウンディングできる ことが重要である．現実の科学技術文書においては 数式内の記号の意味は必ずしも一定ではなく, 同じ 記号が複数の意味で用いられるため，グラウンディ ングの際には記号間の共参照関係も明らかにする必要がある. 本研究では arXiv.org から選んだ 15 本の 科学論文を対象に, 数式内の記号の共参照関係を明示的にアノテーションしたコーパスの構築を行っ た. その結果, 数式内の記号の曖昧性は狭い範囲に 絞っても存在するほど複雑だが，共参照関係は高い アノテータ間一致率を保ちながらラベル付け可能で あることが示された.

## 1 はじめに

論文や専門書などの科学技術文書に書かれた知識 を，検索・数式処理・定理証明支援などの計算機を 応用した諸技術を用いて十分に活用するためには，文書中の自然言語テキストのみならず数式について も解析を行うことが必須である. そして, 自然言語中の数式解析を行うには，数式内に現れる 1 つ の文字や記号（トークン）がどのような意味で用い られているのかを明らかにする必要がある．著者ら はこれまでに，この部分の処理を数式グラウンディ ングとして定式化・提案してきた $[3,4]$. このタス クは各数式トークンに対してそれぞれ文脈に応じた 説明を付与する説明アライメントタスク（図 1）と， まったく同じ意味で用いられているトークンとそう でないトークンを判別する共参照解析タスクの 2 つ の性質を併せ持つ.

計算機による科学技術文書理解の達成には，数式 グラウンディングの自動化が必要である. 自動化手法の開発を目指し, 著者らはまず実際にグラウン ディングされたデータの観察・分析・学習・評価の ため人の手によるグラウンディング結果のアノテー

図 1 説明アライメント

ションを付したコーパス構築に取り組んだ。一般に 共参照情報のアノテーションは特に高コストであ るため [12] 著者らは専用のアノテーションツール MioGatto ${ }^{1)}$ を開発してデー夕構築プロセスを効率化 した [5]. その上で，実際に MioGatto を用いて 11 名 の学生アノテータとともに計 15 本の科学論文につ いて，それらの論文中の数式のすべての数式識別子出現に対するアノテーションを行った.

本稿では，この数式グラウンディングデータセッ トのこれまでの構築手順を紹介するとともに，得 られたアノテーション付きコーパスの概要と分析結果について報告する。構築したデータセットは SIGMathLing リポジトリ2)にて配布している.

## 2 関連研究

文書中の数式理解に資することを目的とするデー タセットは，複数提案されてきた。 arXMLiv デー タセット [10] はプリプリントサーバ $\operatorname{arXiv.org}{ }^{3}$ に 収録されている 150 万本以上の科学論文を, 様々 な研究用途の計算機プログラムで扱いやすいよ う $\mathrm{LAT}_{\mathrm{E}} \mathrm{XML}$ [11] を用いて XHTML 文書に変換した 巨大な文書コーパスである。文書中の数式部分は

LATEXML の機能により機械的にプレゼンテーショ ン MathML [6] に変換されているが, 基本的に通常 の $\mathrm{LAT}_{\mathrm{E}} \mathrm{X}$ マークアップに含まれるのと同じ「見た目」 に関する情報がエンコードされているに過ぎず，特 にそれ以上に踏み込んだ情報は付加されてはいな い.それでも数式を含む文書の貴重な言語資源とし て広く活用されており, MioGatto の入力形式もこの arXMLiv の XTHML の仕様 [9] に準じている.

科学技術文書の数式部分について，各トークンに 説明を付与したアノテーション付きコーパスはいく つか提案されている. NTCIR-10では Math Pilot 共通 タスクの一部として自然言語テキスト内にあるトー クンの定義を抽出する Math Understanding サブタス クが提案され, その開発・評価のために arXMLiv データセットに含まれるXHTML 文書内の数式に人手で説明が付与されたデータセットが提供された [1]. また類似のタスクは数式内の 1 つ 1 の識別子 に対して説明を付与する MathAlign タスクとしても 定式化されており, 同じく arXiv.org に収録されてい る 116 本の論文の中から，合わせて 584 の識別子に 説明を与えたデータセットも存在する [2].

ある程度以上の長さのある現実の科学技術文書で は，しばしば数式トークンは 1 つの文書内において も複数の意味で用いられる $[3,4]$. 例えば機械学習分野の教科書 PRML [7] の第 1 章では, 太字の $\mathbf{y}$ は同 じ章の中で少なくとも 4 つの意味で用いられている （表 1)。そのため文書中の数式理解には, こうした 同一文書内のトークン間の共参照関係を明らかにす ることが必要だが，数式トークンの共参照関係が明示的にラベル付けされたデータセットは知られてい ない. 本研究では, 本文にある程度の長さがあり数式も豊富なものを中心として 15 本の科学論文を選定し, それらに現れる合計 12,352 個の数式識別子出現すべてについて，各論文内での共参照関係を明示的にアノテーションしたデータセットを構築した.

表 1 PRML [7]第 1 章における $\mathbf{y}$ の曖昧性

## 3 アノテーションの目的と方法

数式グラウンディングの自動化には, 手法の構築 と評価のためにデータセットが必須である. 統計モ
デルを構築して自動化を実現するには一般に大量 の教師データが必要になる. 最初はルールベースで データを増やす場合にも，ルールの検討には実際の 文書における数式トークンの使われ方を観察する必要があり, やはりある程度のデータが要ることに変 わりはない. またいずれにしても評価用のデータは 必要である. 本研究では, グラウンディング自動化 の第一歩として実際の科学論文を対象に次の 2 種類 の情報をすべて人手でアノテーションした（図2）.

数学概念 数式中のトークンが参照する概念. 実際 のアノテーションデータとしては，単純な説明 (description) に加えて, 数学的な型やアリティ,制約条件などの付加的な属性を付与することが できる.

グラウンディング情報源人間がグラウンディング を行う際に，その根拠として利用できるテキス トスパン．数学的に定義や宣言にあたる箇所が 該当する. 例えば図 2 の最初の $f$ は実数関数に グラウンディングされるが, その根拠となる情報源は直前の “a real-valued function”である.

図 2 アノテーションした情報: 数式中の各トークンをそ れぞれの参照する数学概念に紐付ける. その際の根拠と なるテキストスパンをグラウンディング情報源と呼ぶ.例文テキストは英語版 Wikipedia ${ }^{4)}$ より.

4) https://en.wikipedia.org/wiki/Integral
各数式トークンの出現に直接説明をアノテーショ ンする代わりに，文書ごとにアノテータが作成する 数学概念の一覧（数学概念辞書と呼ぶ）に定義され る概念 ID をラベル付けすることで，共参照関係を 明示したデータセットを構築することができる. す なわち, 同じ概念 ID と紐づく出現同士は共参照関係にある一方で，異なる ID と紐づくものは共参照関係にない。こうしたアノテーションを実現するた めに，実際のアノテーションにおいては著者らが開発した専用のアノテーションツール MioGatto を用 いた (図 3). MioGatto は (1) 数学概念辞書の作成, (2) 各出現への数学概念 ID の紐付け, (3) 各出現に対応するグラウンディング情報源のスパン位置のアノ テーションを GUI 操作のみで素早く行うことがで きるように設計されている [5].

図 3 MioGatto の操作画面. 画面の左側にアノテーション 対象の論文の本文があり, 右側のサイドバーに MioGatto の提供する情報やアノテーション操作に必要なボタン類 が配置されている.

データセット構築にあたっては, arXiv.org に $\mathrm{LAT}_{\mathrm{E}} \mathrm{X}$文書ソース付きで収録されている英文論文の中か ら, ある程度以上の数式が用いられているものを選 んでアノテーションを行った. こうした英文で数式 を含む科学論文を正しく読解してアノテーションを 行うには，それぞれの論文の分野について専門的な 知識を要することから, 様々な分野の専門知識を持 つ学生 (主に大学院生と学部生) の中から協力者を 募集した (付録 $\mathrm{A})$. 参加アノテータにそれぞれの 背景知識・興味に合った論文を arXiv.org 收録論文の 中から選定してもらい, 選ばれた論文を MioGattoを 用いてアノテーションするための前処理を行った. この前処理には論文著者によるオリジナルの $\mathrm{LAT}_{\mathrm{E}} \mathrm{X}$文書を $\mathrm{IAT}_{\mathrm{E}} \mathrm{XML}$ で XML に変換する作業と, 著者の 誤った数式マークアップを修正する作業（付録 B） が含まれる. 各アノテータには MioGatto の使用法 を説明するとともに，実際のアノテーションに必要 な論文 XHTML データ，アノテーションデータの雛形, 手順書5)を提供し, 同手順書にしたがってアノ テーション作業を実施してもらった. アノテーショ ンの結果得られたデー夕は著者らが内容を確認の 上, その後の分析を行った。

今回アノテーションの対象としたのは，選定した 論文内で用いられているすべての数式の，すべての 数式識別子の出現である. ここで数式識別子とは数式トークンの一種で，変数・関数・定数を表す単一 の文字 $(x$ や $\theta$ )または短い名前 $(\sin な と ゙)$ のこと である. 数式内には識別子以外にも演算子 (+など) や数値といったトークンもあるが，アノテーション 対象が多くなり過ぎることを防ぐため今回は識別子 に対象を絞っている. またグラウンディング情報源 については, 論文内でアノテータが発見できたもの すべてをアノテーションした. 1 つの概念に紐付く 情報源が論文内に複数箇所ある場合や，ある概念に 紐付く情報源が 1つもない場合もあるため, ラベル 付けする情報源の数には制約を設けなかった.

## 4 構築済みデータセットの分析

NLP ・数理論理学・代数学・天文学などの分野の 科学論文合わせて 15 本について, すべての数式識別子出現に対する手動アノテーションを完了した （表 2）、データセット全体では合計 12,354 個の識別子出現があり, そのすべてに数学概念が割り当てら れた. またグラウンディング情報源にあたるテキス トスパンは計 938 個収集できた。各論文について識別子の「種類」数を, 対応する概念辞書の「概念」数 で割ると，識別子の種類ごとに平均いくつの意味で 用いられているかが算出できるが，その平均値は全体を通して 2.09 であった. また識別子の種類ごと に使われる回数が異なるので, 出現数を考慮して加重平均したものが表 2 の「平均候補」数である.こ れは実際のアノテーション時に, 各出現に対して数学概念を割り当てる際にアノテータが目にした選択肢の数の平均値に相当する. そのため「平均候補」 の数が大きいほど識別子の曖昧性の度合いが高く, アノテーションの難易度も高かったと解釈できる.
 s-Guide
表 2 アノテーション結果.「番号」は説明のための便宜的な論文 ID，「単語」は本文の単語数，「種類」は識別子 の種類数, 「出現」は識別子の出現数,「概念」は概念辞書 に登録された項目数,「平均候補」は辞書項目数の識別子出現回数に応じた加重平均, 「情報源」はグラウンディン グ情報源の数. 具体的な文献情報は付録 A に掲載する。

## 4.1 アノテータ間一致率

本研究でアノテーション対象としたのは専門性の 高い科学論文であるので，同一の文書に対してアノ テーション可能な人員を複数名確保するのは容易で ない. しかしアノテーションの正確性・再現性を確認するため, 論文 1 については計 5 名のアノテータ で独立にアノテーションを実施し，アノテー夕間一致率の算出を行った (表 3). 概念辞書の作成はアノ テータ A が担い，他はその辞書を用いて概念の割当 や情報源のアノテーションを行った. アノテータに より作業精度に多少ばらつきがあるが, 数学概念の 一致率・Cohen の $\kappa$ 値 [8] を算出すると十分に高い 值となっている. またグラウンディング情報源も高 い頻度で重複しており，人間が情報源とみなすテキ ストスパンはよく一致することがわかった.

## 4.2 スコープの切替位置と情報源

ある数式識別子の出現に対して割り当てられた数学概念が, 同じ識別子種の直前の出現に割り当てら れた概念と異なる場合, その 2 つの識別子出現の間 にスコープの切替があると言う．数式グラウンディ ングを行うには，1つの文書内のすべてのスコープ の切替位置を特定する必要があり, これが自動化 において最も挑戦的な部分である. 今回構築した データセットでは，論文 15 本の中で合計 2,378 回 のスコープ切替があった. このうち 1 つのセクショ表 3 アノテータの役割と一致率. 上 3 行に各アノテータ の役割, 中 2 行に数学概念の一致率, 下 2 行に情報源の数 を示す。一致率・重複率は対アノテータ A の値である.

ンの中でスコープ切替が起こっているものは 2,129 回 $(89.5 \%$ )であったことから, 文書内の単一のセク ションという狭い範囲に絞ってみても数式識別子に は曖昧性があることがわかった。

またグラウンディング情報源とされたテキスト スパンと，それぞれと紐付けられている数式識別子 の出現との位置関係についても分析を行った. アノ テーションされた計 938 個のグラウンディング情報源のうち $76.5 \%$ にあたる 718 個が数式識別子よりも 先行する位置に存在していた。また各情報源とそれ と紐付く数式識別子出現（最も距離が近いもの）の 距離を，間に挟まる単語の数で計数すると，平均し て 14.7 単語であった. ただし, 情報源・識別子間の 距離はばらつきが大きく, 距離の中央値はすべての 論文で $0 \sim 4$ 単語の範囲にあり, 典型的な情報源は 対応する識別子出現の直前数単語以内に存在する.

## 5 結論と今後の展望

本研究では多様な分野の科学論文 15 本について, グラウンディング情報を人手でアノテーションした データセットを構築した。その中ではすべての識別子出現に説明といくつかの付加情報がラベル付けさ れるとともに，各論文内で識別子間の共参照関係が 明示的になっている. さらにこうしたデータセット は必ずしも言語資源構築を専門としないアノテータ による作業でも構築可能であることを示した.

今後は概念辞書の作成のみを人手で行い，論文中 の識別子出現に対してその概念辞書のうちの適当な 項目を自動で割り当てる半自動化を行う。これによ り効率よく提案データセットを量的に拡張し，ひい てはグラウンディング全体の自動化を達成する.

## 謝辞

本研究は JST ACT-X (JPMJAX2002) の支援を受け て実施しました. 日頃より実りある議論をしてい る Michael Kohlhase 教授と André Greiner-Petter 氏に 感謝します.また MioGatto の改善を手伝ってくだ さった石井太河氏と, 本研究に参加いただいたすべ てのアノテータの方々にも感謝します.

## 参考文献

[1] Akiko Aizawa, Michael Kohlhase, Iadh Ounis. "NTCIR-10 Math Pilot Task Overview." Proceedings of NTCIR-10. 2013.

[2] Maria Alexeeva, Rebecca Sharp, Marco A. Valenzuela-Escárcega and Kadowaki, Jennifer Kadowaki, Adarsh Pyarelal, Clayton Morrison. "MathAlign: Linking Formula Identifiers to their Contextual Natural Language Descriptions". Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020).

[3] 朝倉卓人, André Greiner-Petter，相澤彰子，宮尾祐介. 『数学概念への数式グラウンディング のためのデータセット』. 言語処理学会第 26 回年次大会予稿集 (NLP2020).

[4] Takuto Asakura, André Greiner-Petter, Akiko Aizawa, Yusuke Miyao. "Towards Grounding of Formulae." In Proceedings of First Workshop on Scholarly Document Processing (SDP 2020).

[5] Takuto Asakura, Yusuke Miyao, Akiko Aizawa, Michael Kohlhase. "MioGatto: A Math Identifieroriented Grounding Annotation Tool." In 13th MathUI Workshop at 14th Conference on Intelligent Computer Mathematics (MathUI 2021).

[6] Ron Ausbrooks et al. Mathematical Markup Language (MathML) 3.0 Specification. 2014. https: //www.w3.org/TR/MathML3/.

[7] Christopher M Bishop. Pattern Recognition and Machine Learning. 2006.

[8] Jacob Cohen. "A coefficient of agreement for nominal scales." Educational and Psychological Measurement. 1960.

[9] Deyan Ginev, Heinrich Stamerjohanns, Bruce R. Miller, and Michael Kohlhase. 'The IATEXML Daemon: Editable Math on the Collaborative Web." Intelligent Computer Mathematics. 2011.
[10] Deyan Ginev. arXMLiv:2020 dataset, an HTML5 conversion of arXiv.org. SIGMathLing. 2020. https://sigmathling.kwarc.info/resources/ arxmliv-dataset-2020/.

[11] Bruce Miller. $\mathrm{AT}_{\mathrm{E}} \mathrm{XML}$ The Manual-A $\mathrm{LAT}_{\mathrm{E}} \mathrm{X}$ to XML/HTML/MathML Converter, Version 0.8.3. 2018. https://dlmf.nist.gov/LaTeXML/.

[12] Bruno Oberle. "SACR: A Drag-and-Drop Based Tool for Coreference Annotation." In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC 2018).

## 付録 A アノテータの募集方法とアノテーション対象の論文

数式を含む英文科学論文の読解を伴うアノテーションタスクは一般のクラウドソーシングでは実現が難し いため, 本研究に参加するアノテータは, ソーシャル・ネットワーキング・サービスも活用しㄱ) 広く理工系分野を専攻する学生の中から募集し，直接謝金を支払って作業に従事してもらった．実際のアノテーション に従事した学生は, 分野としては自然言語処理を専門とする者が最多だが, 他にも数理論理学・代数学・物理学・天文学などを専攻する者もいた。参加アノテータの身分としては大学院生（修士課程）が最も多 く, 大学院生 (博士課程) や学部生, さらにはそれよりも若い参加者もいた. アノテーション対象の論文は arXiv.org に LATEX 文書ソース付きで収録されているものの中から，参加アノテータの専門と論文中の数式の 数を考慮して選定した（表 A)。

表 A アノテーション対象論文. 論文の通し番号は本文の表 2 の番号と対応している.

 & 1808.02342 & cs.IT \\

## 付録 B 前処理における数式マークアップの修正

MioGatto は単純に入力 XHTML 文書のタグ情報を参照することでアノテーション対象となるトークナイ ズされた識別子を認識している. 入力 XHTML 文書の夕グ構造は LATEXML で変換する前の論文著者による ${ }^{\mathrm{AT}} \mathrm{E} \mathrm{E}$ ソースの記述のされ方によって決定されているため, 大元の $\mathrm{IAT}_{\mathrm{E}} \mathrm{X}$ ソースの数式マークアップが誤って いると正しく識別子を認識することができない。そのため，このようなマークアップミスは前処理において 修正を行った.この過程で修正された誤ったマークアップのほとんどは大きく 3 種類に分類できる. 第一は 数式でない部分に対して（単に強調などでイタリック体の出力を得る目的で）数式モードが使用されている ケースである. 第二は逆に数式であるはずの部分がテキストとしてマークアップされているケースである.例えば数式内で FNN のような関数名を使用する際に \text\{FNN\} と記述されていると，その部分は数式識別子ではなくテキストと扱われてしまう．第三は本来はひとまとまりの識別子が，1 文字ごとの識別子の積で あるものとしてマークアップされているケースである. 例えば正弦関数は $\mathrm{L} \mathrm{T}_{\mathrm{E}} \mathrm{X}$ では \$要があるが，これが単に $\$ \sin \$$ と記述されていると $s, i, n$ はそれぞれ別々の変数として認識され，全体とし ては 3 変数の積となってしまう. 実際に IATEXML の出力では各変数間に不可視の乗算記号 (Invisible Times, U+2062) が挿入された状態となってしまい，意図された数式とは明確に異なるものとなる.


# ユーザの興味があるカテゴリに応じた NER システム構築フレームワーク

芝原 隆善 1,2 大内 啓樹 1 山田 育矢 ${ }^{2,3}$ 西田 典起 ${ }^{2}$
}

寺西裕紀 ${ }^{2}$ 古崎 晃司 2,4 渡辺太郎 1 松本 裕治 ${ }^{2}$

1 奈良先端科学技術大学院大学 ${ }^{2}$ 理化学研究所 ${ }^{3}$ Studio Ousia ${ }^{4}$ 大阪電気通信大学

\{shibahara.takayoshi.sk4, hiroki.ouchi, taro\}@is.naist.jp

\{takayoshi.shibahara, hiroki.ouchi, ikuya.yamada, noriki.nishida, hiroki.teranishi, kouji.kozaki, yuji.matsumoto\}@riken.jp ikuya@ousia.jp kozaki@osakac.ac.jp
## 概要

異なるユーザーは異なる固有表現のカテゴリに関心を持つ. そのため本論文ではユーザーが関心を持 つ固有表現を抽出可能な固有表現抽出システムを 構築するフレームワークを提案する. このフレーム ワークでは，まずユーザーに関心のある固有表現力 テゴリをシソーラスから選択してもらい，次に選択 されたカテゴリを含むシソーラス全体のカテゴリ情報を活用した Distant Supervision を行い固有表現抽出モデルを学習する. 本論文では UMLS シソーラス と MedMentions コーパスを利用したいくつかの実験 を通じて提案フレームワークの有効性を確認した。

## 1 導入

固有表現抽出: Named Entity Recognition (NER) は 自然言語処理の基本タスクの 1 つであり, 質問応答 [1], 関係抽出 [2], Entity Linking [3], 対話システム [4]など様々なタスクで応用されている.

本論文は，「異なるユーザは異なる固有表現 (Named Entity: NE) のカテゴリに興味を持つ」とい う着眼点に立っている. 例えば, 疫学者と薬学者が COVID-19 関連論文を調査する場合を考えてみる。疫学者は人間集団ごとの症状に関心を持ち, 症状や 人々の特徴 (性別，民族性，年齢など) に関する固有表現を求めるだろう. 一方薬学者はコロナウイルス やその関連薬の作用機序に関心を持ち, 解剖学的構造や化学物質に関連する固有表現に注目するだ ろう.

しかし，既存の固有表現認識手法では異なるカテ ゴリを欲するユーザーの要求に柔軟に対応できな

2. シソーラスに基づいてDistant Supervisionする

Coronavirus disease cause a pneumonia especially for the elderly. It is caused by cytokine from white blood cell.

3. NERモデルをDistant Supervisionデータセットで学習する

図1タスクの全体像

い. 通常 NER システムは，固有表現カテゴリがあ らかじめ定義されたデータセットを用いて構築され る. それゆえ，ユーザにとって関心のある固有表現 カテゴリが予め定義されたデータセットが存在しな ければ，それらの固有表現は抽出されない. 各ユー ザが興味のある固有表現カテゴリを人手でアノテー ションすることもできるが，これには大変なコスト と時間がかかってしまう。

そこで本論文では，ユーザが興味をもつ固有表現 を抽出可能な NER システム構築フレームワークを 提案する(図 1).まず，このフレームワークでは各 ユーザーに興味のある固有表現カテゴリをシソー ラスから選択してもらう。そして，その選択された カテゴリに基づき，Distant Supervision によりテキス 卜を擬似的にアノテーションし，その擬似アノテー ションを用いてシステムを学習させる. その結果, システムはユーザの関心のある固有表現を抽出する ことができるようになる.

しかしながら Distant Supervision NER の問題とし

て, Unlabeled Entity Problem が指摘されている [5]. Unlabeled Entity Problem とは，シソーラスにない未知の固有表現を Distant Supervision でラベル付けす ることが難しいという問題である.

我々はこの Unlabeled Entity Problem を擬似負例の 信頼性の問題であると考える. 従来の研究では，信頼性の低い擬似負例がもたらす影響を割り引くた めに，擬似負例の一部は本来正例であると仮定して NER タスクを実行していた. 本研究では，シソー ラスのカテゴリ情報を利用して，より信頼性の高い 擬似負例を擬似データセットに追加し (3 節), 擬似負例の信頼性の低さの問題を緩和する。また，本フ レームワークの有効性を検証するために，タスクと 実験設定を提案・定式化する. 本論文ではいくつか の実験を通じて提案法の有効性を確認した。

要約すると，我々の貢献は主に以下の 3 つで ある.

・本論文は，ユーザーの興味に応じた固有表現を 抽出するオーダーメイドの NER システムを構築するためのフレームワークを開発した最初の 研究である.

・Unlabeled Entity Problem を解決するために，シ ソーラスのカテゴリ情報を有効に活用する新し い手法を提案した.

・「ユーザが興味を持つ固有表現カテゴリに応じ たNER システム構築」の状況をシミュレート できるタスクと実験設定を策定・実施した。

## 2 タスク設定

提案法は Distant Supervision NER (DS NER) に基づ いている. 固有表現抽出: Named Entity Recognition (NER) は $n$ 長の単語列: $X=\left.\{w_{j}\right.\}_{j=1}^{n} \in V^{n}$ に対し $m$ 個のスパンとそれらのラベル: $Y=\left.\{\left(s_{i}, e_{i}, l_{i}\right) \in\right.$ $[0 . . n-1] \times[1 . . n] \times L\}_{i=0}^{m-1}$ を事前に定義されたラべ ル集合: $L$ から予測するタスクとして形式的には定義される. 通常の教師あり設定ではアノテーション されたデータセットを元に学習するが, DS NER で は，文書と用語集から構築される擬似データセット を利用することでアノテーションを省く．擬似デー タセット: $\left.\{X_{k} \in V^{*}, \tilde{Y}_{k}=\left.\{\left(\tilde{s}_{k i}, \tilde{e}_{k i}, \tilde{l}_{k i}\right)\right.\}_{i=0}^{m_{k}-1}\right.\}_{k=1}^{|D| 1)}$ は 文書: $\mathscr{D}=\left.\{X_{k}\right.\}_{k} \subset V^{*}$ と用語集 $g: T \rightarrow L$ から構築 される.ただしここで $T \subset V^{*}$ は用語集の中で記述 される用語の集合である. 用語集 $g$ は文書 Dに対
$ は $k$ 番目の文に含まれているスパンの個数である.
}

する文字列マッチによって擬似データの構築に利用される。しかし, このDS NER のタスク設定に は, Unlabeled Entity Problem [5] と呼ばれる問題があ る.これは，用語集の被覆率が低いために，擬似 データセット中の固有表現が見逃され，学習モデル がこれらのラベル付けされていないスパンを無視 してしまうという問題である。例えば，使用した 用語集に新しい化学物質が記述されていない時に, DS NER モデルがこの化学物質を見逃すという可能性がある。この問題に対処するため，先行研究では 信頼性の低い擬似負例が与える影響を割り引き，擬似負例の一部が本来正例であると仮定して NER タ スクを実行している。具体的には, lenient CRF [6] , Self-Training [7], PU 学習 [8], 擬似負例スパンのア ンダーサンプリング [5] によって疑似負例に正のラ ベルを予測する手法が知られている。しかし，これ らの擬似負例の影響を割り引く手法は，本来負例で あるスパンまで固有表現として予測してしまうとい う危険性がある.

本研究では，ユーザーが選択したカテゴリ $L$ に 応じて用語集を作成することで，ユーザーごとに オーダーメイドな NER モデルを実現する。ここで シソーラスは Directed Rooted Tree DRT $=(C, E, r)$ で あるとする。つまり, シソーラスは, 概念の集合 $C$, $C$ 上の辺としての is-a 関係の集合 $E$ ，ルートノー ド $r$ からなるものとする. 本研究では $L$ だけでは なくDRTを利用して負例のカテゴリ $L_{n e g}$ を作成 し, $L_{n e g}$ と $L$ 両方の語句を含む用語集 $g^{\prime} を$ 利用し た Distant Supervisionを行う．このことにより提案手法がシソーラス全体の情報やクラス間の排他的な 関係を捉えられるようになることを目指す ${ }^{2}$. ここ で $L_{n e g}$ は $L$ と組み合わせることでシソーラス全体 を被覆するように定義する。つまり $L$ に含まれるい ずれかの概念の子孫の全ては $L$ によって被覆され ているので，負例カテゴリ $L_{n e g}$ を $L$ によって被覆 されていないDRTに含まれる概念の最小の集合と する3). 例えばユーザーが \{"Diseases or Symptoms", "Age"\}を正例の概念として選んだ場合，提案手法は $L_{n e g}$ として $\{$ "Sex, "Chemical", "Anatomical Structure"\}

2）より形式的には，提案手法のタスク設定は用語集 $g^{\prime}: T \cup T_{n e g} \rightarrow L \cup L_{n e g}$ が負例クラス $L_{n e g}$ を含んでいると いう点で通常の Distant Supervision と異なっている. ただし $T_{\text {neg }}$ は $L_{\text {neg }}$ に含まれる語句の集合である.

3）形式的には $L_{n e g}$ は $L^{\prime}$ を利用して次のように定義でき 3. $L^{\prime}=\left.\{a \mid l \in L \wedge(l, a) \in E^{*}\right.\} L_{n e g}=\left.\{c \mid l^{\prime} \in L^{\prime} \wedge\left(l^{\prime}, p\right) \in\right.$ $\left.E \wedge(c, p) \in E \wedge l^{\prime} \neq c \wedge c \notin L^{\prime}\right.\}$ ただし $E^{*}$ は $E$ の反射推移閉包であるとする。

図 2 Pseudo Dataset Construction

を選ぶ(図1).

文字列マッチによってこの負例カテゴリ $L_{n e g}$ を 利用して得られた擬似負例は，確害に $L$ に含まれな いカテゴリであることが保証されるので，単純に辞書マッチしなかったという従来の擬似負例よりも より負例として正しいことが期待される. また負例 クラスを利用することで Distant Supervision NER モ デルが本来の負例に対して過剩な固有表現の予測 を行うという，従来の Unlabeled Entity Problem 対策手法の欠点を補うことができると考えられる. 例え ば先の例であれば，Distant Supervision NER モデル が本来 Chemical であるスパンに対して, Disease or Syndrome とラベル付けすることを防ぐことができ ると期待される.

## 3 手法

## 3.1 擬似データセット構築

擬似データセットを構築する手順を，図 2 亿記述 する. (i) シソーラスから $L ， L_{n e g}$ の各カテゴリの 用語リストを構築する。例えば，UMLS は固有表現 のカテゴリを階層構造で定義しており，階層を推移的に利用することで各カテゴリの用語リストを容易 に得ることができる。また，用語のリストに対し， inflector ${ }^{4}$ という python ライブラリを用いて, 用語リ スト上の各用語の複数形・単数形を追加する. (ii) $L ， L_{n e g}$ の用語リストを用いて, 用語からカテゴリ への対応付け (用語集) $g, g^{\prime}$ を計算する. ただし，複数のクラスに含まれる曖昧な用語がある ${ }^{5)}$.この ような曖昧な用語を用語集から削除することで，エ

4) https://github.com/ixmatus/inflector

5）例えば，AAA は Abdominal Aortic Aneurysms という病名の 頭文字であると同時に, APP gene という遺伝子名の別名でも ある。
ラー伝搬を低減する. (iii) ラベルの付与されていな いコーパスに対して Noun Phrase (NP) Chunker を適用し，擬似アノテーションの対象となる候補スパン を獲得する。(iv) (ii) の用語集 $g ， g^{\prime}$ と (iii) の候補 NPチャンクとの間に文字列マッチアルゴリズムを 適用し，対象の NP チャンクの末尾部分文字列に基 づいて分類する. 文字の大小で異なる用語が存在す る場合は大文字と小文字を区別して NP チャンクを 分類し，そうでない場合は区別せずに分類する。

## 3.2 スパン分類モデル

本研究では BERT による符号化を利用した簡素なスパン分類モデルを利用しており， $n$ トー クンからなる文 $X=\left.\{w_{j} \in V\right.\}_{j=1}^{n}$ の候補スパン $(s, e) \in[0 . . n-1] \times[1 . . n]$ をラベル集合: $\left.L \cup\left.\{“ O^{\prime \prime}\right.\}^{6}\right)$ に 分類する.

まず，BERT の最終隠れ層： $v=\left.\{v_{j}\right.\}_{j=1}^{n}$ を利用し入力文を符号化する7).この符号化べク トルに対し Dropout を適用した: $\tilde{v}=\operatorname{Dropout}(v)$. Dropout の後で，スパンの開始位置と終了位置 のベクトルを連結したスパン表現を分類した: $\hat{y}=\operatorname{Softmax}\left(W^{T}\left(\tilde{v}_{s} \oplus \tilde{v}_{e}\right)+b\right)$. この予測確率に対し 交差エントロピーを利用して学習を行った. ただ ᄂ， $\mathrm{Li}$ ら [5] と同様に擬似ラベルが O である，つま りいかなる用語集の用語にもマッチしなかったスパ ンに対して，そのロスを事前に定義された確率で無視することで擬似負例のノイズを軽減する。

## 3.3 前処理 - 後処理

前処理として，NER データセットをスパン分類 データセットに変換する．長さがあらかじめ定義さ れた最大長より小さいスパンを列挙し，ラベルを付 ける．NER データセットでラベル付けされている スパンにはそのラベルを付与し，そうでないスパン には $\mathrm{O}$ ラベルを付与する。

後処理として，予測時にスパンの分類スコアをス パン重複のない NER 出力に変換する. 具体的には，学習したモデルによって予測される最尤確率の高い 順に，貪欲に列挙されたスパンを埋めていく．ただ し，最大尤度のラベルが O であったり $L_{n e g}$ に含ま れるスパンは予測に利用しない。
 \cup\{“ O "\}$ である.

7）トークンの最後に位置するサブワードのベクトルをトーク ンの表現として利用した。
}

Chunker Match $\quad 29.8116 .7821 .4762 .0036 .2245 .73$

Span Classif. w/ N.U. 24.1922 .9423 .5451 .7051 .2551 .47 +Thesaurus Negatives 24.0423 .3523 .6952 .6053 .6453 .12

表 1 MedMentions で指定された 21 クラスを選択したと きの NER スコア: Strict はスパン完全一致，Lenient はスパ ン部分一致で評価.

## 4 実験設定

1 節で述べたような「ユーザにシソーラスから興味のあるクラスを選択してもらう」状況を模倣した 実験を行う．本論文では，シソーラスとして UMLS (2021AA 版) [9]を，DS NER の評価には MedMentions コーパス [10]を利用する. UMLS は生物医学分野 のシソーラスで, 127 のクラス (Semantic Types) と 16,132,274 の用語を持つ. MedMentions は, 4,392 の 生物医学論文抄録に 352,496 のスパンが UMLS の 概念に対応付けられるようにアノテーションさ れている Entity Linking/NER 用のコーパスである. train/dev/test の文書数はそれぞれ2,635/878/879 であ る. train 部分のデータセットは Distant Supervision の擬似アノテーションの対象として, dev/test の分割 は正解アノテーションまま利用する．ただし，評価時にユーザが興味のあるクラスのみを対象とするた め，ユーザが興味のない (と実験上仮定する)クラス は dev/test データから除外している。

## 5 結果

表 1 の実験では MedMentions [10] が指定する 21 の クラスをユーザーが UMLS から選択したと仮定し評価を行った ${ }^{8)}$. 具体的には Strict/Lenient NER P./R./F. を文字列マッチ，Distant Supervision のベースライ ン, 提案法で比較した. Strict/Lenient NER P./R./F. は，スパン完全一致 (Strict) またはスパン部分一致 (Lenient) のどちらかで計算された Precision/Recall/F1 スコアである. Chunker Match の行は，擬似データ セット構築に利用した NP chunker を利用した文字列 マッチ手法のスコアを示している. Span Classif. w/ N.U.の行は, Li ら [5] のように擬似負例をアンダー サンプリングすることで Unlabeled Entity Problem に 対処したスパン分類モデルにおけるスコアを示す.

また, +Thesaurus Negativesの行は, Span Classif. w/ N.U. に追加してシソーラスに基づいたより信頼でき る負例 ${ }^{9}$ を利用した場合のスコアを示している。

Baseline モデル (Span Classif.) を文字列マッチ手法 と比べた時 Recall が向上していることがわかる.こ れは擬似負例のアンダーサンプリングにより，擬似負例のスパンに対して正のラベルを予測できてい るためであると考えられる。提案手法は，ベース ラインと比較して，Strict 設定では F1 の差が小さ く，Precision が若干低下するが， Lenient 設定では Precision, Recall ともに向上することが示された. Distant Supervsion によるアノテーションでは，表 1 の Chunker Match の行にあるように，完全なスパン 一致を得ることは非常に困難である. したがって， Lenient 設定に着目すると、この結果はシソーラスを 用いた負例カテゴリの利用の有効性を示していると 言える。

## 6 結論

本論文においてユーザーがシソーラスから選択し た固有表現を認識するフレームワークを示した。本研究では私達は擬似正例だけでなく, 擬似負例に着目し，より負例として信用でき，難しい擬似負例の 重要性を明らかにした。また本害験は関心のある固有表現だけではなく，それらの固有表現と排他的な カテゴリ活用の重要性を明らかにした。

今後の課題としては，より具体的で粒度の細かい 固有表現を取得したり DBPedia [11]のような巨大シ ソーラスで見られるシソーラスのノイズに対応す るなどが考えられる。また，Mention レベルと Entity レベルの間にはスパン情報の大きな違いがあり、文字列マッチのみでは限界がある。そのため，少量の アノテーションを組み合わせていくのことも有用だ と考えられる $[12,13]$.

## 謝辞

本研究は JSPS 科研費 JP19K20351 の助成を受けた ものである.

9）シソーラスを利用した擬似負例の信用性の改善は実際に碓認された (付録 $\mathrm{A}$ ).

## 参考文献

[1] Mahboob Alam Khalid, Valentin Jijkoun, and Maarten de Rijke. The impact of named entity normalization on information retrieval for question answering. In Advances in Information Retrieval, pp. 705-710. Springer Berlin Heidelberg, 2008.

[2] Tianyi Liu, Xinsong Zhang, Wanhao Zhou, and Weijia Jia. Neural relation extraction via Inner-Sentence noise reduction and transfer learning. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2195-2204, Brussels, Belgium, 2018. Association for Computational Linguistics.

[3] Yaming Sun, Lei Lin, Duyu Tang, Nan Yang, Z Ji, and Xiaolong Wang. Modeling mention, context and entity with neural networks for entity disambiguation. IJCAI, 2015.

[4] Kevin Bowden, Jiaqi Wu, Shereen Oraby, Amita Misra, and Marilyn Walker. SlugNERDS: A named entity recognition tool for open domain dialogue systems. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[5] Yangming Li, Lemao Liu, and Shuming Shi. Empirical analysis of unlabeled entity problem in named entity recognition. September 2020.

[6] Zhanming Jie, Pengjun Xie, Wei Lu, Ruixue Ding, and Linlin Li. Better modeling of incomplete annotations for named entity recognition. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 729-734, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Chen Liang, Yue Yu, Haoming Jiang, Siawpeng Er, Ruijia Wang, Tuo Zhao, and Chao Zhang. BOND: BERT-Assisted Open-Domain named entity recognition with distant supervision. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, KDD '20, pp. 1054-1064, New York, NY, USA, August 2020. Association for Computing Machinery.

[8] Minlong Peng, Xiaoyu Xing, Qi Zhang, Jinlan Fu, and Xuanjing Huang. Distantly supervised named entity recognition using Positive-Unlabeled learning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2409-2419, Florence, Italy, July 2019. Association for Computational Linguistics.

[9] Olivier Bodenreider. The unified medical language system (UMLS): integrating biomedical terminology. Nucleic Acids Res., Vol. 32, No. Database issue, pp. D267-270, January 2004.

[10] Sunil Mohan and Donghui Li. MedMentions: A large biomedical corpus annotated with UMLS concepts. p. 13, 2018.

[11] Jens Lehmann, Robert Isele, Max Jakob, Anja Jentzsch, Dimitris Kontokostas, Pablo N Mendes, Sebastian Hellmann, Mohamed Morsey, Patrick Van Kleef, Sören Auer, and Others. Dbpedia-a large-scale, multilingual knowledge base extracted from wikipedia. Semantic web, Vol. 6, No. 2, pp. 167-195, 2015.

[12] Lukas Lange, Michael A Hedderich, and Dietrich Klakow. Feature-dependent confusion matrices for low-resource NER labeling with noisy labels. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), Stroudsburg, PA, USA, 2019. Association for Computational Linguistics.

[13] Haoming Jiang, Danqing Zhang, Tianyu Cao, Bing Yin, and Tuo Zhao. Named entity recognition with small strongly labeled and large weakly labeled data. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), Stroudsburg, PA, USA, 2021. Association for Computational Linguistics.

図 3 教師あり設定との比較: 提案手法とデータセット量を変えたときの教師ありモデルに対する完全マッチ (Strict) と部分マッチ (Lenient) に基づくNER F1 スコア

表 2 カテゴリを一つずつ選んだときの Lenient P./R./F.: それぞれの行は文字列マッチ，Distant Supervision におけるべー スライン，提案手法を示す (表 1 と同様). 列はそれぞれの UMLS カテゴリ (T***)を関心のあるカテゴリとして選択した ときの lenient NER P./R./F. スコアを示す.

## A 追加実験

MedMentions [10] で指定された 21 クラスを着目クラスとし て選択した際の追加実験として，擬似負例の負例としての 正しさを Negative NP P./R. で確認した. Negative NP P./R. とは Gold で固有表現とアノテーションされていない $\mathrm{NP}^{10)}$ を負例 の正解としたとき，作成された擬似負例がこれに一致する 割合としての Precision/Recall である. 辞書マッチしなかった NP スパンの擬似負例としての Negative NP P./R. は 58.00/59.57 となった。一方でシソーラスに基づいた負例カテゴリを用い た擬似負例の Negative NP P./R. は 78.25/29.91 となった. 我々 の提案したシソーラスに基づく擬似負例は Negative NP Recall では劣るが，Negative NP Precision では改善している.

このことから確かに，我々のシソーラスに基づく擬似負例 はより信頼性の高いものになっているといえる. 更にシソー ラスを利用した擬似負例は NP Chunker を利用しているので 句や NP になっていない，明らかに固有表現でない擬似負例 を含まない. 負例として信頼性が高くより識別が難しい擬似負例が，表 1 でみられた精度改善をもたらしていると考えら れる

また，図 3 における実験では，教師ありデータ量を変化さ せて教師ありモデルの精度を確認し，擬似負例のアンダーサ ンプリングとシソーラスに基づいた擬似負例を用いた提案の スパン分類モデルと比較した. その結果，完全教師ありの 設定と比較して, Lenient $\mathrm{f} 1$ では $20 \%$ 近くスコアが減少した. しかし, 提案手法では，800～900 文の人手アノテーションと同等の Lenient f1 が得られることが分かった．また，Strict f1 では，完全教師ありモデルとの間で $48 \%$ 近い差が生じた. こ の結果は，Distant Supervsion モデルでは，スパン範囲を正確 に捉えることが困難であることを示唆している．この困難は Entity レベルと Mention レベルの間の違いに原因があると考 えられる。例えば，“water” が化学物質として登録されてい て，擬似アノテーションの対象文に “purified water”があった 場合，“water”までを取るべきか “purified water”までを取るの が良いのかが分からないというような困難である。このよ うな Mention と Entity の間の違いに対処するには少量のアノ テーションを組み合わせることも必要だと考えられる.

表 2 は，シソーラス上の 10 個の概念から 1 つずつ着目する 概念を選択しDistant Supervision を行った際の， lenient P./R./F. の比較を行ったものである. 擬似負例のアンダーサンプリン グだけのベースラインでは，Precision を犠牲に Recall を増加 させている. しかし，Unlabeled Entity に対して固有表現ラべ ルを予測するため，過剩に固有表現を予測しやすく，f1 スコ アが低下することが多い。擬似負例のアンダーサンプリング だけのべースラインと比較すると，シソーラスに基づいた擬似負例を利用したモデルはより頑健であり，T062を除いた 全てで $\mathrm{f1}$ を向上させることができた. しかし，T022，T033， T037，T058，T062では，Recallが文字列マッチの水準よりも 低下している。その結果，T022，T037，T062 の f1 スコアが 減少した。これは負例クラスの追加により, Unlabeled Entity に対する固有表現のラベル予測が過剰に妨げられているため だと考えられる。

10）より正確には，固有表現と NP のスパンが完全一致するとは限らないため，固有表現と部分一致しないNPを評価対象にした.


# Pre-trained Transformer による 引用文脈を考慮した引用ネットワーク埋め込み

大萩雅也 ${ }^{1}$ 相澤彰子 ${ }^{2,1}$
1 東京大学大学院 2 国立情報学研究所
ohagi-masaya999@g.ecc.u-tokyo.ac.jp aizawa@nii.ac.jp

## 概要

論文間の引用関係を表した引用ネットワークをべ クトル空間に投影することで得られる論文の埋め込 みは論文推薦や論文分類など研究支援に関する様々 なタスクに役立てることができる。この埋め込みに 関する研究は多くあるが、引用関係に付随する引用 の目的を取り込んだ埋め込みに焦点を当てた研究は 多くない。そこで我々は、論文を引用する際に記述 される文章である引用文脈を引用の目的の情報源で あると捉える。そして Pre-trained モデルの一種であ る SciBERT を、被引用論文を引用元論文と引用文脈 から予測するタスクで訓練することで引用文脈を捉 えた引用ネットワーク埋め込みを作るモデルを作成 する。実験を通して提案手法は引用論文推薦、論文分類上で既存手法を超える性能を示した。

## 1 はじめに

論文を引用するという行為は、その分野における 研究の進展、そしてその中に自分の研究をどう位置 づけるかを示すという点において論文執筆の際には 不可欠なものである。そして論文間の引用関係はこ の世に存在する数多くの論文の間にどのような関係性が存在するかを突き止めるための鍵の一つとなっ ており、それぞれの論文をノード、論文間の引用関係をエッジと捉えた時それらは引用ネットワークと 呼ばれるグラフを構成する。さらにこのグラフをべ クトル空間に投射することで得られたそれぞれの論文の埋め込みは論文推薦 [1]、論文の可視化 [2]、も しくは論文の分類 [3] など研究活動を支援するため の様々なタスクに役立てることができる。

このべクトル空間への投射は引用ネットワーク 埋め込みと呼ばれ数多くの先行研究 [4] が存在する が、どのような目的である論文が別の論文を引用し ているかに注目した研究は数少ない。引用とは常に肯定的なものではなく、時には過去の研究に対す る批判を目的として行われるものであり、さらに、 ACL-ARC [5] データセットでは引用の目的を 6 種類 に分類しているように単純な肯定/否定で捉えられ るものでもない。これらの引用目的を考える上で重要となるのが引用文脈である。

引用を行う際に引用記号 ([5] など) とともに記述 される文章である引用文脈は引用の目的を特定する 上で重要な役割を果たしており [6]、その引用文脈 をエッジの特徴として論文埋め込みに取り込んだ引用ネットワーク埋め込みは多様な引用の目的を取り 入れたものとしてより正確に論文間の関係を捉える ことが期待される。しかしながらその重要性、応用可能性にもかかわらず十分な数の既存研究が存在す るとは言いがたい。

以上に基づき、我々は本研究で Pre-trained Transformerを活用した新たなモデルを提案する。我々 は引用元論文とその論文内の引用文脈から被引用論文を予測させる Masked Paper Prediction(MPP) 夕 スクを提案し、そのタスクを用いて SciBERT [7]を fine-tune することで引用文脈を考慮した引用ネット ワーク埋め込みを作成した。さらに損失関数とし て、特定の引用文脈による被引用論文だけでなく引用関係にあるその他の近隣ノードにも注意を配る Structure-Aware Cross-Entropy Loss を提案する。

実験の結果、我々の手法は二つの引用ネットワー ク上での引用論文推薦と論文分類において (1) 引用文脈を考慮した引用ネットワーク埋め込みの先行研究である hyperdoc2vec [8] を超える性能を示し、(2)引用文脈を考慮しない引用ネットワーク埋め込みの state-of-the-art である RotatE [9] と匹敵する性能を出 した。我々の手法は引用ネットワークだけでなくレ ビューサイトでの user2item のグラフ [10] などエッ ジに文章情報を持つその他のグラフへの応用可能性 が期待される。

## 2 提案手法

## 2.1 引用文脈を考慮した引用ネットワーク

我々が対象とする引用ネットワークは \{引用元論文, 引用文脈, 被引用論文\} のトリプルの集合として 捉えられる。それぞれの論文はネットワーク内の論文の集合 $V$ に属し、論文間の引用関係は引用文脈と いう文章情報を特徴にもつ、論文ノード間のエッジ として捉えられる。本研究の目標はこの引用ネット ワークのグラフ構造と、エッジの特徴としての引用文脈を捉えた論文埋め込みを作り出すことである。

## 2.2 既存手法: hyperdoc2vec

引用文脈を考慮した引用ネットワーク埋め込みの 代表的な既存手法としては word2vec [11]を応用し た hyperdoc2vec [8] が挙げられる。この手法は後続 の研究 [12] にとってもその基礎となる重要なもので あるが、この手法には (1) 4.1 節での RotatE との比較 からわかるようにグラフ構造を捉える力が弱く、そ して (2) ネットワーク埋め込みのコーパスのみを訓練に用いているため大規模コーパスを用いて事前学習したモデルに比べて言語知識や学術知識に乏しい という 2 つの問題点が存在する。

## 2.3 提案手法

既存手法の問題を解決するために、Transformer [13] を用いナレッジグラフ埋め込みで高い性能を上 げた CoKE Model [14]を参考に、これを引用文脈を 考慮するように拡張した新たな手法を提案する。提案手法は学術論文上で事前学習された SciBERTを Masked Paper Prediction という我々の提案タスクで訓練することで引用ネットワークのグラフ構造と引用文脈の両方を学習することを目的とする。

Masked Paper Prediction は引用元論文と引用文脈か ら被引用論文を予測するタスクであり、概略を図 1 に示す。具体的な手順としては、引用ネットワーク 内のそれぞれのトリプル \{引用元論文, 引用文脈, 被引用論文\}に対し、我々はまず引用文脈をトークナ イズする。そして引用文脈内の引用記号の部分 ([1] や(Devil et al. 2019) など)をマスクトークンで置き換 え、そのトークン列と引用元論文 id を連結したもの をSciBERT に入力する。そして SciBERT から出力 された埋め込み列のうち、マスクされたトークンの 場所に相当する位置の出力を linear 層に入力するこ

図 1 提案手法の概略

とで被引用論文を予測する。さらに、正解ラベルと の間の損失を用いてモデル全体を訓練することで、 それぞれのトリプル内の関係をモデルに学習させ ていく。損失関数には Cross-Entropy Loss、もしくは 我々が新しく提案した Structure-Aware Cross-Entropy Loss を使用する。

CoKE Model はネットワークのグラフ構造を捉え る能力があることが [14] で示されており、我々の手法はその点で hyperdoc $2 \mathrm{vec}$ のグラフ構造に対する弱 さを補うことが期待される。さらに、SciBERT の学術論文に対する専門知識と言語知識を活用すること で引用文脈のより良い埋め込みが期待される。

## 2.4 損失関数

我々のモデルで用いられる損失関数は CrossEntropy loss (CE) と新たに提案する Structure-Aware Cross-Entropy Loss (SACE) の 2 種類である。まず通常の $\mathrm{CE}$ は以下の数式で定義される。

$
\begin{aligned}
& \operatorname{loss}\left(x, d_{\text {cited }}\right)=-\log \left(\frac{\exp \left(x\left[d_{\text {cited }}\right]\right)}{\sum_{j} \exp (x[j])}\right) \\
& =-x\left[d_{\text {cited }}\right]+\log \left(\sum_{j} \exp (x[j])\right)
\end{aligned}
$

$\mathrm{CE}$ はある論文 $\mathrm{A}$ が特定の引用文脈で引用している 論文 B とそれ以外の論文を区別することができる が、論文 B 以外の論文 $\mathrm{A}$ と引用関係にある論文 $\mathrm{C}, \mathrm{D}$ も完全な誤りと見なしてしまう。しかしながら我々 の手法は引用ネットワークのグラフ構造を学習する ことが目的の一つであるため、隣接する論文に報酬 を与えることはその学習に有用であると考えられ る。hyperdoc2vec をべースとして Structure-Aware な 引用論文推薦を提案した [12] は入力に隣接する論文を付け加えることでこれを達成したが、我々は 損失関数で実現することを目的として以下の数式 からなる SACE を提案する。 $d_{\text {citing }}$ は引用元論文、 $d_{\text {cited }}$ は被引用論文、 $N\left(d_{\text {citing }}\right)$ は引用元論文の隣接論文を表し、 $\gamma$ は被引用論文と隣接論文のどちら

を重視するかのハイパーパラメータである。なお、 $N\left(d_{\text {citing }}\right)=1$ の時は通常の Cross-Entropy Loss を用 いた。今回の実験では $\gamma=0.8$ とした。

$
\begin{aligned}
& \operatorname{loss}\left(x, d_{\text {cited }}\right)=-\gamma \log \left(\frac{\exp \left(x\left[d_{\text {cited }}\right]\right)}{\sum_{k} \exp (x[k])}\right) \\
& -\frac{(1-\gamma)}{\left|N\left(d_{\text {citing }}\right)\right|-1} \sum_{j \in\left(N\left(d_{\text {citing }}\right) / d_{\text {cited }}\right)} \log \frac{\exp (x[j])}{\sum_{k} \exp (x[k])}
\end{aligned}
$

## 3 実験

## 3.1 評価タスク

本研究では二つの評価タスクを用いた。一つ目は 引用元論文と引用文脈から被引用論文を予測する 引用論文推薦であり、提案手法の訓練タスクである Masked Paper Prediction と類似のタスクである。この タスクで我々はモデルが引用ネットワーク内のト リプルを正確に捉えられているかを評価する。二 つ目はそれぞれの論文が扱っているタスク (機械翻訳、要約等) を引用ネットワークを用いて予測する 論文分類である。このタスクはノードの埋め込みが ネットワークのグラフ構造をどれほど捉えられてい るかを評価するために従来研究で用いられており $[15,4]$ 、それぞれの埋め込みがどれほどグラフ構造 を捉えられているかを評価する。

## 3.2 データセット

実験では二つの引用ネットワークを用いた。ま ず一つ目は FullTextPeerRead[16] と呼ばれる、ACL, ICLR, NIPS 上のネットワークであり、二つ目は ACL Anthology Sentence Corpus  と呼ばれる、ACL 上のコーパスから我々 が作成したネットワークである。Appendix にそれ ぞれのデータセットの詳細を載せる。簡潔にいう と、AASC の方が FullTextPeerRead よりサイズが大 きく、またネットワークの凝集度を表す Clustering Coefficiency が AASC は 0.135 であるのに対して FullTextPeerRead は 0.149 であることから後者の方が グラフ構造を活かした推論がしやすいと言える。そ れぞれのネットワークは訓練データ、評価データに 分割され、訓練データを引用ネットワーク埋め込み の作成に、評価データを引用論文推薦タスクの評価 に用いた。さらに、論文分類タスクのデータセット の作成にはそれぞれの論文が取り組んでいるタスク を抽出する必要があり、AASC のアノテーションに
は NLP-TDMS [17] 内で定義されている主要な NLP タスクのリスト、FullTextPeerRead のアノテーショ ンには paperswithcode 内の機械学習のタスクのリストを用いて論文のタイ トルとアブストラクトから文字列一致でタスクを抽出した。

## 3.3 ベースライン

ベースラインとしては、hyperdoc2vec と RotatE[9] の 2 つの手法を用いた。前者は 2.2 節で紹介した、引用文脈を考慮した引用ネットワーク埋め込みの既存手法である。後者はは複素数空間上のベクトルと してノードを、空間上の回転としてエッジを表現す る手法であり、引用文脈を考慮しない引用関係の有無のみを含む引用ネットワークの埋め込みを作成す るために用いた。我々は RotatE とその他の手法の比較によって引用文脈を特徵として用いることが埋め 込みの性能向上につながるかどうかを検証する。

## 3.4 実験設定

提案手法においては、バッチサイズを 16 、学習率を 5e-5 に設定した上で、5 エポックの訓練を行っ た。論文埋め込みはランダムに初期化したものを用 いた。引用文脈の長さとしては、引用記号が含まれ る文章とその前後一文を抜き出した上で、トークナ イズした際のサブワードが引用記号の前後それぞ れ 125 トークンに収まるように文章を切り出した。 ベースラインの実験設定はそれぞれの論文に従っ た。また、論文分類タスクに関しては先行研究 [8] に従いそれぞれのモデルから論文の埋め込みを取り 出した上で、SVMを用いて訓練、評価を行った。

## 4 結果

## 4.1 実験結果

表 1,2 に示す通り、提案手法は hyperdoc2vec に比 べて両タスク、両データセットにて高い性能を出し ておりその有用性が確認できる。特に引用論文推薦 における性能の向上は顕著であり、SciBERT を用い たことによって我々の手法が二つの論文の間の橋渡 しとしての引用文脈をより正確に捉えることができ るようになったことがわかる。さらに、論文分類に おける性能の向上からは提案手法がより正確にグラ フ構造を捉えることに成功していることがわかる。

次に、Cross-Entropy Loss (CE) と我々の提案した

Structure-Aware Cross-Entropy Loss (SACE)を比べてみ ると、引用論文推薦において SACE を用いたモデル は CE を用いたものに比べて FullTextPeerRead では 性能が下がっており、AASC では性能が上がってい る。これは二つのネットワークの違いに起因すると 考えられる。性能向上した AASCでは、3.2 節に書 いたように、グラフ構造を活かした推論がしやす く、SACE は引用文脈だけでなく周囲のグラフ構造 を意識した訓練を行う損失関数であるためその効果 が出たものと考えられる。ただ FullTextPeerRead に おいてもSACE を活用することによる埋め込みの変化はあるものと思われ、論文分類におけるSACEを 用いた提案手法の性能向上はグラフ構造をより意識 した訓練方法の有用性を示している。

最後に我々の手法とRotatE を論文分類上で比較 すると、FullTextPeerRead では我々の手法がより高 い性能を収めており、ここからは引用文脈を考慮す ることによって論文の埋め込みがより他の論文との 関係、そして論文が取り組むタスクに関する情報を 捉えることに成功していることが見てとれる。ただ AASC においては RotatE の方がわずかではあるが高 い性能を出しており、全ての条件に一貫する有用性 まで示すことはできなかった。

表 2 論文分類の結果

## 4.2 Ablation Study

前節の通り、提案手法は既存手法である hyperdoc2vec に対して有意な性能向上を果たしたが、提案手法は既存手法に対して (1) Transformer の活用、 (2) 事前学習の活用という二つの違いが存在し、ど ちらがより性能向上に貢献したかは定かでない。 よって我々は (1) 事前学習なしの Transformer Model、 (2) 学術知識を持たない Pre-trained Transformer Model
である BERT [18]、(3) SciBERT の 3 つを比較する Ablation Study を行った。引用論文推薦、論文分類に おける実験結果を表 3、4 に示す。まず BERT base と SciBERT base を比べると、FullTextPeerRead では SciBERT base の方が性能が上がっているものの、 AASC では BERT base のモデルの方が性能が高く なっており、二つのモデルの間にはどちらかが全て の条件において優れていると言えるほどの差は存在しない。よって、提案手法の性能向上は論文に関 する学術知識というよりは、言語一般に関する知識によるものであると考えられる。さらに、事前学習をしない場合とその他のモデルを比べてみる と、事前学習をしない場合はかなり性能が落ちてお り、ベースラインである hyperdoc 2 vec にも劣る結果 となっている。ここからは、提案手法の性能向上は Transformer Model からだけではなく、それを事前学習による言語知識と組み合わせた際にのみ得られる ということが見てとれた。

## 5 おわりに

本論文では Pre-trained Transformerを用いて引用文脈を考慮したネットワーク埋め込みを作成する新た な手法を提案した。この手法は引用論文推薦と論文分類に対して高い性能を発揮し、既存手法に対する 優位性を示した。本研究では埋め込みの汎用的な評価を目指して論文分類での評価を行ったが、引用文脈の直接的な有用性に焦点を当てた評価タスクの導入は我々の手法の実用性を示す上で重要な一歩にな ると考える。さらに、引用ネットワーク以外にエッ ジに文章情報を特徵として持つネットワークにその 適用範囲を広げることも重要な指針の一つである。

## 参考文献

[1] Chanathip Pornprasit, Xin Liu, Natthawut Kertkeidkachorn, Kyoung-Sook Kim, Thanapon Noraset, and Suppawong Tuarob. ConvCN: A CNN-Based Citation Network Embedding Algorithm towards Citation Recommendation, p. 433-436. Association for Computing Machinery, New York, NY, USA, 2020.

[2] Han Tian and Hankz Hankui Zhuo. Paper2vec: Citationcontext based document distributed representation for scholar recommendation. CoRR, Vol. abs/1703.06587, , 2017.

[3] Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, and Yoshua Bengio. Graph attention networks. In International Conference on Learning Representations, 2018.

[4] Zonghan Wu, Shirui Pan, Fengwen Chen, Guodong Long, Chengqi Zhang, and Philip S. Yu. A comprehensive survey on graph neural networks. IEEE Transactions on Neural Networks and Learning Systems, Vol. 32, No. 1, p. 4-24, Jan 2021.

[5] David Jurgens, Srijan Kumar, Raine Hoover, Dan McFarland, and Dan Jurafsky. Measuring the evolution of a scientific field through citation frames. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 391-406, 2018.

[6] Simone Teufel, Advaith Siddharthan, and Dan Tidhar. Automatic classification of citation function. In Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing, EMNLP' 06 , p. 103-110, USA, 2006. Association for Computational Linguistics.

[7] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A Pretrained Language Model for Scientific Text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.

[8] Jialong Han, Yan Song, Wayne Xin Zhao, Shuming Shi, and Haisong Zhang. hyperdoc2vec: Distributed representations of hypertext documents. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 23842394, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[9] Zhiqing Sun, Zhi-Hong Deng, Jian-Yun Nie, and Jian Tang. Rotate: Knowledge graph embedding by relational rotation in complex space. In International Conference on Learning Representations, 2019.

[10] Lu Lin and Hongning Wang. Graph attention networks over edge content-based channels. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, pp. 1819-1827, 2020.

[11] Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In Yoshua Bengio and Yann LeCun, editors, 1st International Conference on Learning Representa- tions, ICLR 2013, Scottsdale, Arizona, USA, May 2-4, 2013, Workshop Track Proceedings, 2013.

[12] Yang Zhang and Qiang Ma. Doccit2vec: Citation recommendation via embedding of content and structural contexts. IEEE Access, Vol. 8, pp. 115865-115875, 2020.

[13] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[14] Quan Wang, Pingping Huang, Haifeng Wang, Songtai Dai, Wenbin Jiang, Jing Liu, Yajuan Lyu, Yong Zhu, and Hua Wu. Coke: Contextualized knowledge graph embedding. arXiv preprint arXiv:1911.02168, 2019.

[15] Bryan Perozzi, Rami Al-Rfou, and Steven Skiena. Deepwalk: Online learning of social representations. In Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD '14, pp. 701-710, New York, NY, USA, 2014. ACM.

[16] Chanwoo Jeong, Sion Jang, Hyuna Shin, Eunjeong Park, and Sungchul Choi. A context-aware citation recommendation model with bert and graph convolutional networks, 2019.

[17] Yufang Hou, Charles Jochim, Martin Gleize, Francesca Bonin, and Debasis Ganguly. Identification of Tasks, Datasets, Evaluation Metrics, and Numeric Scores for Scientific Leaderboards Construction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5203-5213, Florence, Italy, July 2019. Association for Computational Linguistics.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

## A 提案手法における入力埋め込み

本節では提案手法における入力埋め込みの作成方法をモデルに関する詳細として説明する。我々が ベースとしている SciBERT の入力埋め込みはトー クン埋め込み、位置埋め込み、セグメント埋め込み の合計によって構成されるが、提案手法の入力埋め 込みはトークン埋め込み、位置埋め込み、トークン タイプ埋め込みの 3 つの埋め込みの合計によって構成される。トークン埋め込みは引用文脈内の単語埋 め込み、もしくはネットワーク内の論文埋め込みに 対応するものであり、大力の際にトークンの埋め込 みの辞書として機能する。単語埋め込みに関しては SciBERT のそれを流用し、論文埋め込みに関しては ランダムに初期化したものを用いた。位置埋め込み はトークンの位置を表すためのものであり、これも SciBERT のものを流用した。最後に、トークンタイ プ埋め込みは単語埋め込みと論文埋め込みを区別す るためのものでありそのトークンが単語の場合は トークンタイプ 0 に対応する埋め込みが、論文の場合はトークンタイプ 1 に対応する埋め込みが足し合 わされる。この埋め込みもまたランダムに初期化し たものを用いた。

## B 論文分類における論文埋め込み

本節では実験における論文分類の詳細設定として それぞれのモデルに対する論文埋め込みの抽出方法 を説明する。まず既存研究である hyperdoc2vec に関 して説明すると、hyperdoc $2 \mathrm{vec}$ には IN vector と OUT vector と呼ばれる 2 種類の論文埋め込みが存在し、今回は実験による検討の結果、それぞれの論文に対応する OUT vectorを論文埋め込みとして用いた。ま た、ベースラインとして用いた RotatE は静的な論文埋め込みを訓練する手法であり、その埋め込みを用 いた。最後に我々の提案手法における抽出方法を説明する。提案手法は SciBERT をべースとしており、例えば入力に用いるトークン埋め込みを論文埋め込 みとして用いることは可能であるが今回は複数の手法を検討した結果以下の工程を用いて埋め込みを取得することとした。ここで埋め込みを抽出したい論文を論文 $\mathrm{A}$ とすると、まず我々は埋め込みの訓練に 用いたデータから論文 $\mathrm{A}$ を被引用論文とするデータ (そのようなデータがない場合は論文 $\mathrm{A}$ が引用元論文であるデータ)を集める。そしてそれぞれのデー タを訓練である Masked Paper Prediction と同様の変換方法を用いて入力系列としたのちに SciBERT に 入力する。そして SciBERT から出力された埋め込 みのうち入力系列内の論文 $\mathrm{A}$ に対応する位置の出力埋め込みの平均を全てのデータに対して取ることで これを論文 $\mathrm{A}$ の埋め込みとしてみなした。

## C データセット間の比較

表 5 に今回我々が用いた 2 つの引用ネットワーク の詳細が記載されている。まずAASCが ACL の論文 のみで構成されているのに対し、FullTextPeerRead(以下 FTPR) は ACL だけでなくICLR,NIPS の論文も含 んでおり、機械学習全般の論文をターゲットとし ている。ノード数、エッジ数からは FTPR の方が AASC よりサイズが小さいことがわかるが、連結成分の数からは FTPR がより分離されたネットワーク であることがわかる。平均最短経路長 (今回は連結 なノード間でのみ計測した) は AASC の方が FTPR より長く、さらにネットワークの凝集度を表すクラ スタリング係数は AASC の方が高い。ここからは AASC が FTPR に比べてノード間の距離が近く、そ してネットワークにおける関係性の密度が高く凝集性が高いということが見て取れる。ネットワーク上

係があるならノード A、C の間にも関係が成り立ち やすいという特性を活かしたものであり、AASC は この特性が強いためネットワーク構造を用いた推論 を行いやすいデータセットであると考えられる。

表 5 ネットワーク分析の指標によるデータセットの比較

## D 謝辞

本研究の一部は JST CREST JPMJCR1513 の支援を 受けたものである。