# 複合化された固有表現認識のための教師なし並列構造解析
澤田 悠治 $\dagger \cdot$ 寺西 裕紀竍・松本 裕治 ${ }^{\dagger} \cdot$ 渡辺太郎†

固有表現認識は, 科学技術論文などのテキストから分野特有の用語を機械的に抽出す るタスクである。固有表現認識の従来研究は連続した範囲から成る固有表現のみを 解析対象としているが，並列する固有表現の一部が省略された複合的表現が含まれて おり, これらの固有表現に対して個々の固有表現を抽出することが困難である. 本研究では, 近年の自然言語処理タスクで広く使用されている学習済み言語モデルを用 いて, 並列構造の教師データを用いずに並列する句の範囲を同定し, 複合化された固有表現を正規化する手法を提案する． GENIA Treebank と GENIA term annotation を用いた評価実験では, 教師情報を使用した先行研究と近い解析性能を示し, 提案手法によって固有表現認識の精度が向上することを確認した.

キーワード：固有表現認識，並列構造解析，系列アライメント
## Coordinate Structure Analysis without Labeled Data for Recognizing Compound Named Entities

\author{
Yuya Sawada $^{\dagger}$, Hiroki Teranishi ${ }^{\dagger \dagger}$, Yuji Matsumoto ${ }^{\dagger \dagger}$ and Taro Watanabe ${ }^{\dagger}$
}

Named entity recognition is a fundamental task to detect terminologies from a text such as scientific literature. Previous studies treat only entities in continuous spans although sentences may contain compound named entities with coordination, which cannot be identified by existing recognizers. To recognize those entities, we propose a pipeline method in which entities with coordination are first identified using an unsupervised method utilizing a pretrained language model and then individual embedded named entities are normalized. In experiments, we demonstrate that our coordination identification method is comparable to the state-of-the-art supervised model for GENIA treebank, and the performance of named entity recognition for GENIA term annotation is improved by our normalization method.

Key Words: Named Entity Recognition, Coordinate Structure Analysis, Sequence Alignment


## 1 はじめに

物質名や有機物名などの分野特有の用語（固有表現）を科学技術文献などのテキストから機械的に抽出する技術は，物質・有機物などが取り持つ関係性の抽出や検索などにおいて重要な基盤とされている．固有表現認識の手法は，人手による素性設計を必要としないニューラルネットワークの導入によって顕著に発展している (Lample et al. 2016; Ma and Hovy 2016) が, 従来の固有表現認識技術では抽出が困難な固有表現が存在し, 専門分野における固有表現認識の精度改善と, 情報検索・関係抽出などの応用のために解決が期待される。

既存の固有表現認識手法で抽出が困難な固有表現の一つとして, 複数の固有表現が並列関係にある表現が挙げられる。並列関係にある要素（並列句）は “and”や“or”などの等位接続詞によって連接されて並列構造を構成するが，並列句に共通して出現する接頭・接尾の要素はしばしば並列構造の外側に括り出される。例えば，“human T and B lymphocytes”には "human T lymphocyte”と “human B lymphocyte”の二つの固有表現が並列関係にあり，それぞれの固有表現で共通して出現する “human” と “lymphocyte”が省略されている。このような固有表現は，生命科学分野の固有表現認識コーパスである GENIA term annotation で全体の $3 \%$ に含まれており, 既存研究の評価実験では一つの固有表現 ("human T and B lymphocytes") として扱うか, 評価対象から除外されている.

本研究では, 並列構造及びその並列句に共有される隣接要素から構成される固有表現を, 複合固有表現と呼ぶ1. 例えば，上述の固有表現は名詞の並列構造 (“T and B”) と並列句に共有される隣接要素 ("human”, “lymphocyte”) から成り, これらの構成要素を連結することで "human T and B lyphocytes" が表現されていると解釈できる. 複合固有表現に内包される並列構造の範囲を同定し, 並列句に共有される要素を特定することで, 並列句とその共有要素によって表される個々の固有表現を復元することが可能であると考えられる.

並列構造の範囲同定に関する多くの研究では, 並列句が意味的・統語的に類似しているという特徴に着目しており, 近年ニューラルネットワークの導入によって顕著に発展している。しかしながら, 既存手法は分野に特化したコーパスを使用する教師あり学習による手法に基づいており，固有表現認識タスクへの応用を考慮すると固有表現と並列構造の両方のアノテーションにかかるコストが問題になる。

本研究では, 既存の固有表現認識器とのパイプライン処理が可能な, 並列構造のアノテーションを用いない並列構造の範囲同定手法を提案する。また, 複合固有表現に対して提案手法が同定した範囲から省略された要素を識別し, 正規化する方法についても示す. 提案手法では, 近年自然言語処理タスクで広く利用されている事前学習された単語分散表現を用いて, 等位接続

詞前後の要素の対応関係を示すスコアを計算する，評価実験では， GENIA Treebankにおける並列句の範囲同定のタスクにおいて，並列構造のアノテーションを用いない手法が教師ありの既存手法に近い再現率を得た。さらに，GENIA term annotationを用いた固有表現認識のタスクにおいても，既存の固有表現認識手法の精度が改善されたことを示す。

本研究の貢献は以下の三点である.

・これまで例外的に扱われてきた，複合固有表現に対応する抽出手法を提案した。
- 事前学習された単語分散表現を用いて, 並列構造の範囲のアノテーションデータを用いずに並列構造の範囲を同定する手法を開発した。
- 提案手法が既存の並列構造解析の教師あり手法に近い性能を達成し, 並列構造の範囲同定が固有表現認識に有用に働くことを示した.

## 2 提案手法

本研究で用いる手法の概要を図 1 に示す. 提案手法は, 複合固有表現を一つの固有表現として抽出する固有表現認識器と, 文中に含まれる名詞と形容詞の並列構造の範囲を同定する並列構造解析器の二つのモジュールで構成されている。二つのモジュールの解析結果に基ついて, 複合固有表現に含まれる省略された要素を検出し，個々の固有表現へ正規化する。例として，図 1 では固有表現認識器で “tissue-specific H2A-2 and H2B-2 genes”, 並列構造解析器で “H2A-2” および “H2B-2"が入力文から抽出されており, 二つのモジュールの出力から “tissue-specific H2A-2 and H2B-2 genes" が複合固有表現であること, “tissue-specific"と "genes”が複数の固有表現の中で共通した要素であることが分かる. 本研究では, 並列構造解析器で同定された並列構造が固有

図 1 提案手法の概要図
表現認識器で予測された範囲に含まれる場合は，その範囲が複合固有表現であると仮定し, 並列構造の個々の並列句を展開して個別の固有表現 ("tissue-specific H2A-2 genes" と "tissue-specific H2B-2 genes"） へと正規化する².

## 2.1 並列構造解析器

並列構造解析器では, 訓練データを用いたモデルの教師あり学習を行わずに等位接続詞の前後にある並列句範囲を同定する。“-2, $-4,-5$ and -13”のような三つ以上の並列句から成る並列構造は，等位接続詞前後の並列句のみ (“-5 and -13”) を同定する。複合固有表現に含まれる並列構造は, “T and B” “myeloid and lymphoid” のように名詞や形容詞の並列から成るため, 提案手法は名詞と形容詞の並列構造を範囲同定の対象とする。本研究で構築する並列構造解析器の実行過程を Algorithm 1 に示す. 語数 $N$ で構成される文 $w_{1: N}=\left.\{w_{1}, w_{2}, \ldots, w_{N}\right.\}$ と等位接続詞 $w_{k}(1 \leq k \leq N)$ に対して, 全ての可能な並列構造範囲の組み合わせの中でスコアを計算し,最もスコアの高い組み合わせを並列句の範囲として抽出する. 本手法では, 以下の三つの手順



にしたがって並列句ぺアを決定する。
- 並列句の最長範囲の抽出（前処理）: 入力文に対して, 名詞または形容詞の並列構造と成り得る系列の最長範囲を抽出する (Algorithm 1:6 行目).
- 系列アライメント：並列構造の可能な全ての組み合わせに対して編集グラフを用いてスコアを計算し, 最大スコアとなる並列句ペアを同定する (Algorithm 1: 7-15 行目).
- フィルタリング: スコアが間値未満となった並列句ぺアの結果に対して, 並列構造を不在のものと見なす (Algorithm 1: 16-18 行目).

以降の小節では, これらの手順の詳細について説明する.

## 2.1.1 並列句の最長範囲の抽出

まず，名詞と形容詞以外の文や節などの並列構造を対象外とするための前処理として，品詞タグを用いたルールに従って並列句の可能性がある単語系列 $\left(w_{i: k-1}, w_{k+1: j}\right)$ を抽出する。具体的には，等位接続詞の前後で動詞, 前置詞, カンマ $($,$) , コロン ($ : ), セミコロン ( ; ), 三点リーダ $(\cdots)$ を含まない最長の範囲を抽出する ${ }^{3}$. 例えば,

"Antigen complexed with major histocompatibility complex class I or II molecules on the surface of antigen presenting cells ..."

という文が入力された場合は, “major histocompatibility complex class I or II molecules” が並列構造の候補の最長範囲として抽出される。“-M1, and -M2”のように等位接続詞と先行する並列句の間にカンマが出現する場合があるため，等位接続詞に先行するカンマは事前に除去してから前処理を行う。また, 副詞句から成る並列構造を解析結果から除くためのルールとして, 等位接続詞前後の単語がともに副詞である場合は, 名詞・形容詞の並列構造は検出されず NONE を返す ${ }^{4}$.

## 2.1.2 系列アライメント

系列アライメントでは, 前処理で抽出された範囲 $[i, j]$ における並列句の候補ぺア $w_{b: k-1}(i \leq$ $b \leq k-1), \quad w_{k+1: e}(k+1 \leq e \leq j)$ に対してスコア計算を行い，最大スコアを持つ候補ぺアを並列構造 $w_{b: e}$ として同定する，系列アライメントは，遺伝子配列などの系列間で相同性（類似性）を検出する手法 (Levenshtein 1966)の一つであり，一方の系列を插入・削除・置換の三つの編集操作を通して他方の系列へと変換する一連の操作を考えることで，系列間の対応関係が求められる。系列アライメントの例を図 2 に示す. 図 2 では縦方向の辺が挿入, 横方向の辺が削
=$ “" かつ $\left.w_{j+1}="\right) "$ かつ $w_{i: j}$ に丸括弧が出現しない場合は, 範囲 $[i, j]$ を並列構造の可能な範囲として定める.
}

図 2 並列構造解析に用いる系列アライメント

除, 斜め方向の辺が置換の操作に対応しており，赤線が最適な編集経路を表す.この編集経路は, "the"と "the", "retinoid-induced"と “RARE-medicated”, “program”と "signal”がそれぞれ対応関係にあることを意味している。三つの編集操作にはスコアが割り当てられており，編集グラフと呼ばれる格子状の空間でスコアの総和が最も高い操作系列が最適なアライメントとして決定される。

$
\operatorname{Score}\left(w_{b: k-1}, w_{k+1: e}\right)=\max _{R \in \mathcal{R}_{G}\left(w_{b: k-1}, w_{k+1: e}\right)} \sum_{\text {op }_{l, m} \in R} s\left(\mathrm{op}_{l, m}\right)
$

ここで $\mathcal{R}_{G}\left(w_{b: k-1}, w_{k+1: e}\right)$ は系列 $w_{b: k-1}$ と $w_{k+1: e}$ の編集グラフ $G$ 上の可能な操作系列の集合であり, $\mathrm{op}_{l, m}$ は要素 $w_{l}(b \leq l \leq k-1)$ および $w_{m}(k+1 \leq m \leq e)$ に対する任意の編集操作を表す。

系列アライメントに基づいて並列構造の範囲を同定する Shimbo and Hara (2007)の手法では,語数 $N$ の入力文に対して $N \times N$ 個の格子点で構成される編集グラフを用いて，編集グラフ上の辺に割り当てられた特徴について学習されたパラメータの線形和として操作系列のスコアを計算し，範囲を同定している。本手法は Shimbo and Hara (2007) と同様に系列アライメントに基づいて並列構造の範囲を同定するが，並列構造のアノテーションに基づいて学習されたパラメータを用いるのではなく, 学習済み言語モデルを用いてスコアの総和が最大となる編集操作系列を求めることで, 最適な並列構造の範囲の組み合わせを決定する. 具体的には, 挿入・削除をスキップ, 置換をマッチの操作として定義し, 二つの編集操作に対して学習済み言語モデルから得られる単語分散表現に基づいたスコア $s\left(\mathrm{op}_{l, m}\right)$ を付与する. スキップの操作に対しては, 開発データを用いて調整した定数値 $\beta$ を割り当て, マッチの操作に対するスコアは, 対応する単語同士のベクトル $\mathbf{v}_{l}^{\text {pre }}(b \leq l \leq k-1)$ と $\mathbf{v}_{m}^{\text {post }}(k+1 \leq m \leq e)$ のコサイン類似度に基づ

いて計算する ${ }^{5}$.

$
\begin{gathered}
s\left(\mathrm{op}_{l, m}\right)= \begin{cases}\beta & \left(\mathrm{op}_{l, m}=\mathrm{SKIP}\right) \\
f_{\text {match }}(l, m) & \left(\mathrm{op}_{l, m}=\mathrm{MATCH}\right)\end{cases} \\
f_{\text {match }}(l, m)= \begin{cases}\cos \left(\mathbf{v}_{l}^{\text {pre }}, \mathbf{v}_{m}^{\text {post }}\right)^{2} & \text { if } \cos \left(\mathbf{v}_{l}^{\text {pre }}, \mathbf{v}_{m}^{\text {post }}\right) \geq 0 \\
-\cos \left(\mathbf{v}_{l}^{\text {pre }}, \mathbf{v}_{m}^{\text {post }}\right)^{2} & \text { otherwise }\end{cases}
\end{gathered}
$

全ての候補ぺア $w_{b: k-1}(i \leq b \leq k-1), w_{k+1: e}(k+1 \leq e \leq j)$ についてスコアを比較する際,編集グラフのサイズが大きくなるほど編集操作の回数が多くなり, 式 (1) によって計算されたスコアの総和が大きくなる。そこで各編集グラフ $G\left(w_{b: k-1}, w_{k+1: e}\right)$ で算出された最大スコアを編集グラフ上の最適経路 $\hat{R}$ の長さ $T$ によっ正規化し, 正規化されたスコアを用いて候補ぺアを決定する。ししたがって, Alignment 関数は以下のように定義される.

$
\operatorname{Alignment}\left(\mathrm{w}_{b: k-1}, \mathrm{w}_{k+1: e}\right)=\operatorname{Score}\left(\mathrm{w}_{b: k-1}, \mathrm{w}_{k+1: e}\right) / \mathrm{T}^{\alpha}
$

ここで $\alpha$ はハイパーパラメータであり，0.00～1.00の範囲で調整される.

## 2.1.3並列句ペアのフィルタリング

前処理や系列アライメントによって同定された並列句ペアの中には，本手法で解析対象としていない文や節などの並列構造の断片から成る並列構造が誤検出される場合がある. 例えば,

"[that is responsible for trans-activation by the HTLV-I trans-activator p40tax] and [that has the ability to bind to cyclic-AMP responsive element binding factor ( CREB )-like factor ( $\mathrm{s}$ )]"

のような従属節による並列構造に対し, 前処理によって "the HTLV-I trans-activator p40tax and that” が並列構造の最長範囲として抽出され，系列アライメントによって “that”を並列句に持つ並列構造が決定される。このように誤検出される並列構造は，並列句ぺアに対する系列アライメントのスコア（式 (1)）が低くなると考えられるため, 閥値 $\eta$ を設定し, スコアが間値 $\eta$ 未満となった並列句ぺアは名詞・形容詞の並列構造と見なさずNONE を返す。閾値によるフィルタリングを適用するため, 式 (4)の Alignment 関数にシグモイド関数を適用し, Alignment 関数の返り値の値域を $0.00 \sim 1.00$ に変換する.

## 2.2 複合固有表現の正規化

## 2.2.1BERT を用いた固有表現認識

本研究では，BERT (Devlin et al. 2019) を固有表現認識タスク向けに fine-tuning したモデルを

固有表現認識器として使用する. 固有表現認識タスクへの fine-tuning を行う際には, Lee et al. (2019) と同様に学習済みの BERT と Softmax 層を結合して，各サブワードの固有表現ラベルを予測する ${ }^{6}$. 複合固有表現に対しては，一つの固有表現として抽出されるように学習する.

## 2.2.2 個別固有表現の抽出

2.1 節と 2.2 .1 節で述べた並列構造解析器と固有表現認識器の出力を利用して, 複合固有表現を個別の固有表現に分解する。具体的には，並列構造を含んでいる固有表現の中で省略されている要素を識別し，それぞれの固有表現に結合させる。省略されている要素は, 固有表現認識器で抽出された範囲から並列構造の範囲を取り除くことで得ることができる. 例えば，固有表現認識器で “human T and B lymphocytes” が抽出され, 並列構造解析器で “T and B” が同定された場合は，並列構造の範囲を取り除いて“human”と“lymphocytes”を省略された要素と見なす.これらの省略された要素をそれぞれの並列句と連結することで，二つの固有表現 “human T lymphocyte”と “human B lymphocyte” が最終的に抽出される. 固有表現によって抽出された並列構造を含まない表現は, 並列構造解析器を用いた正規化は適用されずに一つの固有表現として抽出する.

## 3 実験

本研究では GENIA Treebank (beta) (Tateisi et al. 2005) と GENIA term annotation (Kim et al. 2003) を用いて評価実験を行う. GENIA Treebank は統語範疇のラベルとともに並列構造の範囲がアノテーションされており, GENIA term annotation は複合固有表現を構成している個々の固有表現がアノテーションされている。そこで並列構造解析の評価には GENIA Treebank beta, 固有表現認識の評価には GENIA term annotation を用いて, それぞれのデータセットにて教師なし手法である提案手法と先行研究の教師あり手法の性能を比較する. また, 提案した並列構造解析手法のハイパーパラメータは, GENIA Treebankの並列構造のアノテーションが利用できない状況を想定して, Penn Treebank (Ficler and Goldberg 2016a) 上で調整したため,予備実験として Penn Treebankにおける提案手法の性能について示す.

## 3.1 Penn Treebank での予備実験

## 3.1.1 実験設定

Penn Treebank での実験には，コーパスの Wall Street Journal のパートのうち， セクション 22 を開発データ, セクション 23 を評価データとして用いて, 対象の等位接続詞は寺西ら $(2020)$
^{6}$ Lee et al. (2019) が公開しているソフトウェアを使用した .
}

表 1 各単語分散表現に対するハイパーパラメータの設定

と同様に “and", “or", "but”, “nor", “and/or"とする. スキップと正規化のハイパーパラメー 夕の調整にはハイパーパラメータの最適化ツールである Optuna (Akiba et al. 2019)を使用し,開発データで最も高い $\mathrm{F}$ 值を示した設定を採用した7.

また, 本稿では異なる単語分散表現による解析性能の差異を調べるため, FastText (Bojanowski et al. 2017), ELMo (Peters et al. 2018), BERT (Devlin et al. 2019) による単語分散表現を使用した ${ }^{8}$. BERT を使用する際は，BERT に付随するトークナイザによってサブワードに分割される場合を考慮して, 分解されたサブワードのベクトルから要素ごとの平均をとることで単語分散表現を取得した．各単語分散表現を用いたモデルで採用するハイパーパラメータの設定は表 1 の通りである.

## 3.1.2 評価指標

全ての名詞の並列構造における等位接続詞の前後の並列句範囲の一致について, 適合率・再現率及びそれらの調和平均（F 値）で評価する9．Penn Treebankによる実験では名詞の並列構造のみを範囲同定の対象にしているため, 前処理の手順で形容詞の並列構造を解析対象から除外するルールを加えた ${ }^{10}$.また, Penn Treebankにおける先行研究として, Penn Treebank の評価実験で最も高い性能を示している教師あり学習手法である寺西ら (2020)の結果についても示す ${ }^{11}$. 寺西ら (2020)の手法は, 文脈を考慮した単語分散表現を使用していないため, BERT-Large (cased) から取得される単語分散表現を素性として追加したモデルを使用した結果についても示す.

## 3.1.3 実験結果

表 2 に実験結果を示す。テストデータにおいて, ELMo と BERT が FastText よりも高い適合
$ 值を示した設定を採用した.

8 FastText は Wikipediaを訓練コーパスに用いたモデル , BERT は BERT-Large, uncased のモデルを使用した. 各単語分散表現のベクトルの次元数は FastText が 300 次元, ELMo と BERT はどちらも 1024 次元である.

9 寺西ら (2020) と同様に NP ・NX の並列構造を名詞の並列構造と見なす.

10 副詞句と同様に，等位接続詞の前後にある単語の品詞が形容詞の場合は NONE を出力する.

11 寺西ら (2020) の手法では, Wall Street Journal のパートでセクション 2 から 21 を訓練データとして使用している.
}

“Teranishi+20 (original)” は寺西ら (2020) の報告している結果から抜粋

表 2 Penn Treebankでの実験結果

率, 再現率, $\mathrm{F}$ 値を示しており, 文脈を考慮した単語分散表現が類似度計算に有効に働いている.しかし先行研究の実験結果と比較すると, 提案手法は先行研究より 40 ポイント程度低い值となった。これは, 並列関係にある名詞句同士の意味があまり類似しない事例に対して, 類似する単語同士の対応が有効に働かなかった点が原因として考えられる. 複合固有表現は並列句で共通する接頭・接尾の要素によって並列構造を成すため, 並列句同士が類似しない事例は含まれにくい。例えば，

"GM officials want to get their strategy to reduce capacity and the work force in place before those talks begin ."

という文に含まれる名詞の並列構造 ("capacity and the work force") では, 前後の並列句に属する単語ぺアで類似するものがなく, 並列構造が不在なものとして誤って予測される。対して寺西らの手法では，並列句の内側と外側の境界において単語の連接関係を考慮したスコアを導入することで，双方の並列句で意味が異なる事例に対しても並列構造の外側の文脈から範囲が同定できる。また, 以下のような事例も偽陽性・偽陰性の原因として挙げられ, 本研究の今後の課題である.
- 名詞の並列構造が形容詞から成るため, 前処理の段階で形容詞の並列構造として誤って除外される事例 ("You ca n't say the same with black and white").
- 語順が逆転しているため, 類似となるぺアが適切に選ばれない事例 ("Elcotel , a telecommunications company, had net income of $\$ 272,000$, or five cents a share").
- 節の先頭と末尾の名詞句が, 名詞の並列構造として誤って予測される事例 ("Also， the company 's hair-growing drug , Rogaine, is selling well - at about \$125 million for the year, but the company 's profit from the drug has been reduced by ...").

## 3.2 GENIA Treebankでの実験

## 3.2.1 実験設定

教師あり手法である寺西ら (2020) の手法と教師なし手法である提案手法の性能を比較するため, GENIA Treebank (beta) での実験を行った. 先行研究との比較のため, 対象の等位接続詞を“and”, “or”, “but”とし, 前処理で使用する品詞タグはコーパスに付与されている品詞を使用した。また, Penn Treebankを用いた予備実験と同様に事前学習された FastText, ELMo, BERT に基づいた単語分散表現を使用して，それぞれの解析性能について比較した。これらの単語分散表現には, GENIA Treebank と同様に生命科学分野に関する論文アブストラクトを訓練コーパスにしたモデルを使用する．FastTextには，PubMedで入手できる論文のアブストラクト，MIMIC-III に収録されている医療カルテを用いて学習した BioWordVec ${ }^{12}$ (Yijia et al. 2019), ELMo は PubMed で入手可能な論文を用いて訓練したモデル13を使用した. BERT では, FastText や ELMo と同様に生命科学分野の論文を用いて学習した SciBERT (Beltagy et al. 2019) と BioBERT (Lee et al. 2019)を使用した ${ }^{14}$ 、ハイパーパラメータの設定は, GENIA Treebank の並列構造のアノテーションを用いないことを想定して, Penn Treebankの予備実験で調整した設定（表 1）をそれぞれ採用した。 さらに，特定のドメインにおいて並列構造のアノテーションが利用できないことを想定して，Penn Treebankの訓練データで学習した寺西ら (2020) の手法を用いた結果についても評価する。Penn Treebankの 39,832 文の訓練データには 15,670 文に並列構造のアノテーションが含まれているのに対し， GENIA Treebankには 2,508 文に並列構造のアノテーションが含まれている。少量の訓練事例で学習して他ドメインへ識別する性能を比較するため, Penn Treebankの訓練データに存在する並列構造を含む文から 1/10 の文をサンプリングして学習した寺西ら (2020)の手法による結果についても示す.

## 3.2.2 評価指標

GENIA Treebankでの実験では, 先行研究との比較のため, 等位接続詞に隣接する並列句の範囲の一致について 5 分割交差検定による再現率で評価を行った。並列構造は前置詞句や節を含んだ並列句から成る場合があるが，複合固有表現に内包される並列構造は前置詞句や節が含まれにくい，したがって，本実験では全並列構造による設定に加えて，前置詞句・節・前処理で適用した記号を含まない並列構造のみを単純な並列構造として評価する. 本手法は GENIA
$ _2xhighway_weights_PubMed_only.hdf5

14 SciBERT は SciBERT-SciVocab, uncased のモデル , BioBERT は BERT-Large, cased のモデルを使用した. SciBERT の次元数は 768 次元， BioBERT の次元数は 1024 次元である.
}

Treebank のデータセットによるモデルの訓練を行わないため, 5 分割交差検定の Held-out データのみを使用し, 5 分割したデータセットでの再現率の平均によって性能を示した. 寺西ら $(2020)$ の手法は， GENIA Treebankの実験では文脈を考慮した単語分散表現を使用していないため, BioBERT-Large (cased) から取得される単語分散表現を素性として追加したモデルをべースラインとして使用する. Penn Treebankの一部の訓練データを使用する設定では, Penn Treebank からサンプリングした訓練事例を全訓練データで学習する設定の 10 倍のエポック数で学習し, Held-out データでの再現率の平均を 1 試行のスコアとする. この手続きを 5 回試行した上で,全試行におけるスコアの平均と標準偏差を示す.

また，前処理や闇値を用いずに予測した際の識別性能について，適合率・再現率・F 値によって評価する。複合固有表現に内包する並列構造のみを識別するため, 前処理や閥値などを用いない設定による評価では, 名詞・形容詞の並列構造を併せて評価する。

## 3.2.3 実験結果

実験結果を表 3 に示す。寺西ら (2020) の教師あり学習の手法 (Teranishi+20 (original)) と比べて, 提案手法 (Ours (ELMo)) は全ての並列構造を対象とした名詞と形容詞の並列構造範囲の一致ではそれぞれ 14 ポイント・17 ポイント程度の差, 単純な並列構造 (Teranishi+20 (BioBERT)) においては, それぞれ 6 ポイント・5ポイント程度の差が見られた. Penn Treebankの学習デー 夕の全事例を用いて学習したモデル (Teranishi+20 (PTB (full))) は, GENIA で学習したモデル (Teranishi+20 (BioBERT)) と同程度の性能を示しているが, Penn Treebankの学習データから少量の訓練事例をサンプリングした場合 (Teranishi+20 (PTB (1/10))), 再現率が著しく低下し, 各試行で性能にばらつきが見られた。また, Penn Treebank の少量の訓練事例で学習した

(再現率, 単位:\%)

表 3 GENIA Treebank beta の実験結果

モデルと GENIA Treebank で学習したモデル (Teranishi+20 (BioBERT))を比較すると, 形容詞の並列構造では GENIA で学習したモデルと同程度の性能を示しているものの, 名詞の並列構造では再現率は 10 ポイント以上下回っている. これらの手法と比較して, 提案手法は Penn Treebankの全学習データを使用して学習したモデルと比べて差はあるものの, $1 / 10$ の教師デー 夕で学習したモデルとは名詞の並列構造で同等以上の精度を示しており, 単純な形容詞の並列構造においては各試行で取りうる性能に近い精度を示している。したがって, 提案手法は同じドメインで学習された教師あり手法と比べて改善の余地はあるものの, 少数の並列構造の訓練事例を用いるだけで他のドメインから学習された手法と近い性能が得られていると考えられる.

単語分散表現の比較においては, ELMoが名詞と形容詞の並列構造において最も高い再現率を示した. これは, 文字列が類似するような専門用語に対して類似度計算をする際に, ELMo で導入されている文字レべルの畳み込み層が有効に働いたためだと考えられ, Claudia and Damir (2020) による医学用語の類似性を評価した実験でも同様の傾向が報告されている. また, BioWordVec を使用したモデルは名詞の並列構造において SciBERT と BioBERT をそれぞれ使用したモデルの再現率を下回ったものの，形容詞の並列構造においては SciBERT と BioBERT のモデルを上回る再現率を示した. 形容詞の並列構造は, “normal and anergic”のような一単語の並列句で構成されている傾向があり, 図 3 でも長さ正規化のパラメータの増加に伴って再現率が増加している.この結果から, 名詞句のような複数の単語系列から成る並列句のアライメントには文脈を考慮した分散表現，形容詞の並列構造のような範囲の短い事例に対しては文字レベルの類似性を考慮した分散表現が有用に働き, ELMo を使用したモデルがサブワードの平均をとる BERT を使用したモデルと比べて高い再現率が得られたと考えられる.

名詞と形容詞の単純な並列構造について, 前処理の有無, ハイパーパラメータの設定, 編集操

(a) 長さ正規化 $\alpha$

(b) スキップ $\beta$

図 3 各パラメータの設定に対する再現率の推移 (ELMo)

パラメータの設定を使用したモデル (default) では適合率と比較して再現率が高くなり，名詞句・形容詞句などの異なる統語範疇を持つ句の並列 16 に対して, 名詞と形容詞の並列構造として誤って予測していると考えられる。間値を用いない設定では, default の設定による結果と比ベて再現率が 1 ポイント増加したのに対して，適合率は 7 ポイント低下した。閾值 $\eta$ に対する $\mathrm{F}$ 値の推移を図 4 に示す。図 4 では閾値 0.54 の設定で $\mathrm{F}$ 値が最大値を示しており，閾値を設定しない場合では高いスコアを示さない非類似の要素ぺアが, 並列構造として誤検出されていることを示している．闇値を高くした設定では，類似する要素ぺアも並列構造として検出されなくなるため，偽陰性の誤りが生じる。前処理のルールを用いず等位接続詞前後の全ての単語系列からアライメントをとる設定では，性能が著しく低下した．前処理における制約を無くした

表 4 異なる設定によるモデルの性能の違い

図 4 閾値 $\eta$ に対する $\mathrm{F}$ 値の推移


ことで等位接続詞の前後の単語系列で部分的にマッチしてしまい，正解となる並列句ペアのスコアを上回ってしまったことが，精度低下の原因として考えられる，スキップのスコアと長さ正規化の強さを示すパラメータを 0 にした設定では, default と性能が変わらない結果となった.

実際に各単語分散表現を用いて，等位接続詞前後の単語系列でマッチの操作に対するスコア （式 3）を算出した例を図 5 に示す 17 . 図 5 では，どの単語分散表現も対応する単語に対して最も高いスコアが付与されている。しかし，ELMo を用いた結果（図 5a）では対応する単語同士と対応しない単語同士で 0.2 以上の差が見られるのに対して, BERT を用いた計算（図 $5 \mathrm{~b}, 5 \mathrm{c}$ ) では 0.1 以下の近いスコアが付与されている箇所が存在する。このように，対応しない単語同士に対して ELMo が低いスコアを算出でき, 対応する位置から距離が遠くなる程スコアが低くなるように計算されていることから，スキップや正規化の制約を設けなくても最適なアライメントが取ることができたと考えられる。

また，編集操作に付与する計算方法では，ユークリッド距離，内積を用いた場合はコサイン類似度と比べて性能が著しく低下した。コサイン類似度による計算も二乗せず単純に計算した方法は再現率が 10 ポイント程度下回っており, 二乗したことで対応関係にある単語同士と対応しない単語同士のスコアの差が僅かに大きくなったことが要因として考えられる.

## 3.2.4 解析結果の定性的分析

表 5 に提案手法による並列構造解析の出力例を示す。まず，各単語分散表現を用いた提案手法の解析結果（表 5a）では, BERT が専門的な単語と無関係な単語が類似するような分散表現

(a) ELMo

(b) BioBERT

(c) SciBERT

図 5 各単語分散表現を用いたマッチ操作に対するスコアの例
^{17}$ ELMo と BERT から得られた単語分散表現は，同一文内の異なる単語間でコサイン類似度がほとんど非負となつていた.
}
(a) ELMo と BERT の単語分散表現によって解析された並列構造の例

 \\
正解 & {$[\mathrm{IL}-10]$ and [IL-4];[mRNA] and [protein] } \\
出力 (ELMo) & {$[\mathrm{IL}-10]$ and [IL-4];[mRNA] and [protein] } \\
出力 (SciBERT) & {$[\mathrm{IL}-10]$ and [IL-4];[IL-6 mRNA] and [protein expression] } \\
出力 (BioBERT) & {$[\mathrm{IL}-10]$ and [IL-4];[IL-6 mRNA] and [protein expression] } \\

(b) どの単語分散表現を使用したモデルでも誤った例

入力文
正解
出力 (ELMo, BERT)

B lymphocytes and macrophages express closely related immunoglobulin $\mathrm{G}$ ( IgG ) Fc receptors ( Fc gamma RII) that differ only in the structures of their cytoplasmic domains.

[B lymphocytes] and [macrophages] [lymphocytes] and [macrophages]

表 5 提案手法の並列構造解析器による出力例

を生成したことで，誤ったアライメントを引き起こす事例が存在した．実際に表 $5 \mathrm{a}$ の例について，各単語分散表現で類似度を計算した結果を図 6 に示す。この例では，ELMo（図 6a）は “mRNA”に対応する “protein”に最も高いスコアが付与されているのに対して, BioBERT（図 6b）とSciBERT（図 6c）は “protein”よりも“expression” の方が高い類似度を示している。これは BERT の単語分散表現はサブワードベクトルから生成されたことが原因として考えられ， サブワードから単語分散表現を生成する場合は専門用語の文字列の特徴を利用しにくい可能性がある.

表 $5 \mathrm{~b}$ では, どの単語分散表現を使用したモデルでも誤って解析された例を示す. 提案手法では，前後の並列句で系列長が異なる事例に対して誤りが生じやすい。本研究で用いた系列アライメントは一対一のアライメントに基づいているため, 表 5b の例では “B”と "lymphocytes”でアライメントをとる必要がある. しかしながら, “macrophages”は “B”よりも "lymphocytes" の方が意味的に近く，単語分散表現による類似度計算のみから予測することは難しいと考えられる。並列句の境界にある単語の連接関係を考慮し，一つの単語が複数の単語に対してアライメントを可能にすることが提案手法の今後の課題である.

## 3.3 GENIA term annotation での実験

複合固有表現を含む固有表現全体の抽出性能を評価するため，GENIA term annotation で実験を行なった. GENIA term annotation における固有表現の出現数と文数を表 6 にまとめる. GENIA term annotation では, 11 タイプの等位接続詞のタグで複合固有表現が分類されてお

(a) ELMo

(b) BioBERT

(c) SciBERT

図 6 各単語分散表現を用いたマッチ操作に対するスコアの例

表 6 GENIA term annotationにおける固有表現の出現数

り18, AND と ORのラベルは全体の $97 \%$ 占めるため, 本実験では AND と OR の等位接続詞を範囲同定の対象とした。


## 3.3.1 実験設定

GENIA term annotation での実験では，入れ子を対象にした固有表現認識の関連研究で使用されている Muis and $\mathrm{Lu}$ (2016)の評価方法19に基づいて，コーパスの最初の $80 \%$ と $10 \%$ の文を固有表現認識器の訓練及び開発用, 残りの $10 \%$ 評価用のデータセットとして使用した. さらに固有表現のタイプがDNA, RNA, Protein, cell_line, cell_typeの固有表現のみを評価対象とし, DNA とRNA, Proteinのサブカテゴリは全て親カテゴリに統合した. GENIA term annotation には, "EBV - transformed human B cell line”の "human B cell line”のような入れ子になった固有表現もアノテーションされているため, 固有表現認識器のモデルの学習には, 訓練データと開発データで入れ子状の固有表現を除去し, 最長範囲の固有表現のみを対象として使用した.

固有表現認識器には, 生命科学のドメインに合わせるため BERT の代わりに BioBERT (Lee et al. 2019)を使用した. BioBERT は, 生命科学分野の固有表現認識タスクの評価用コーパスである JNLPBAを用いた先行研究の中で最も高い抽出性能を示している 20 . 並列構造解析器で用いる学習済みの言語モデルには，Penn Treebank と GENIA Treebankの実験で最も高い性能を示した ELMoを採用し, 系列アライメントで使用するスキップ及び長さ正規化のハイパーパラメータも表 1 の設定を採用した. 並列構造解析器の前処理で使用する品詞夕グは, コーパスに付与されている品詞を使用した.

## 3.3.2 評価指標

GENIA term annotation の実験では，全ての固有表現を対象とした設定と複合固有表現に限定した設定で，固有表現の抽出における適合率・再現率・F 値を評価指標として性能を比較した. 全ての固有表現を対象にした設定では，BioBERTを使用したモデルをベースラインとし， BioBERT と提案手法の並列構造解析器を組み合わせたモデルと抽出精度を比較した. 複合固有表現のみを対象にした設定では，提案手法の並列構造解析器による固有表現認識の性能の上限を示すため, コーパスに付与されている複合固有表現の全体範囲のアノテーションを固有表現認識器の代わりに用いた設定 (Oracle) と, BERTによる固有表現認識器と組み合わせた提案手法の抽出精度を比較した。また，複合固有表現の一部を不連続な固有表現として抽出するDai et al. (2020)の教師あり学習手法を用いた実験結果についても示し, 提案手法における並列構造解析器の有用性を検証した ${ }^{21}$. Dai et al. (2020) は実験用のコーパスに GENIA term annotation
(2016)$ の実験では複合固有表現を一つの固有表現として扱っているため, これらの固有表現を個別の固有表現に分解したデータセットを使用した.

20 JNLPBA では, GENIA term annotation と同じくPubMed の論文アブストラクトを使用しているが, 最長範囲にある固有表現のみを評価対象としており，複合固有表現は一つの固有表現として扱っている.

21 入れ子構造を考慮した固有表現認識タスクにおいて GENIA term annotation を用いて評価を行った研究が存在するが, これらの研究はデータの分割や前処理などの実験設定がそれぞれ異なっており, 再現が困難なため採用しなかった.
}

を採用していないため, Dai らが公開しているソフトウェア 22 を使用し，素性として用いる単語分散表現には ELMo をPubMed で事前学習したモデルを採用した. Dai et al. (2020)の手法は,複合化によって省略が生じた固有表現を含めた不連続な固有表現のみを対象にした設定で性能を評価しており，複合固有表現以外の固有表現が抽出され得るため，複合固有表現のみを対象にした設定では再現率のみを示す.

## 3.3.3実験結果

実験結果を表 7 に示す。全ての固有表現を対象にした評価について，提案手法はべースラインの性能を改善させたが，複合固有表現のみを対象にした設定では Oracle と固有表現認識器の間に 28 ポイントの差があり, パイプラインに使用している固有表現認識器の誤りに起因した性能低下が見られる. Dai et al. (2020)の手法と比較すると, 全ての固有表現を対象にした設定では提案手法の再現率は Dai et al. (2020)の手法と比べて 10 ポイント程度の差があるものの,複合固有表現のみを対象にした設定では, Oracle と提案手法を組み合わせたモデルが Dai et al. (2020) とほぼ同等の再現率を示した。この結果は, 提案手法で用いた固有表現認識器が入れ子状に埋め込まれている他の固有表現を抽出対象にしていないのに対して, Dai et al. (2020)の手法ではこれらの固有表現も対象にしていることが原因として考えられる ${ }^{23}$. 固有表現認識器の性能差の影響をなくすため, Dai らの手法をパイプラインで用いる固有表現認識器として使用する。ただし, Daiらの手法では, 複合固有表現が既に不連続な固有表現として抽出されているため，等位接続詞の前後に固有表現が抽出された場合は一つの複合固有表現とみなし（no disc), 提案手法の並列構造解析器を用いて個々の固有表現として再度抽出する。結果を表 8 に示す. Daiらの手法による出力から得た複合固有表現を個々の固有表現として再度抽出した場

表 7 GENIA term annotation での固有表現認識の実験結果


 \\
BioBERT & \multicolumn{3}{|c}{$\mathrm{F}$} \\
Dai et al (no disc) & 78.6 & 63.6 & 69.1 \\
Dai et al & $79.1(+0.7)$ & $76.2(+2.5)$ & $77.6(+1.6)$ \\
Dai et al (no disc)+Ours & $79.2(+0.8)$ & $75.0(+1.3)$ & $77.1(+1.1)$ \\

“Dai et al (no disc)”は, 複合固有表現内の個々の固有表現を結合した際の抽出精度括弧内の数字は “Dai et al (no disc)” からの上がり幅を示す.

表 8 Dai らの出力から得た複合固有表現を使用した実験結果

合, 提案手法は教師あり手法であるDai らの手法とほぼ同等の性能で抽出できていることが分かる。これらの結果を踏まえて, 複合固有表現の正規化において提案手法の並列構造解析器が有効に働いており, 複合固有表現に対する固有表現認識器の抽出性能に従って, 今後解析性能も向上すると考えられる。

## 4 関連研究

## 4.1 固有表現認識

これまでの固有表現認識の多くの研究は, 系列ラベリングによる手法に基づいている。系列ラベリングでは，入力された単語系列に対し，固有表現のラベルと境界を表すラベル系列を予測する。初期の系列ラベリングによる手法では，人手による素性設計と機械学習手法の一つである条件付き確率場 (Lafferty et al. 2001) が主に使用されており, 単語の表層形や品詞などの情報が素性として使用された。近年では，双方向型の Long-Short Term Memory (Lample et al. 2016; Ma and Hovy 2016) や ELMo (Peters et al. 2018), BERT (Devlin et al. 2019) などの文脈を考慮した単語の深層情報を利用することで, 最小限の素性で学習が可能な手法が考案されている．系列ラベリングに基づく手法では，固有表現の始点 (B) や内部 (I) などを示すラベル方式によって定義されており，連続した単語列から成る固有表現しか表現できず，入れ子構造となる固有表現や不連続な固有表現を表せない問題がある。したがって, 先行研究では複合固有表現に対しては複合固有表現全体または連続した一部分を固有表現として抽出して評価するか, あるいは例外の事例として評価対象から取り除いている。

複合固有表現におけるラベリングの問題に対して, Muis and Lu (2016)と Dai et al. (2020)は不連続な範囲を持つ固有表現に対応する手法を提案した。複合固有表現では, “Vitamins A and B”の“(Vitamins) B”のように, 省略を伴う一部の固有表現の範囲が不連続的になり，これらの
固有表現を不連続な範囲をもつ固有表現と見なすことができる，Muis らは，医療ドメインの固有表現認識において系列ラベリングのラベル方式を拡張し，単語を示すノードと固有表現のクラスを意味するエッジで繋いだ一本のハイパーグラフが構成されるようなラベル系列を予測することで，不連続な範囲に対応する手法を提案した，Daiらは，医療・創薬ドメインの固有表現認識において, Lample et al. (2016)が開発したShift-Reduce アルゴリズムに基づく固有表現認識手法を拡張し，不連続な範囲の固有表現をボトムアップに抽出する手法を提案した。

また，複合固有表現を含む省略を伴った並列的表現に対して，Buyko et al. (2007)と Chae et al. (2014) は省略を正規化する手法を提案した。複合固有表現の一部には “[IL-5] / [GM-CSF] receptor”のような，等位接続詞によらない並列関係によって省略を伴う表現が存在する。 Buyko et al. (2007) は入力文の単語系列を先行詞，接辞，等位接続詞，複合表現以外を示す四種類のラベルに分類し，ラベルの出現パターンに基づいて省略を伴う複合表現を予測する手法を提案した. Chae et al. (2014)は, 生命科学分野の専門用語を集積した辞書で複合表現を網羅的に探索し, 先頭にある単語の省略 (forward), 末尾にある単語の省略 (backward), 先頭や末尾などの複雑な省略 (complex) の三つのカテゴリに基づくルールを用いて, 複合表現を正規化する手法を提案した. Buyko et al. (2007) は複合表現のそれぞれの要素に対してアノテーションされたデータセット, Chae et al. (2014)の手法はデータセット上の全ての専門用語が網羅された辞書を使用している点で本研究と異なる.

本研究は, 複合固有表現に対して, 並列構造解析と固有表現認識の手法を組み合わせる試みとして位置付けられる，固有表現の範囲と並列句の範囲を独立して予測することで，複合固有表現に含まれる個々の固有表現について評価する設定で，固有表現の認識精度が向上した.

## 4.2 並列構造解析

並列構造は，等位接続詞などの句を連接させる働きを持つ語，等位接続詞などによって結びつけられた句（並列句）によって構成される。並列構造解析では, 並列構造に属する並列句の始点と終点を予測する.これまでの並列構造解析の多くの研究では, 並列構造の範囲同定に有用な特徴として，並列句の類似性に基づいた手法が発展している。並列構造の類似性とは，同一の並列構造に属する並列句同士が句の構造や意味において類似する性質である．例えば，図 7 のような隣接する二つの並列句, "strong tyrosine phosphorylation of STAT4" と "variable weak phosphorylation of STAT3”は, ほぼ同一の品詞系列を持ちながら，STAT ファミリー分子のリン酸化に関する意味を持っている.

まず並列構造の類似性に基づく手法として，Kurohashi and Nagao (1994)は結びつけらた並列句同士の類似度を示すスコアを文字列や品詞の一致などのルールによって計算することで,日本語における並列構造の範囲を同定する手法を提案した. Shimbo and Hara (2007) は英語の並列構造において, 単語や品詞, 形態情報に基づいた素性を用いて並列句の内部にある単語同

図 7 並列構造の類似性の例

士のアライメントによって類似度を計算する。単語のアライメントには, それぞれの素性の重み付き線形和がスコアとして表され, 重みのパラメータは機械学習手法での一つであるパーセプトロンを用いて調整される. Hara et al. (2009) はShimbo and Hara (2007)の手法を拡張し,全ての並列構造のスコアの総和が最大になるような木を導出することで, 入れ子状になった複数の並列構造・三つ以上の並列句によって構成される並列構造に対応した.

近年は, ニューラルネットワークに基づいた並列構造の範囲同定手法が提案されている. Ficler and Goldberg (2016b) は句構造解析器である Berkeley Parser (Petrov et al. 2006) を用いて抽出された並列句ぺアの候補に対して，ベクトル同士のユークリッド距離などを素性として用いてスコアを計算する。これらのスコア付けされた並列句ぺアの中で，最もスコアの高いぺアを並列句の範囲として予測する. 寺西ら (2018)は並列構造全体の範囲に対して, 外部の構文解析器を利用しないエンドツーエンドな範囲同定手法を提案した。寺西ら (2020) は, それぞれの並列句の内部と外部の境界などに基づいたスコアを用いて, Hara et al. (2009) と同様に並列構造を表す木を CKY アルゴリズムによって構築し, 入れ子状の並列構造, 三つ以上の並列句に対応する手法を提案した. 寺西ら (2020)の手法は, 並列構造解析の既存手法において最も高い解析精度を達成している。しかしながら, これらの手法の学習には個々の並列構造に対して各並列句の範囲がアノテーションされた大量のデータが必要になることから, 他分野への応用という面を考慮すると, データセットの作成にかかるコストの点で課題が残る.

本研究は, 並列句の全ての候補ぺアに対してスコア計算を行い, 並列関係にある単語系列のペアに対して高いスコアを割り当てる点で, 従来研究の手法と類似する. しかしながら, 複合固有表現に含まれる並列構造は，名詞や形容詞による並列に限定されており，文や動詞句などの全ての並列構造に対して網羅的に解析することは実用上効率的ではない. また, 名詞や形容詞による並列構造は, 文や節による並列と比べて並列句同士の類似性が高い傾向にある。本研究は, 名詞と形容詞の並列構造に焦点をあて, 事前学習された単語分散表現と品詞のみを使用し, 並列構造のアノテーションを用いない点で従来研究と異なる.

## 5 おわりに

本研究は, 並列構造解析器と固有表現認識器のパイプライン処理によって, 複合固有表現から個々の固有表現を抽出する手法を提案した。事前学習された単語分散表現から文脈・単語の表層を考慮した情報を用いることで，生命科学分野の並列句の範囲同定タスクにおいて教師あり学習に基づく手法に近い再現率を達成し, 固有表現認識のタスクにおいても, 提案手法の並列構造解析器を既存の固有表現認識器と組み合わせることで固有表現認識の精度向上に有用に働くことが示された。提案手法は, 複合固有表現に含まれる個別の固有表現を抽出できる点, 並列構造のアノテーションを用いた学習を行う必要がない点が貢献として挙げられる.

提案手法の課題として, 提案手法は等位接続詞の前後にある二つの並列句のみの範囲を予測するため, 三つ以上の並列句で構成される並列構造に対しても個々の並列句を取り扱えるよう

にすることが挙げられる。また，等位接続詞に含む固有表現は複数の固有表現が結合されて範井が広くなることから，固有表現の抽出が困難になる。さらに，並列構造を含む固有表現の中には正規化の必要がない単一の固有表現も含まれるため，今後は広範囲な固有表現にも頑健に対応するとともに, 並列構造と固有表現の範囲を同時に解析できるように改善する予定である.

## 謝 辞

本研究の一部は JST CREST（課題番号：JPMJCR1513）の支援を受けて行い， The 28th International Conference on Computational Linguistics で発表したものです (Sawada et al. 2020).

## 参考文献

Akiba, T., Sano, S., Yanase, T., Ohta, T., and Koyama, M. (2019). "Optuna: A Next-Generation Hyperparameter Optimization Framework." In Proceedings of KDD '19, pp. 2623-2631, New York, NY, USA. Association for Computing Machinery.

Beltagy, I., Lo, K., and Cohan, A. (2019). "SciBERT: A Pretrained Language Model for Scientific Text." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China. Association for Computational Linguistics.

Bojanowski, P., Grave, E., Joulin, A., and Mikolov, T. (2017). "Enriching Word Vectors with Subword Information." Transactions of the Association for Computational Linguistics, 5, pp. 135-146.

Buyko, E., Tomanek, K., and Hahn, U. (2007). "Resolution of Coordination Ellipses in Biological Named Entities using Conditional Random Fields." In Proceedings of the 10th Conference of the Pacific Association for Computational Linguistics, pp. 163-171.

Chae, J., Jung, Y., Lee, T., Jung, S., Huh, C., Kim, G., Kim, H., and Oh, H.-B. (2014). "Identifying Non-elliptical Entity Mentions in A Coordinated NP with Ellipses." Journal of Biomedical Informatics, 47, pp. 139-152.

Claudia, S. and Damir, J. (2020). "Can Embeddings Adequately Represent Medical Terminology? New Large-Scale Medical Term Similarity Datasets Have the Answer!" In Proceeding of the Thirty-Fourth AAAI Conference on Artificial Intelligence, pp. 8775-8782, New York, USA. Association for the Advancement of Artificial Intelligence.

Dai, X., Karimi, S., Hachey, B., and Paris, C. (2020). "An Effective Transition-based Model for Discontinuous NER." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5860-5870, Online. Association for Computational Linguistics.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Ficler, J. and Goldberg, Y. (2016a). "Coordination Annotation Extension in the Penn Tree Bank." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 834-842, Berlin, Germany. Association for Computational Linguistics.

Ficler, J. and Goldberg, Y. (2016b). "A Neural Network for Coordination Boundary Prediction." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 23-32, Austin, Texas. Association for Computational Linguistics.

Hara, K., Shimbo, M., Okuma, H., and Matsumoto, Y. (2009). "Coordinate Structure Analysis with Global Structural Constraints and Alignment-Based Local Features." In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 967-975, Suntec, Singapore. Association for Computational Linguistics.

Kim, J.-D., Ohta, T., Tateisi, Y., and Tsujii, J. (2003). "GENIA Corpus-A Semantically Annotated Corpus for Bio-textmining." Bioinformatics.

Kurohashi, S. and Nagao, M. (1994). "A Syntactic Analysis Method of Long Japanese Sentences

Based on the Detection of Conjunctive Structures." Computational Linguistics, 20 (4), pp. 507-534.

Lafferty, J. D., McCallum, A., and Pereira, F. C. N. (2001). "Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data." In Proceedings of the Eighteenth International Conference on Machine Learning, pp. 282-289, San Francisco, CA, USA. Morgan Kaufmann Publishers Inc.

Lample, G., Ballesteros, M., Subramanian, S., Kawakami, K., and Dyer, C. (2016). "Neural Architectures for Named Entity Recognition." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, San Diego, California. Association for Computational Linguistics.

Lee, J., Yoon, W., Kim, S., Kim, D., Kim, S., So, C. H., and Kang, J. (2019). "BioBERT: a pre-trained biomedical language representation model for biomedical text mining." Bioinformatics.

Levenshtein, V. I. (1966). "Binary Codes Capable of Correcting Deletions, Insertions and Reversals." Soviet Physics. Doklady, 10, pp. 707-710.

Ma, X. and Hovy, E. (2016). "End-to-end Sequence Labeling via Bi-directional LSTM-CNNsCRF." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1064-1074, Berlin, Germany. Association for Computational Linguistics.

Muis, A. O. and Lu, W. (2016). "Learning to Recognize Discontiguous Entities." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 75-84, Austin, Texas. Association for Computational Linguistics.

Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana. Association for Computational Linguistics.

Petrov, S., Barrett, L., Thibaux, R., and Klein, D. (2006). "Learning Accurate, Compact, and Interpretable Tree Annotation." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 433-440, Sydney, Australia. Association for Computational Linguistics.

Sawada, Y., Wada, T., Shibahara, T., Teranishi, H., Kondo, S., Shindo, H., Watanabe, T., and Matsumoto, Y. (2020). "Coordination Boundary Identification without Labeled Data for Compound Terms Disambiguation." In Proceedings of the 28th International Conference on

Computational Linguistics, pp. 3043-3049, Barcelona, Spain (Online). International Committee on Computational Linguistics.

Shimbo, M. and Hara, K. (2007). "A Discriminative Learning Model for Coordinate Conjunctions." In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), pp. 610-619, Prague, Czech Republic. Association for Computational Linguistics.

Tateisi, Y., Yakushiji, A., Ohta, T., and Tsujii, J. (2005). "Syntax Annotation for the GENIA Corpus." In Companion Volume to the Proceedings of Conference including Posters/Demos and tutorial abstracts.

寺西裕紀, 進藤裕之, 松本裕治 (2018). 語系列の類似性$\cdot$可換性の特徵表現による並列句の範囲同定.自然言語処理, 25 (4), pp. 441-462. [H. Teranishi et al. (2018). Similarity and Replaceability Feature Representations of Word Sequences for Identifying Coordination Boundaries. Journal of Natural Language Processing, 25 (4), pp. 441-462.].

寺西裕紀, 進藤裕之, 渡辺太郎, 松本裕治 (2020). 局所的モデルと CKYアルゴリズムによる並列構造解析. 自然言語処理, 27 (4), pp. 719-752. [H. Teranishi et al. (2020). Coordinate Structure Analysis using Local Models and CKY Algorithm. Journal of Natural Language Processing, 27 (4), pp. 719-752.].

Yijia, Z., Chen, Q., Yang, Z., Lin, H., and lu, Z. (2019). "BioWordVec, Improving Biomedical Word Embeddings with Subword Information and MeSH." Scientific Data, 6. 52.

## 略歴

澤田悠冶：2019 年関西学院大学総合政策学部卒. 2021 年奈良先端科学技術大学院大学先端科学技術研究科博士前期課程修了. 同年, 同大学院先端科学技術研究科博士後期課程入学. 自然言語処理の研究に従事.

寺西裕紀：2014 年慶應義塾大学商学部卒. 2018 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2020 年同大学院先端科学技術研究科博士後期課程修了. 博士 (工学). 同年より理化学研究所革新知能統合研究センター (AIP) 特別研究員. 自然言語処理の研究に従事.

松本裕治：1977 年京都大学工学部情報工学科卒. 1979 年同大学大学院工学研究科修士課程情報工学専攻修了. 同年電子技術総合研究所入所. $1984 \sim 85$ 年英国インペリアルカレッジ客員研究員．1985～87 年（財）新世代コンピュー 夕技術開発機構に出向. 1988 年京都大学助教授, 1993 年奈良先端科学技術大学院大学教授. 2020 年理研 AIP 知識獲得リーダ, 現在に至る. 工学博士.専門は自然言語処理. 情報処理学会, 人工知能学会, 言語処理学会, AAAI,

ACL, ACM 各会員, 情報処理学会フェロー. ACL Fellow,

渡辺太郎：1994 年京都大学工学部情報工学科卒業. 2000 年 Language and Information Technologies, School of Computer Science, Carnegie Mellon University, Master of Science 取得. 2004 年京都大学博士（情報学)。ATR および NTT, NICT にて研究員，またグーグルでソフトウェアエンジニアとして勤めたあと, 2020 年より奈良先端科学技術大学院大学教授. 自然言語処理や機械学習,機械翻訳の研究に従事.

(2021 年 3 月 1 日受付)

(2021 年 6 月 2 日再受付)

(2021 年 7 月 13 日採録)