# ExtraPhrase: 生成型要約のための効率的データ拡張

Mengsay Loem $\cdot$ 高瀬 翔 $\dagger \cdot$ 金子 正弘 $\dagger \cdot$ 岡崎 直観 $\dagger$
}

大量の訓練データを用いたニューラルモデルは生成型要約タスクにおいて高い性能 を達成している。しかしながら，大規模な並列コーパスの構築はコストの観点から 容易ではない。これを解決するため, 本研究では生成型要約タスクの疑似訓練デー タを低コストで効果的に構築する手法として ExtraPhrase を提案し, 訓練データを 拡張する。 ExtraPhrase は文圧縮と言い換えの 2 つのモジュールで疑似訓練デー夕 を構築する。文圧縮では入力テキストの主要部分を獲得し, 言い換えではその多様 な表現を得る。実験を通して，ExtraPhrase は生成型要約タスクの性能を向上させ，逆翻訳や自己学習などの既存の訓練デー夕拡張手法を上回ることを確認した。また， ExtraPhrase は，学習データが著しく少ない場合でも大きな効果が発揮できること を示した。

キーワード：データ拡張，要約，言い換え
## ExtraPhrase: Efficient Data Augmentation for Abstractive Summarization

\author{
Mengsay Loem $^{\dagger}$, Sho Takase $^{\dagger}$, Masahiro Kaneko ${ }^{\dagger}$ and Naoaki Okazaki ${ }^{\dagger}$
}

Neural models trained on large amounts of parallel data have achieved impressive performance in abstractive summarization tasks. However, constructing large-scale parallel corpora can be expensive and challenging. In this work, we introduce a lowcost and effective strategy called ExtraPhrase to augment training data for abstractive summarization tasks. ExtraPhrase constructs pseudo training data with two modules: sentence compression and paraphrasing. We extract major parts of an input text with sentence compression and obtain its diverse expressions with paraphrasing. Through experiments, we show that ExtraPhrase improves the performance of abstractive summarization tasks by more than 0.50 points in ROUGE scores compared to the setting without data augmentation. ExtraPhrase also outperforms existing methods such as back-translation and self-training. We also show that ExtraPhrase is significantly effective when the amount of genuine training data is remarkably small, i.e., in a low-resource setting. Moreover, ExtraPhrase is more cost-efficient than existing approaches.

Key Words: Data Augmentation, Summarization, Paraphrase

## 1 はじめに

ニューラルエンコーダ・デコーダは, 機械翻訳や自動要約などの様々な系列変換タスクにお いて顕著な性能を達成している (Bahdanau et al. 2015; Rush et al. 2015; Vaswani et al. 2017).近年の研究においてニューラルネットワークを用いた手法の性能は訓練デー夕量に対数比例す ることが指摘されており (Brown et al. 2020), 系列変換タスクにおいても高い性能を達成する ためには，大規模な並列コーパスが必要である (Koehn and Knowles 2017). 本稿では, 生成型要約タスクにおけるニューラルエンコーダ・デコーダの性能を向上させるために, 訓練データ を拡張することに取り組む。

人手による並列コーパスの構築はコストが高いため, 既存研究では疑似訓練デー夕を自動的 に構築する方法が検討されている。疑似訓練データを構築する方法としては, 逆翻訳 (Sennrich et al. 2016a) が広く用いられている。翻訳タスクにおける逆翻訳では, 翻訳先の言語の文から翻訳元の言語の文を生成するモデルを学習し, 得られたモデルを翻訳先の言語のコーパスに適用 し，翻訳元の言語の疑似コーパスを生成する。また，機械翻訳以外にも，文法誤り訂正 (Kiyono et al. 2019) や要約 (Parida and Motlicek 2019) タスクにおいても，逆翻訳が利用されている。し かしながら，この逆翻訳手法を要約タスクに適用する場合にモデルは，要約から原文を生成す る必要があるため, 要約タスクにおける逆翻訳は本質的に非合理的である（付録 A）.

He ら (He et al. 2020) は, 自己学習が機械翻訳や要約タスクの性能を向上させることを示し た. 自己学習では教師モデルを学習し, そのモデルを入力側のコーパスに適応し, 出力側の疑似コーパスを生成する。逆翻訳が非合理的な処理であったのに対し, 自己学習による疑似要約 の生成は合理的である。しかしながら, 自己学習を適用した場合, 多様な要約の生成が困難で あると指摘されている (Gu et al. 2018). これらの問題に加え, 自己学習や逆翻訳において高品質な疑似データを得るためには，大量の訓練データで教師モデルや逆翻訳モデルを学習してお く必要があるため, データ構築のコストが高い.

そこで, 本研究では生成型要約の疑似訓練データを構築する新たなアプローチとして抽出型要約と言い換えの組み合わせによる手法 (Extraction and Paraphrasing; ExtraPhrase) を提案 する. ExtraPhraseの抽出型要約では, 原文の統語構造を基に，ヒューリスティックな手法で 重要な部分を要約として残し, 原文を圧縮する。このため, 逆翻訳や自己学習と異なり, 疑似訓練データ作成のためだけにニューラルモデルを構築する必要がない。圧縮された要約に対し,既存のモデルを活用した言い換え手法を適用し，多様な疑似要約を得る。

本研究では見出し生成タスクと文書要約タスクで実験を行う．実験を通して，ExtraPhraseに よる疑似訓練データは両タスクにおいて性能を向上させることを確認した. 具体的には, 疑似 データを用いることにより両タスクの ROUGE F1 スコアが 0.50 以上向上した. 提案手法は真 の訓練データが少ない低リソースの設定においても頑健であることが確認された（4.2 節)。ま

た, 生成された疑似データの性質を分析し（4.3 節）, 提案手法による疑似データの生成が従来手法より効率的であることを示した (4.4 節).

## 2 提案手法: ExtraPhrase

1 節で述べたように, 提案手法は抽出型要約の手法である文圧縮と言い換えの 2 つモジュー ルから構成される，以降では，提案手法の抽出型要約を文圧縮と呼ぶことにする．図 1 に提案手法の概要を示す。提案手法は単文を入力とし，その文に対応する疑似要約文を生成する。複数の文からなる文書の場合は，各文に対して独立に文圧縮と言い換えを行い，その出力を連結 することより，疑似要約を作成する.

## 2.1 文圧縮

文圧縮のモジュールでは，原文の中から重要な部分を獲得する．先行研究ではルールベースの 手法 (Dorr et al. 2003), 構文木から重要部分を検出するアプローチ (Filippova and Altun 2013), ニューラルネットワークを用いた手法 (Filippova et al. 2015; Kamigaito et al. 2018)などの圧縮方法が提案されている。本研究では, コストの少ない手法, すなわち, 新たにモデルを構築す る必要のない手法として，与えられた文の構文木を基に文圧縮を行う.

本研究では, 文の重要な部分は与えられた文の構文木の根付き部分木であると定義する。ま ず，与えられた文を係り受け解析し，その係り受け木を得る。次に，係り受け木の深いノード， すなわち，末端に近いノードを刈り，元の構文木よりも深さの小さい根付き部分木を得る。本手法では部分木の深さによって, 出力要約の長さ（単語数）を調整することができる. 最後に,

図 1 提案手法による疑似データの生成過程の例.
圧縮された根付き部分木を元の文の語順に従って線形化し，与えられた文の要約を得る。図 1 の下段（左）に本モジュールで行われる処理の例を示す.この例では，係り受け木の深さの半分より深いノードを刈り，根付き部分木を得る。本研究では，文書要約において，先頭の 3 文 を抽出したうえで，その 3 文に対して上記の処理を適用し，その出力を連結したものを文書の 圧縮された要約とする。

## 2.2 言い換え

文圧縮で得られた要約は原文に含まれる単語のみで構成されている。要約の多様性を高める ために要約に言い換えの手法を適用する。高品質なニューラル機械翻訳モデルが公開されてい るため，言い換えには機械翻訳モデルを用いたアプローチ (Mallinson et al. 2017) を採用する.具体的には，ある文を別の言語に翻訳し，その翻訳文を元の言語に翻訳するという折り返し翻訳 を行うことで言い換え表現を得る方法である。このアプローチは様々な言い換えを生成できる ため, データ拡張として利用する研究もある (Yu et al. 2018). そこで, この言い換えのモジュー ルでは, 圧縮された要約に，一般に公開されているニューラル機械翻訳モデルを適用し，翻訳 された文章を逆翻訳モデルによって元の言語に翻訳する。文圧縮と同様に，要約に複数の文が 含まれる場合は，各文に対して1つずつ言い換えを生成する。図 1 の右下段に本モジュールの 処理の例を示す.この例では，圧縮された要約をドイツ語に翻訳し，翻訳された文を元の英語 に翻訳する。

## 3 実験

## 3.1 データセット

ExtraPhrase の効果を調べるため, 見出し生成と文書要約の 2 つの要約タスクで実験を行っ た. 表 1 はデータセットの統計を示している. 見出し生成タスクでは Gigaword データセット (Rush et al. 2015) を用いた.このデータセットには, 英語 Gigaword コーパスから抽出された 約 380 万の文書の 1 文目と見出し文の対が訓練データとして含まれる．本実験では，訓練セッ ト，検証セット，およびテストセットの分割は Rush ら (Rush et al. 2015)の設定と同じものを 使用した。文書要約タスクでは, 広く利用されている CNN/DailyMail データセット (Sennrich

表 1 データセットの統計.
et al. 2016b) を用いた. このデータセットには, CNN と DailyMail のウェブサイトから抽出さ れたニュース記事と要約の 28 万対が訓練データとして含まれている。両データセットにおい て, Byte Pair Encoding (Sennrich et al. 2016b)を用い, 入力側と出力側で語彙を共有した, サ イズ 32,000 の語彙セットを構築した。

## 3.2 比較手法

既存研究で提案されてきた代表的な訓練データ拡張手法との比較を行った. 疑似データの構築は各データセットの訓練データをもとに行った。なお, Caswell ら (Caswell et al. 2019) に従 い, 全ての疑似訓練データについて, 入力の先頭に<Pseudo>の特殊トークンを付加した. オーバーサンプリング訓練データから原文書と要約の対をサンプリングし, 訓練デー夕に追加 した。すなわち, この手法で構築される訓練データには，真の訓練データのみが含まれている.逆翻訳真の訓練データを用いて，要約から原文を生成するニューラルエンコーダ・デコーダ の学習を行った。次に，このモデルを訓練デー夕内の要約に適用し，対応する原文書を生成し た. 生成された原文書と真の要約の対を疑似訓練データとして使用した.

自己学習 各真の訓練データを用いて，原文書から要約を生成するニューラルエンコーダ・デ コーダを学習した，次に，訓練データの原文をニューラルエンコーダ・デコーダに入力し，対応する要約を生成した，真の原文書と生成された要約の対を疑似訓練データとして使用した.

ExtraPhrase 各訓練データに対して提案手法の ExtraPhrase を適用した．２節で説明したよ うに，提案手法は文単位で疑似要約を生成した。ニューラルエンコーダ・デコーダでは先頭の 数文を入力とすることが多いことにならい，文書要約タスクでは，原文書に含まれる冒頭の 3 文 (Lead-3)を提案手法への入力とし, 各文の要約を元の順序で連結して原文書の要約とした. 文圧縮での係り受け解析には， $\mathrm{spaCy}^{1}$ を使用した，本実験では，文圧縮のモジュールにおいて，入力文の係り受け木の深さの半分より深いノードを刈った。言い換えでは, $\mathrm{Ng}$ ら ( $\mathrm{Ng}$ et al. 2019) が構築した英独・独英翻訳モデル2を使用した.

## 3.3 エンコーダ・デコーダ

本実験では，ニューラルエンコーダ・デコーダモデルとして, Transformer (Vaswani et al. 2017)を用いた，各生成要約のモデルに加えて，逆翻訳手法の逆翻訳モデルと自己学習手法の 教師モデルも Transformer を使用した. モデルの設定として, Vaswani et al. (2017) に記載され ている Transformer-base の設定を採用した。この設定は，機械翻訳に関する研究において広く 用いられている (Vaswani et al. 2017; Ott et al. 2018)。詳細には, fairseq ${ }^{3}($ Ott et al. 2019)の実
^{1}$ https://spacy.io/

2 https://github.com/pytorch/fairseq/tree/main/examples/translation

3 https://github.com/pytorch/fairseq
}
装を実験に利用し, 学習時のハイパーパラメータは既存研究 (Vaswani et al. 2017) で使われて いる設定を用いた。詳細な設定は付録 Bに示されている.

## 3.4 結果

表 2 と 3 に，見出し生成タスクと文書要約タスクにおける真の訓練データのみを用いた場合 と, 各データ拡張手法を用いた場合の ROUGE スコア (Lin 2004)を示す. オーバーサンプリン グは拡張を行わない場合よりも高いスコアを達成した。この結果は, 訓練デー夕量が増えるほ ど，重複した学習事例であってもニューラルエンコーダ・デコーダの性能が向上することを示唆 している。逆翻訳と自己学習は拡張を行わない場合よりも性能は高いが，オーバーサンプリン グと同程度のスコアであった。これらの結果は, 性能改善は両者が生成する疑似デー夕の品質 ではなく，訓練デー夕の増加によってもたらされたことを示唆している，逆翻訳と自己学習は 疑似データの生成に別のモデルを学習する必要があるため, そのコストを考慮するとオーバー サンプリングが優れている。一方, 見出し生成と文書要約の両方のタスクで, ExtraPhrase は 他のデータ拡張手法よりも高い性能を達成した。見出し生成タスクにおいて，ExtraPhrase に よるデータ拡張は, データ拡張を行わない場合から, 全ての ROUGE スコアで 0.50 ポイント 以上を向上させた. ExtraPhrase は, 逆翻訳と自己学習の既存の拡張法と比較し, ROUGE-1 と ROUGE-L では要約性能の向上幅が小さいが, ROUGE-2 スコアで性能の大幅な向上が見られ た. 文書要約において, 提案手法によるデー夕拡張は, 拡張を行わない場合と比較して全ての

表 2 見出し生成タスクにおける ROUGE F1 スコア. 丸括弧の中は真の訓練事例数を示す.

表 3 文書要約タスクにおける ROUGE F1 スコア. 丸括弧の中は真の訓練事例数を示す.

ROUGE スコアを有意に向上させた ${ }^{4}$. これらの結果から, ExtraPhrase はオーバーサンプリン グ，逆翻訳，自己学習を含む既存のデータ拡張手法よりも，生成型要約タスクのための疑似デー 夕を構築するのに有効であると言える。

## 4 分析

## 4.1 アブレーション

## 4.1.1文圧縮と言い換えの効果

表 4 (a) と表 5 (a)において，「w/o 言い換え」と「w/o 文圧縮」は，2 節で述べた文圧縮の みと言い換えのみを適用し，疑似要約を得た手法である。見出し生成タスクでは，「w/o 言い 換え」は拡張なしの設定よりも高い性能を達成した。また，小さな差ではあるが，ROUGE-1, ROUGE-Lにおいて，「w/o 言い換え」は ExtraPhrase よりも高いスコアを示した.「w/o 文圧縮」 は, ExtraPhrase と比較して ROUGE-1 およびROUGE-L のスコアは同等であるが, ROUGE-2の スコアは低下した。この結果から, 見出し生成タスクにおいて, 文圧縮と言い換えの各モジュー ルが性能の向上に貢献したと考えられる.

文書要約において, 冒頭の 3 文を提案手法を適用せずに疑似要約として扱う場合の結果を,表 5 の「Lead-3 による拡張」に示した. 表 5 にり，「w/o 言い換え」と「w/o 文圧縮」の場合 は，「Lead-3による拡張」よりも高いスコアを達成した。これらの結果から，文書要約タスクに おいても, ExtraPhraseの各モジュールが要約性能の向上に貢献していることを示唆している. また, 表 5 (a)の比較から, 各モジュールのみを用いた場合は, ExtraPhrase より性能が低い.

表 4 見出し生成タスクにおけるアブレーション。丸括弧の中は真の訓練事例数を示す.
$ 検定で $p<0.05$
}

} & \multirow{2}{*}{$\frac{\text { ROUGE-2 }}{17.55}$} & \multirow{2}{*}{$\frac{\text { ROUGE-L }}{36.75}$} \\

表 5 文書要約タスクにおけるアブレーション。丸括弧の中は真の訓練事例数を示す.

そのことから, ExtraPhrase は, 各モジュールを単独で使用した場合よりも優れていることを示唆している.

## 4.1.2 文圧縮率の効果

本節では，ExtraPhraseの文圧縮モジュールにおける圧縮率，すなわち，枝刈りの深さが性能 に与える影響を調べた，文圧縮の圧縮率を変化させ，疑似要約を生成した際の実験結果を表 4 (b) と表 5 (b) に示した. 見出し生成と文書要約の両タスクにおいて，圧縮率が 0.5 の場合が一番高い性能が達成した，圧縮率が 0.3 の場合は， 0.5 の場合より性能が低く, 拡張なしの場合と 同等の結果が確認された。この低い性能は, 圧縮率が小さい枝刈りでは非常に短い疑似要約が 出力されることによるものと考えられる．本手法の文圧縮モジュールでは, 単文を入力として いるため, 0.3 のような小さい圧縮率で枝刈りした際には，構文木の根周辺のみが残され，疑似要約の質低下に影響すると考えられる.

## 4.1.3疑似訓練事例数の効果

本節では， ExtraPhraseの疑似訓練事例数による要約性能への影響を調べた。疑似データを 増やすため，ExtraPhraseの言い換えモジュールでの機械翻訳の各ステップにおいて，翻訳モ デルに複数の候補翻訳文を出力させ，一つの原文に対し，複数の疑似要約を取得した。表 4(c) と表 5(c)には，疑似訓練事例数を 4 倍にするために，言い換えモジュールの折り返し翻訳の各翻訳フェーズにおいて，2best 翻訳の出力を用いることで，4つの疑似要約を得た「4best 翻訳」 が示されている。表 4(c) と表 5(c) から，「4best 翻訳」により疑似訓練事例数を 4 倍にした際,見出し生成と文書要約の両方のタスクにおいて，「1best 翻訳」の場合より高い性能が確認され

た.この結果から, 疑似訓練事例の増加が性能の向上に貢献していることを示唆している.

## 4.2 低リソース設定

ExtraPhrase は，疑似訓練データを生成するためにニューラルモデルを訓練する必要がない ため, 真の訓練デー夕の量が少ない場合でも，頑健であると予想される。この仮説を調べるた めに，低リソースな訓練データの設定で実験を行った. 見出し生成タスクと文書要約タスクの 各訓練セットから，1千件の事例を抽出した。抽出された事例は, 真の訓練データとし, 残りの 事例を疑似データの生成に利用した。比較手法と実験設定は 3 節と同様である.

表 6 と 7 に，見出し生成タスクと文書要約タスクにおける各手法の ROUGE F1 スコアを示 す. 両タスクにおいて，オーバーサンプリングは拡張なしを上回る性能を示した. このように，重複した学習データはニユーラルエンコーダ・デコーダモデルの性能を向上させた. この結果 は, 3.4 の結果と整合性がある。表 6 により, 見出し生成では, 逆翻訳がオーバーサンプリング より高いスコアを達成した。 また, 表 7 により, 文書要約では自己学習がオーバーサンプリン グより優れていることが分かった。この結果は, 適切なタスクに適用すれば, 既存のアプロー チがオーバーサンプリングよりも効果的である可能性を示している. 一方, ExtraPhrase は両夕 スクにおいて他の手法より有意に高い性能を発揮した。 よって, ExtraPhrase は真の訓練デー 夕の量が少ない場合にも有効であることが分かった.

表 6 低リソース設定における見出し生成タスクの結果. 丸括弧の中は真の訓練事例数を示す.

表 7 低リソース設定における文書要約タスクの結果. 丸括弧の中は真の訓練事例数を示す.

## 4.3 疑似データの多様性

1 節で述べたように，ExtraPhrase は自己学習より多様な要約を生成するために言い換えを 行っている。この効果を検証するために, 自己学習と提案手法により生成された疑似要約を比較する。表 8 は各訓練データにおける真の要約と生成された疑似要約の BLEU スコアを示して いる。また，意味的類似性の指標としてF1ベースの BERTScore (Zhang et al. 2019) も示して いる.この表から, 自己学習と ExtraPhraseの BERTScore は高いことがわかる. この結果は生成された要約が真の要約と意味的に類似していることを意味する。このことから，いずれの方法で生成された要約も疑似データとして意味的に適していると言える。

一方, ExtraPhraseの BLEU スコアは自己学習のスコアよりも低い。この結果は, 自己学習 と比較して提案手法が真の要約と異なるフレーズを多く含んだ疑似要約を生成していることを 示している。すなわち, 提案手法で構築した訓練デー夕は自己学習よりも多様な要約を含むこ とが分かる.

## 4.4 疑似データ生成の効率

ExtraPhrase は公開されている翻訳モデルをそのまま用いることができるため, 逆翻訳や自己学習のように翻訳・生成モデルを学習する必要はない. そのため, 既存手法と比較すると低 コストで疑似データを構築できる。表 9 は各疑似データの構築手法の所要時間 5 を示す。また, クラウドコンピューティングサービスである Amazon EC2 を用いて疑似データを構築した場合

表 8 生成された疑似要約の真の要約に対する BLEU と F1 BERTScores.

表 9 生成された疑似要約の真の要約に対する BLEUと F1 BERTScores.
$ の場合で計算している。
}

に必要な費用も示している。表 9 から, 逆翻訳と自己学習はモデルの学習に多くの時間を要す ることがわかる。一方, ExtraPhraseでは学習を必要としないため, 他の手法と比較して $1 / 10$以下の金額で疑似データを構築できる.

## 5 関連研究

系列変換タスクのデータ拡張手法として，逆翻訳と自己学習は広く使われている手法である (Sennrich et al. 2016a; Kiyono et al. 2019; He et al. 2020). Sennich ら (Sennrich et al. 2016a) は,出力側の言語のデータから入力側の言語に翻訳して疑似データを生成し, 機械翻訳の訓練デー 夕を拡張する逆翻訳アプローチを提案した． Edunov ら (Edunov et al. 2018)は，機械翻訳のた めの大規模なモノリンガル設定における逆翻訳アプローチの有効性を報告した。また, Hoang ら (Hoang et al. 2018) は，逆翻訳を複数回繰り返し適用する反復逆翻訳手法を紹介した。逆翻訳は機械翻訳において有効なアプローチであるが，1 節で述べたように，要約タスクに適用す るのは非現実的である。自己学習では，真の訓練データでモデルを学習し，それを応用して疑似データを生成する．Zhang ら (Zhang and Zong 2016) は, ニューラル機械翻訳用の並列コー パスを拡張するために自己学習を適用した．Heら (He et al. 2020) は，自己学習において，デ コード中にドロップアウトをノイズとして用いるノイズ自己学習を導入した. これらの研究で は，自己学習は機械翻訳や要約タスクにおいて有効な手法と報告されているが, 多様な疑似デー 夕を生成することは困難である (Gu et al. 2018) ため, 性能の向上に限界がある.

他のデータ拡張法として，訓練データとの差異が小さい摂動を用いて性能改善を行う手法は ある (Kobayashi 2018). Takase ら (Takase and Kiyono 2021) は，単語ドロップアウトや単語置換のような単純な手法は敵対的摂動よりも効率的に性能を向上させられることを示した. これ らの摄動は本研究の提案手法と独立しているため, 組み合わせることでさらに性能向上が期待 できる。

近年の研究においては, 大規模な事前学習モデルを利用することにより要約の性能が向上す ることが報告されている (Lewis et al. 2020; Raffel et al. 2020; Zhang et al. 2020). しかしなが ら，BART (Lewis et al. 2020) や T5 (Raffel et al. 2020) などの汎用事前学習モデルを利用する 場合, 要約タスクに合わせたファインチューニングが必要であり，そのために学習データを準備する必要がある. PEGASUS (Zhang et al. 2020)のような要約タスクに特化した事前学習モ デルを用いる場合でも，事前学習とファインチューニングの学習データが必要である。このよ うな状況において, 提案手法は, 事前学習モデルのファインチューニングを行う学習デー夕を 拡張する手法として用いることができる。また, 提案手法は構文木を用いているため, 事前学習モデルの対象言語やドメインに依存せず柔軟に適用できる.

提案手法では文圧縮の手法が用いられている. Dorr ら (Dorr et al. 2003) は言語学的に動機

づけられたヒューリスティックを用いたルールベースの文圧縮手法を提案した. Filippova ら (Filippova and Altun 2013) は訓練データから重要な部分木を学習する教師あり文圧縮法を提案 した。また，近年ではニューラルネットを用いた文圧縮の研究も行われている (Filippova et al. 2015; Kamigaito et al. 2018). 本研究では教師ありモデルや学習コーパスを必要としない, 文の構文木に基づくルールベースの手法を採用し文の圧縮を行った. Nikolov ら (Nikolov and Hahnloser 2020) は要約の教師なし手法として文の抽出と言い換えを組み合わせたアプローチを提案した.本研究の目的は疑似訓練データを構築することであり，新しい教師なし手法を提案することで はない.

提案手法は圧縮された要約に対して言い換えを行い，疑似データの多様性を高めている.

Bolshakov ら (Bolshakov and Gelbukh 2004)は辞書に基づき単語を同義語に置き換えることで，言い換えを行う手法を提案した．最近では，言い換えタスクを系列変換タスクとして定式化す ることにより，ニューラルベースの言い換え生成を行う手法が提案されている (Prakash et al. 2016)。また，機械翻訳モデルを用いた折り返し翻訳による言い換え文生成も提案されている (Mallinson et al. 2017). 近年は高性能な機械翻訳モデルは公開されているため, 本研究では言 い換え生成の手法として折り返し翻訳を採用した。

## 6 おわりに

本研究では，生成型要約タスクのための疑似データを生成する新しい手法を提案した，提案手法は文圧縮と言い換えの 2 つのモジュールから構成される。文圧縮により入力の重要な部分 を獲得し，言い換えにより多様な表現を得る。実験の結果，提案手法は逆翻訳や自己学習の疑似デー夕生成手法と比較して，より効果的であることが示された。また, 提案手法は疑似デー 夕生成において追加でモデルを学習する必要がないため, 他の手法に対して, コストの面でも 優れていることを示した。

## 付録

## A 逆翻訳による疑似データ

1 節で述べたように，生成型要約タスクにおける逆翻訳アプローチは，要約から原文を復元 する必要があるため, 本質的に不可能である。 そこで，逆翻訳により生成された原文の性質を 調べた。

表 10 は，逆翻訳により生成された原文の長さ（トークン数）の比率と差とを示す. 生成され

た原文は元の原文より短いことが分かる。この結果は，逆翻訳が真の原文の情報を完全に復元 できていないことを示している。つまり，要約から原文を生成することが難しいことを意味し ている.

また，逆翻訳により生成された原文が真のデー夕に対応しているかを調べるために，真の原文を正解と見なした場合のROUGE スコアを表 10 に示す。文書要約の場合, ROUGEスコアは 極めて低くなっている。この結果からも，逆翻訳は原文の生成に失敗していることがわかる.

一方, 見出し生成の ROUGE スコアは文書要約の ROUGE スコアと比較して高い.この結果 は, 逆翻訳は要約から原文の核となる部分を復元できる可能性を示している. 見出し生成タス クは，与えられた文章から見出しを生成するタスクであるため，要約（見出し）には原文の主要な部分が含まれていることが多い.このような性質が高いROUGE スコアの要因になってい ると考えられる。

## B 実験設定の詳細

本研究では, 要約モデルと逆翻訳モデルで Transformer (base) (Vaswani et al. 2017)のアーキ テクチャを用いた。モデルの詳細な構成を表 11 に示す。また，学習時の詳細な設定を表 12 と 表 13 に示す. 各設定は， 4 枚の GPU で実施した実験を想定している.

表 10 逆翻訳により生成された原文と真の原文との ROUGE F1 スコア. 比率と差 は, 生成された原文 と真の原文に含まれるトークン数の比較である.

表 11 要約と逆翻訳で用いられた Transformer モデルの構成.

表 12 見出し生成タスクにおけるデータ拡張なしとデータ拡張あり場合の学習設定.

表 13 文書要約タスクにおけるデータ拡張なしとデータ拡張あり場合の学習設定.

## 謝 辞

本研究の一部は, JSPS 科研費 19 H01118 および JP21K17800 の助成を受けたものです. 本研究成果の一部は, 独立行政法人情報通信研究機構 (NICT) の委託研究 (No. 225) により得られ たものです.

## 参考文献

Bahdanau, D., Cho, K., and Bengio, Y. (2015). "Neural Machine Translation by Jointly Learning to Align and Translate." In 3rd International Conference on Learning Representations.

Bolshakov, I. A. and Gelbukh, A. (2004). "Synonymous Paraphrasing Using WordNet and Internet." In Natural Language Processing and Information Systems, pp. 312-323.

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., and Amodei, D. (2020). "Language Models are Few-Shot Learners." In Advances in Neural

Information Processing Systems 33, pp. 1877-1901.

Caswell, I., Chelba, C., and Grangier, D. (2019). "Tagged Back-Translation." In Proceedings of the 4th Conference on Machine Translation, pp. 53-63.

Dorr, B., Zajic, D., and Schwartz, R. (2003). "Hedge Trimmer: A Parse-and-Trim Approach to Headline Generation." In Proceedings of the HLT-NAACL 03 Text Summarization Workshop, pp. 1-8.

Edunov, S., Ott, M., Auli, M., and Grangier, D. (2018). "Understanding Back-Translation at Scale." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 489-500.

Filippova, K., Alfonseca, E., Colmenares, C. A., Kaiser, L., and Vinyals, O. (2015). "Sentence Compression by Deletion with LSTMs." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 360-368.

Filippova, K. and Altun, Y. (2013). "Overcoming the Lack of Parallel Data in Sentence Compression." In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1481-1491.

Gu, J., Bradbury, J., Xiong, C., Li, V. O., and Socher, R. (2018). "Non-Autoregressive Neural Machine Translation." In International Conference on Learning Representations.

He, J., Gu, J., Shen, J., and Ranzato, M. (2020). "Revisiting Self-Training for Neural Sequence Generation." In International Conference on Learning Representations.

Hoang, V. C. D., Koehn, P., Haffari, G., and Cohn, T. (2018). "Iterative Back-Translation for Neural Machine Translation." In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 18-24.

Kamigaito, H., Hayashi, K., Hirao, T., and Nagata, M. (2018). "Higher-Order Syntactic Attention Network for Longer Sentence Compression." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1716-1726.

Kiyono, S., Suzuki, J., Mita, M., Mizumoto, T., and Inui, K. (2019). "An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 1236-1242.

Kobayashi, S. (2018). "Contextual Augmentation: Data Augmentation by Words with Paradigmatic Relations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 452-457.

Koehn, P. and Knowles, R. (2017). "Six Challenges for Neural Machine Translation." In Pro-
ceedings of the 1st Workshop on Neural Machine Translation, pp. 28-39.

Lewis, M., Liu, Y., Goyal, N., Ghazvininejad, M., Mohamed, A., Levy, O., Stoyanov, V., and Zettlemoyer, L. (2020). "BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online. Association for Computational Linguistics.

Lin, C.-Y. (2004). "ROUGE: A Package for Automatic Evaluation of Summaries." In Text Summarization Branches Out, pp. 74-81. Association for Computational Linguistics.

Loem, M., Takase, S., Kaneko, M., and Okazaki, N. (2022). "ExtraPhrase: Efficient Data Augmentation for Abstractive Summarization." In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Student Research Workshop, pp. 16-24.

Mallinson, J., Sennrich, R., and Lapata, M. (2017). "Paraphrasing Revisited with Neural Machine Translation." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, pp. 881-893.

Ng, N., Yee, K., Baevski, A., Ott, M., Auli, M., and Edunov, S. (2019). "Facebook FAIR's WMT19 News Translation Task Submission." In Proceedings of the 4th Conference on Machine Translation, pp. 314-319.

Nikolov, N. I. and Hahnloser, R. (2020). "Abstractive Document Summarization without Parallel Data." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 6638-6644.

Ott, M., Edunov, S., Baevski, A., Fan, A., Gross, S., Ng, N., Grangier, D., and Auli, M. (2019). "fairseq: A Fast, Extensible Toolkit for Sequence Modeling." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53.

Ott, M., Edunov, S., Grangier, D., and Auli, M. (2018). "Scaling Neural Machine Translation." In Proceedings of the 3rd Conference on Machine Translation: Research Papers, pp. 1-9.

Parida, S. and Motlicek, P. (2019). "Abstract Text Summarization: A Low Resource Challenge." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 5994-5998.

Prakash, A., Hasan, S. A., Lee, K., Datla, V., Qadir, A., Liu, J., and Farri, O. (2016). "Neural Paraphrase Generation with Stacked Residual LSTM Networks." In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 2923-2934.

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2020). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." Journal of Machine Learning Research, 21 (140), pp. 1-67.

Rush, A. M., Chopra, S., and Weston, J. (2015). "A Neural Attention Model for Abstractive Sentence Summarization." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379-389.

Sennrich, R., Haddow, B., and Birch, A. (2016a). "Improving Neural Machine Translation Models with Monolingual Data." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 86-96.

Sennrich, R., Haddow, B., and Birch, A. (2016b). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1715-1725.

Takase, S. and Kiyono, S. (2021). "Rethinking Perturbations in Encoder-Decoders for Fast Training." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5767-5780.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Advances in Neural Information Processing Systems 30, pp. 5998-6008.

Yu, A. W., Dohan, D., Le, Q., Luong, T., Zhao, R., and Chen, K. (2018). "Fast and Accurate Reading Comprehension by Combining Self-Attention and Convolution." In International Conference on Learning Representations.

Zhang, J. and Zong, C. (2016). "Exploiting Source-side Monolingual Data in Neural Machine Translation." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1535-1545.

Zhang, J., Zhao, Y., Saleh, M., and Liu, P. J. (2020). "PEGASUS: Pre-Training with Extracted Gap-Sentences for Abstractive Summarization." In Proceedings of the 37th International Conference on Machine Learning, ICML'20. JMLR.org.

Zhang, T., Kishore, V., Wu, F., Weinberger, K. Q., and Artzi, Y. (2019). "BERTScore: Evaluating Text Generation with BERT." CoRR, abs/1904.09675.

## 略歴

Mengsay Loem: 2022 年東京工業大学情報理工学院情報工学系卒業. 同年 4 月 より情報理工学院情報工学系知能情報コース修士課程に在学中.

高瀬翔：2012 年東北大学工学部卒業. 2014 年東北大学大学院情報科学研究
科博士前期課程修了. 2017 年東北大学大学院情報科学研究科博士後期課程修了. 博士 (情報科学). NTT コミュニケーション科学基礎研究所でのリサー チアソシエイト, 東京工業大学での研究員, 東京工業大学情報理工学院助教 を経て, 2022 年 10 月よりシニアリサーチャーとして LINE 株式会社に所属.言語処理学会, ACL 各会員.

金子 正弘：2016 年北見工業大学工学部情報システム工学科卒業. 同年, 首都大学東京 (現東京都立大学) システムデザイン研究科博士前期課程に進学. 2018 年博士前期課程修了. 同年, 首都大学東京システムデザイン研究科博士後期課程に進学. 2019 年より日本学術振興会特別研究員 (DC2)を経て, 2021 年博士後期課程修了. 博士 (情報科学). 同年より東京工業大学情報理工学院研究員. 現在に至る.

岡崎 直観：2007 年東京大学大学院情報理工学系研究科博士課程修了. 東京大学大学院情報理工学系研究科 - 特任研究員, 東北大学大学院情報科学研究科准教授を経て, 2017 年 8 月より東京工業大学情報理工学院教授. 言語処理学会, 人工知能学会, 情報処理学会, ACL 各会員.


# 国語研長単位に基づく日本語 Universal Dependencies

大村 舞 $\dagger$ ・若狭 絢 $\dagger \cdot$ 浅原 正幸 $\dagger, \dagger \dagger$
}

Universal Dependencies (UD) は言語横断的に単語の依存構造に基づくツリーバンク を構築するプロジェクトである。全言語で統一した基準により, 品詞・依存構造アノ テーションデータの構築が 100 言語以上の言語について進められている. 分かち書き をしない言語においては, 基本単位となる構文的な語 (syntactic word)を規定する必要がある。従前の日本語の UD デー夕は, 形態論に基づく単位である国語研短単位を 採用していた。今回, 我々は新たに構文的な語に近い単語単位である国語研長単位に 基づく日本語 UDであるUD_Japanese-GSDLUW，UD_Japanese-PUDLUW， UD_Japanese-BCCWJLUW を構築したので報告する. キーワード：係り受け構造，分かち書き，Universal Dependencies, 日本語, 長単位
## Universal Dependencies for Japanese Based on Long-Unit Words by NINJAL

\author{
Mai Omura ${ }^{\dagger}$, Aya Wakasa ${ }^{\dagger}$ and Masayuki Asahara ${ }^{\dagger, \dagger \dagger}$
}

Universal dependencies (UD) are part of an international project that aims to construct cross-lingual dependency treebanks. The consistent annotation standards of grammar (parts of speech, morphological features, and syntactic dependencies) are defined across different languages and compiled as treebanks of more than 100 languages. The languages written without word delimitation must define the word units of their syntactic words on the UD guideline. The preceding UD Japanese resources are based on the short-unit words by NINJAL, which is defined by their lexicon-based morphology. This study introduces UD Japanese resources UD_Japanese_BCCWJGSDLUW, UD_Japanese_PUDLUW， and UD_Japanese_BCCWJLUW based on the long-unit words by NINJAL, which are more suitable as syntactic words than NINJAL's short-unit words in Japanese.

Key Words: Dependency Structure, Word Delimitation, Universal Dependencies, Japanese, Long Unit Word

## 1 はじめに

Universal Dependencies (UD) (Nivre et al. 2016)は，言語横断的に品詞・形態論情報・依存構造をアノテーションする枠組およびコーパスである。UD プロジェクトの研究目標とし て, 多言語の統語解析器開発, 言語横断的な言語処理技術の開発, さらには類型論的な言語分析 (de Marneffe et al. 2021) などがあげられている. UDでは, データ構造やアノテーション作業を単純化するため，またくたけた文や特殊な構造に対して頑健な表現を実現するために，句構造 (phrase structure) ではなく, 図 1 のような語の間の依存関係と依存関係ラベルで表現す る依存構造を採用している。UDのガイドラインを基に，現代語のみならず，古語・消滅危機言語・クレオール・手話などを含めた 100 言語以上の依存構造アノテーションデータが構築さ れ, 公開されている ${ }^{1} .2022$ 年 8 月現在でも, 言語横断性を高めるために UD の基準について活発に GitHub² 上やワークショップで議論され，ラベルの統廃合が行われながらもアノテーショ ンやガイドラインが更新し続けられている.

このUDの枠組では，依存構造関係を付与する基本単位として，音韻的な単位や文字・形態素ではない構文的な語 (syntactic word) を語として用いることを規定している．英語やフラ ンス語といった空白を用いて分かち書きをする言語においては（縮約形態などを除いて）空白 を語の単位認定として用いることが多い。一方, 語の境界を空白などで明示しない東アジアの 言語においては，どのような単位を構文的な語に規定すべきかという問題があり，これらの言語では，一度語の基本単位を定義してから，UDを構築している。現代中国語 (Xia 2000; Leung et al. 2016) や韓国語の UD (Chun et al. 2018), トルコ語・古チュルク語 (Kayadelen et al. 2020; Derin and Harada 2021) などでも，言語ごとにコーパスや形態素解析などによって語の単位認

図 1 日本語 UDの例.「文節傒り受け構造」で採用されている単位「文節」(枠で囲んである単位) とは異 なり「自立語 (内容語)」と「付属語（機能語)」を分解した単語単位をUDでは想定する．UPOS が UD の定義する品詞, XPOS は言語依存の品詞（日本語UDでは Unidic 品詞. 図の例では品詞の 詳細を略するときがある. ）
^{1}$ https://universaldependencies.org/

2 https://github.com/UniversalDependencies/docs/issues
}
定を行い，UDの言語資源が構築されている.

UD Japanese（日本語 UD）Version 2.6 以降では，その基本単位として国語研短単位（Short Unit Word, SUW: 以下 短単位) を採用している (浅原他 2019). 短単位 は『現代日本語書き言葉均衡コーパス』(BCCWJ) (Maekawa et al. 2014)・『日本語日常会話コーパス』(CEJC) (Koiso et al. 2022)をはじめとした形態論情報つきコーパスでも単位として採用されている．短単位に 基づく形態素解析用辞書として, 約 97 万語からなる UniDic (伝他 2007) も公開されている. また, 170 万語規模の単語埋め込み NWJC2vec (Asahara 2018) でも短単位が使われており, 短単位を基準として言語処理に必要な基本的な言語資源が多く整備されている.この短単位に基 づく言語資源の豊富さから，実用上は短単位に基づく処理が好まれる傾向にあった．しかし， グレゴリー・プリングルによるブログ記事 ${ }^{3}$ や Murawaki (2019) では, 単位として短単位を採用 している既存の UD Japanese コーパスは「形態素」単位であり，UDの原則にあげられる「基本単位を構文的な語とする」という点において不適切であることを指摘している.

国語研においては, 形態論情報に基づいて単位認定し, 「可能性に基づく品詞体系」が付与さ れている短単位とは別に, 文節に基づいて単位認定し, 「用法に基づく品詞体系」が付与されて いる国語研長単位（Long Unit Word, LUW: 以下 長単位）を規定している。しかし, 長単位に 基づくコーパスの構築は， 短単位に基づくコーパスの構築より長時間の作業を要する4という 問題がある。言語資源としては，BCCWJ や CEJC には長単位に基づいた形態論情報が付与 されているとはいえ, 短単位と比べると利用可能な言語資源やツールが少ないため, 長単位に 基づく依存構造が解析器によって生成できるのかという問題もある.

日本語における語の単位認定の検証のためには, 実際に短単位のみではなく, 長単位に基づ く日本語 UD 言語資源を整備することが必要である。本研究では, 長単位に基づく日本語 UD の言語資源を整備したので報告する。UD 全体と日本語における単位認定について説明しなが ら, 既存の言語資源・解析器によって長単位に基づく日本語 UD の構造が生成しやすいかを短単位 UD と比較して検討する.

## 2 Universal Dependencies と日本語の単位認定

## 2.1 Universal Dependencies による単位認定

Universal Dependencies (UD) (Nivre et al. 2016)は，言語横断的に品詞，形態論情報，依存構造を付与するための枠組およびコーパスである。UDの枠組として，品詞体系 (UPOS) は Google Universal Part-of-speech Tags (Petrov et al. 2012)を，形態論情報 (FEATS) は Interset

interlingua for morphosyntactic tagsets (Zeman 2008)を, 依存関係ラベル (DEPREL) は Universal Stanford Dependencies (de Marneffe et al. 2014) を基に構成されている. さらにUDでは，多言語横断の枠組の実現のために，すべての構文構造を図 1 のように語の間の依存関係と依存関係 ラベルで表現する。そのため, 依存関係を表すための「語 (words)」の単位認定が重要になる.

UD のガイドラインでは, この「語」の単位について，語同士は依存関係が成立しているとい う前提でアノーテションすることを求めている。 さらに，「語は構文的な語 (syntactic word) である」と定義しており，構文的な語は形態素ではないと説明している。形態論的な特徴は語 の属性としてアノテーションし，語を形態素に分割しない.これは，音韻論上他の語に依存す る拘束形態素であっても統語的に独立した語（スペイン語の “dámelo” $\rightarrow$ “da me lo”）や縮約形態 ("au” $\rightarrow$ “à le") を元の個別の単位に分解したいという理由に基づく5．このような UDの 規定する語を本稿では「構文的な語」として説明する．語の分割が空白により規定できる言語 については,より細かく分割すべき接語 (clitics) やまとめあげるべき数的表現・略語 (“20 000” や“e. g.”)に対して適切なドキュメンテーションを行うことが求められている.

日本語や一部の東アジア諸言語では，空白を用いずに記述するため, 明示的な空白を用いた 単位認定が困難である。UD のアノテーションを作成するうえで単位認定は非常に重要である ため，言語またはツリーバンクごとにアノテーションする単位を規定している．たとえば，日本語と同様に空白による境界のない現代中国語 (Xia 2000; Leung et al. 2016) や韓国語の UD (Chun et al. 2018)では, 既存の単語分割コーパスに基づいて単位を規定している. 古チュルク 語を含むトルコ語 (Kayadelen et al. 2020; Derin and Harada 2021)の UD は，語の境界を表す 空白は存在するものの, 日本語と同じく膠着語であり, 動詞などは接尾辞を付着させて文法関係を示している。そのため空白だけではなく, さらにUDの示す構文的な語に合うように接尾辞などを区切り，単位認定を行っている。

## 2.2 日本語の単位認定

日本語は, 形態論的変化が豊富でありながら，語境界に空白を使わない言語である。日本語に おける単位は分析手法に応じて定義される傾向にあり，自明な語境界があるわけではない。ま た, 日本語の単位認定は工学的にも重要と考えられており, 形態素解析の研究が自然言語処理 の分野で盛んに行われていた。日本語の形態素解析では，内部的に辞書を用いて解析が行われ ることがほとんどであり，さまざまな種類の辞書が構築されて公開されている．日本語の形態素解析用辞書としては, IPADIC 辞書 ${ }^{6}$, JUMAN 辞書", Sudachi 辞書 (Takaoka et al. 2018; 坂本 他 2018), IPA 辞書から新語を拡張した辞書 mecab-ipadic-NEologd (佐藤 他 2017) なども公
^{5}$ https://universaldependencies.org/docs/u/overview/tokenization.html

6 https://ja.osdn.net/projects/ipadic/

7 https://nlp.ist.i.kyoto-u.ac.jp/?JUMAN
}
開されている.

日本語 UD は，他言語 UD と同様に，既存の辞書やコーパスを利用してUDの形式に自動変換することを目指している。語境界を新たに認定するよりも，既存の単位に基づいて品詞など の対応を取るほうが UDの基準の変更に追随するためにも望ましい，日本語 UDでは，Version 2.6 より, UniDic (伝 他 2007) の語彙項目の単位, すなわち国語研短単位（短単位）を単位とす る方針とした (浅原 他 2019). 本稿で報告する長単位 UDの国語研長単位（長単位）も，短単位と同様に設計されたものである。次節では，短単位と長単位といった国語研による語の単位認定について説明をする。

## 2.3 国語研による語の単位認定

国語研短単位や国語研長単位は，語彙調査のために制定された単位である (国立国語研究所 2006). 図 2 で示す通り, 短単位は最小単位から, 長単位は文節から規定されている。この節で は最小単位, 短単位, 文節, 長単位の説明をする。

国立国語研究所では, 現代語において意味を持つ最小の単位のことを最小単位と定義する。最小単位はその語種に基づき定義される。日本語は, 漢語・和語・外来語・固有名詞・数値表現・記号などの語種からなる。漢語は 1 文字 1 語とし, 和語・外来語・固有名詞はそのもっと も短い単位を 1 語とする。数値表現は十進の位取りで発音できる単位に分割する。記号は 1 文字 1 語とする。このような操作的な規則に則り, 最小単位を制定している.

短単位は, この最小単位に基づき, 同じ語種同士の 1 回結合までを 1 単位として定義する. 図 2 の例では, 「学」と「年」はそれぞれ漢語であり, 結合した「学年」を 1 短単位とする．和語 である「用い」と付属語である「られ」を結合しないで，それぞれを 1 短単位とする。短単位 は，基準が分かりやすく，ゆれが少ないという特徴があり，頻度の計数にふさわしい単位とさ れている。この短単位に対して UniDic 体系に基づく形態論情報（品詞 ・活用型・活用形・語

図 2 最小単位, 短単位, 長単位, 文節の例 (BCCWJ の PB33_00032より). 2.3 節でも説明する通り,最小単位から短単位，文節から長単位が規定されている。
形・語彙素）が定義される。短単位に付与される UniDic 品詞は「可能性に基づく品詞」であ り，その語彙素（表層形）がなりうるすべての品詞用法を考慮したものである．たとえば，「日曜」などの単位は文脈によって「名詞-一般」にも「副詞-一般」にもなりえるため，「名詞-副詞可能」といった品詞を定義する．短単位は語彙分析を目的としており，文脈に依存した用法を 考慮した品詞を定義していない.

一方長単位は，まず文節境界を認定したのちに，文節内の短単位要素の結合により認定する 単語単位である。文節は日本語における係り受け構造（依存構造）情報における基本単位に適 した境界として採用されており，この文節を基に係り受け構造の整備が行われている (浅原，松本 2018). 日本語の文節単位の係り受け構造は，係り受けが交差せず，倒置などをのぞいて右主辞であり，簡単なアルゴリズムで組み上げられるという性質を持つ。しかしながら，文節自体 には品詞が設定されておらず，文節間同士の依存関係も基本的に定義されていない．そのため，文節のみでは，直接 UDに変換するための情報が本質的に欠けている．文節は，1つの自立語 と接頭辞・接尾辞・助詞・助動詞などの複数の付属語から構成されるとし, その各要素を長単位として認定する。図 2 の文節「用いられている」は，長単位自立語と「用い」と長単位付属語「られ」「ている」により構成される。長単位の規程集 (小椋 他 2008) では, 長単位としてみ なす複合辞 (Multi-word Expressions) が認定されており, 複合辞をなす機能表現は 1 単位とす る。また長単位には，文脈によりどのような統語的なふるまいかについて曖昧性解消を行った 「用法に基づく品詞」が付与される。長単位は, 文節を基に「用法に基づく品詞」が付与可能な 自立語構成素と付属語への分割を行った単位とも言える.

短単位と比較すると, 長単位は依存構造の基本単位である文節を基準とした単位のため, 構文的な語に近いと考えられる，また，たとえば，短単位における品詞「名詞-副詞可能」は，長単位においては文脈に基づき「名詞—一般」もしくは「副詞一一般」のいずれの用法なのかを判別 して付与するため，統語上における品詞の曖昧性も解消できている可能性が高い，さらに，短単位は前述のとおり, 形態素に基いているのみで, 膠着語としての性質を考慮していない。そ のため, 接尾の語により品詞が変化する場合に対応できないものがある. これは浅原他 $(2019)$ でも問題としてあげられている点である。これは長単位の区切り方で解消することができると 考えられる。

図 3 に短単位と長単位の違いの 1 例をあげる。上が短単位, 下が長単位の例である。図 3 か ら分かるように短単位は「力強さ」を「力強」「さ」,「両立する」が「両立」「する」の 2 つに認定 されており，長単位ではそれぞれ「力強さ」「両立する」という1つの長単位として認定されてい る. 接尾辞の「さ」は前にくる形容詞を名詞化するため, 統語的には「力強さ」で名詞と品詞認定されるべきだが，短単位では実現できていない，長単位では「力強さ」を 1 長単位とし，「名詞」と認定されている．また，短単位では「両立」と「する」で分かれてしまっているため，「す る」によって動詞化されていることを確認する必要がでてくる．実際UD_Japanese-BCCWJ

では「する」が名詞に接続されているかをプログラムで抽出して判定した後，UPOS の VERB を付与するような変換規則を設けている (Omura and Asahara 2018)。一方で，「両立する」と して1つの長単位として認定すれば，長単位の品詞体系から, 自然と動詞として品詞認定でき る.このように長単位は文脈上の品詞の曖昧性を解消しているため, 短単位と比べて, UD の 示す構文的な語に近いと考えられる.

## 2.4 日本語の単位認定について利用できる言語資源・解析器

統語解析では, 統計的機械学習や深層学習により自動解析器を構築するものが多く, そのた め, 学習時に利用する言語資源の豊かさは重要な点である。前述した最小単位・短単位・長単位・文節について，表 1 に各単位認定で利用できる言語資源・解析器について示す. 表中 TTR は BCCWJ 中の総語数に対する異なり語数の比率 (Type Token Ratio) であり，この值が高いほ

図 3 例文「打感と力強さが両立する」. 上が短単位の例, 下が長単位の例である。（BCCWJ の PM41_00172 より一部抜粋）短単位の場合，「両立」だけではなく，「する」まで参照してから「VERB」を付与 する規則を設けている。

表 1 各単位認定で利用できる言語資源・解析器. N/A は存在しない，あるいは計算できないことを示 している.

ど，その単位の出現確率が小さくなることを意味する。

最小単位は, 現在のところ公開されている言語資源・解析器は存在しない. 短単位は, 形態素解析器 MeCab (Kudo et al. 2004) と形態素解析用辞書 UniDic を用いることにより生成される. ほかにも Asahara (2018)によって公開された NWJC2vecなどの単語埋め込みが利用できる.

長単位・文節については，TTR の大きさからも分かる通り，語彙が膨大であるため辞書は存在しない.しかし, 長単位は, 短単位から構成規則により生成が可能なため, 中・長単位解析器 Comainu (小澤 他 2014) や Vaporetto (赤部他 2022) といった解析器などにより生成することが できる. 文節は, CaboCha (工藤, 松本 2002) などのツールでも解析ができる. TTRが大きい ほど単語埋め込みの構築の難易度も高くなることが Asahara (2018) によって指摘されており，長単位や文節について単語埋め达みは構築されていない.

## 2.5 これまでの日本語 Universal Dependencies の歴史

2023 年 1 月までに, 現代日本語 UD リソースとして 7 種類のコーパスが公開されている.こ れまで公開された日本語UDを表 2 に示す.

UD_Japanese-KTC (Tanaka et al. 2016) は京都大学テキストコーパスを元に作られた UD コーパスである. UD_Japanese-KTCは長単位に近い単語境界で単語を構成しており, 人手に よって句構造木が付与され，その句構造木に基づいてUDの依存構造木を構築している. 現在 UD プロジェクトでは Version 2 が公開されているが, UD_Japanese-KTC については Version 1 でメンテナンスが止まっている.

UD_Japanese-BCCWJ (Omura and Asahara 2018) は BCCWJ に基づいた UD コーパスで ある. Version 2.2 より公開された. BCCWJでは短単位・長単位・文節および文節単位の係り 受け構造の情報が提供されている. UD_Japanese-BCCWJ はこの BCCWJ からの形態素情報および係り受け構造を元に Omura and Asahara (2018) らが提案している規則によって, 短単位に基づく依存構造木へと自動変換されたものである。

UD_Japanese-GSD と UD_Japanese-PUD は Version 1.4 まで Google (McDonald et al.

表 2 公開現代日本語 UD のコーパス. SUW は短単位, LUW は長単位の略称である.

2013) が管理し, Version 2.0 から 2.5 までは IBM の単語分割器 (Kanayama et al. 2000) により単語分割し, 修正したものであった. Version 2.6 より国立国語研究所がメンテナンスおよび公開 しているコーパスである。あらかじめ UD_Japanese-GSD の Version 1.4 の権利者の許諾を得 て, さらに交涉によりライセンスを CC BY-NC-SA から CC BY-SA に変更したうえで, Version 1.4 データの例文を元に，国立国語研究所にて国語研短単位形態論情報と文節係り受け情報を人手により付与している。UDの依存構造木については, 文節係り受け木から Omura and Asahara (2018) らの規則によって UD_Japanese-BCCWJ と同様に変換したものである.

今回, さらにUD_Japanese-GSD, UD_Japanese-PUD, UD_Japanese-BCCWJ の例文 に基づき，長単位に基づく日本語 UDコーパスを構築した．BCCWJには長単位形態論情報が 付与されていたが，新たに UD_Japanese-GSD とUD_Japanese-PUDにも長単位形態論情報を付与した。次節では, 長単位に基づく日本語 UD コーパスの構築について紹介する。

## 3 長単位に基づく日本語 Universal Dependencies

UD の理念に即した単位に基づく日本語の言語資源を構築すべく, 我々は長単位を単位認定と した日本語 UD コーパスを開発した. UD_Japanese-GSD, UD_Japanese-PUD に対して,新たに国語研長単位形態論情報を付与し，UDの Version 2.9（2021 年 11 月）から，BCCWJ， GSD, PUD の長単位に基づく日本語 UDを, UD_Japanese-BCCWJLUW ${ }^{8}$, UD_Japanese-

最新版である.

前節で説明したとおり，UD_Japanese-GSDと UD_Japanese-PUD は, Version 2.6 公開時に国語研長単位に基づく形態論情報（単語境界・品詞・語彙素）と文節に基づく係り受け構造を人手により整備した。さらに，国語研長単位に基づく形態論情報（単語境界・品詞・語彙素）の整備を継続して進めてきた。長単位整備時に，長単位と短単位でデー夕に一貫性の不備 があった場合は，短単位形態論情報もさらに修正した。そしてこの国語研短単位・長単位形態論情報が付与された文節係り受けデータ GSD, PUD を Omura and Asahara (2018)の提案した 規則によって, 文節係り受け構造から, 長単位に基づくUD 基準の依存構造コーパスに変換し, UD_Japanese-GSDLUW と UD_Japanese-PUDLUW を構築した. UD_Japanese-GSD とUD_Japanese-PUD の元となっているこの文節係り受けコーパスは拡張 CaboCha 形式 (松吉他 2014) ファイルのオープンデータとして公開11されている.

BCCWJ は短単位の境界と品詞, 長単位の境界と品詞が整備されており, 浅原, 松本 (2018) のデータを組み合わせることで文節係り受けデータも獲得できる。そこから GSD と PUD と 同様に Omura and Asahara (2018) の規則によって変換を行い UD_Japanese-BCCWJLUW を構築した。

この Omura and Asahara (2018) らの変換規則は短単位と長単位の語彙素や品詞, 形態的な特徵に基づいたものである。図 4 に Omura and Asahara (2018) らの変換規則の一部12 と例を掲載している. 例文にアノーテションされた短単位と長単位の語彙素や品詞・係り受け構造から,単語間依存構造と情報を抽出し, 図 4 の下部の表で示しているような規則を単語ごとに適応し ている。適応結果から得られた UPOS および DEPREL のラベル付与することでUD の依存構造を生成している. Omura and Asahara (2018) らの変換規則は, Unidic 品詞だけではなく, 文節 や係り受け構造も参照しつつ変換されている. 日本語における UPOS と DEPREL についての 説明は文献 (浅原 他 2019)を参照すること.

Omura and Asahara (2018)の時点では，変換規則は短単位のみの変換を想定していた. 長単位 UD コーパス構築に際して, 長単位のための追加の規則が必要か検討したものの, 既存の変換規則が長単位の規則を内包していたことが分かった ${ }^{13}$ 、そのため，長単位 UDでも，Version

図 4 係り受け構造から UD 構造への変換規則の例. 上記は規則の一部でかつ説明を簡略化したものであ る.（上記の例は UD Japanese-GSDLUW 中の dev-s63)

2.10 時点で，そのまま数点の規則の変更のみ ${ }^{14}$ で，長単位でも同じように適応している.

表 3 に構築した長単位 UD の文数・文節・単語の統計情報を示している。比較のために短単位 UDの統計情報も掲載している。長単位は 1 語以上の短単位により構成されているため，表 3 から分かるように，長単位の語数は短単位の語数より少ない. しかしながら，ほとんどの語 において短単位と長単位は 1 対 1 対応している. BCCWJ においては $81.3 \%$ が，GSDにおいて は $79.0 \%$ が，短単位と長単位が同一単位となっている。

表 4 と表 5 には日本語 UD の UPOS と DEPREL のコーパスごとの頻度割合を示している。短単位と長単位を比較すると, 表 4 から, 長単位の UPOS は PROPN, SCONJ, SYM や NOUN の割合 が減少していることが分かる，表 5 から, 長単位の DEPREL は compound, fixed, nummod,mark などの割合が減少しているのが分かる。いずれも複合名詞や複合動詞でよく用いられていたア ノテーションであり，長単位で 1 単位となった際に消える関係のため減少する。一方で長単位 の AUX $\mathrm{ADP}$, aux, caseなどの割合が増えているのは, 短単位が結合して 1 長単位が格助詞 や助動詞といった付属語に変化したためである。たとえば, 図 5 の事例で説明すると，「吉田」「あや子」は長単位の場合, 複合名詞「吉田あや子」と変化するため，「吉田」「あや子」を結ん でいた compoundが消えている.また長単位「ている」は短単位の場合「て」「いる」の 2 単語 で markと fixedを用いているが, 長単位「ている」と結合されたことで「助動詞」となるため, UPOSがAUXに変化し, auxが付与される.

表 3 日本語長単位ベース UD の統計情報.（文数・文節数・単語数，比較のために短単位ベース UD の 数値も掲載)

表 4 日本語 UD Version 2.10 の統計情報. (UPOS の割合)

表 5 日本語 UD Version 2.10 の統計情報.（DEPREL $の$ 割合）

普通名詞 格助詞 名詞 名詞 格助詞 動詞 接続助詞 動詞-非自立可能 句点

NOUN ADP PROPN PROPN ADP VERB SCONJ VERB PUNCT

普通名詞 格助詞 固有名詞 格助詞 動詞 助動詞 句点

NOUN ADP PROPN ADP VERB AUX PUNCT

図 5 UD Japanese-GSD/GSDLUW 中の train-s1430 の事例. 上が短単位, 下が長単位である. 長単位に なると compound と fixedの関係がなくなる.また，「ている」のように結合し助動詞 (AUX) に変化 している.

## 4 オープンソース解析器による比較実験

この節では短単位および長単位という単位の異なる日本語 UD コーパスについて, 公開され ている解析器により統語解析を行う. 正解率に基づき, どの段階の構造が, どの程度再現可能 かを調査する。統語解析の解析結果を比較することにより, 短単位と長単位による解析精度の 違い，長単位の再現度の困難さなどを確認することが目的である。

## 4.1 実験設定

この実験では短単位 UD と長単位 UD の比較のため, 短単位の UDである UD_Japanese-GSD と長単位の UDである UD_Japanese-GSDLUW（いずれもVersion 2.10）を用いた．GSD データは CoNLL-2017 の Shared Task にも用いられていた経緯から, 訓練・開発・評価データ に分割されており，実験データの設定もこの分割に基づいて実施した.

図 6 に統語解析の流れを示す。生文を入力してから単語分割, 品詞付与とレンマ推定をし,依存構造解析を行う形15で統語解析を行い, UD を生成する. 解析器としては UDPipe, MeCab, Comainuを用いた. UDPipeでは単語分割, 品詞推定+レンマ推定, 依存構造解析を行い, MeCab と Comainu は単語分割および品詞推定 (XPOS まで) を行う．UDでは言語依存の品詞を XPOS

図 6 本実験における統語解析の流れ。この 3 段階の流れは UDPipe のモデルに合わせている.

として指定できるため, 日本語 UDでは Unidic 品詞（国語研短単位形態論情報, 国語研長単位形態論情報）を提供している.

UDPipe (Straka and Straková 2017) は, 生文あるいは UD コーパスを入力として単語分割,品詞付与+レンマ推定, 依存構造解析ができる解析器である. UDPipe ではそれぞれの段階ごと にモデルを学習し構築している. UDPipe はニューラルネットモデルをフェイズごとに組み合 わせて実装されており，単語分割には Bidirectional LSTM artificial neural network (Graves and Schmidhuber 2005)を, 品詞付与+レンマ推定には MorphoDiTa (Straková et al. 2014) を, 依存構造解析には Parsito (Straka et al. 2015) が使われている. UD_Japanese-GSD, UD_JapaneseGSDLUW の訓練データ (Version 2.10) を用いて UDPipe Version 1.2.0により訓練したモデル を用いる ${ }^{16}$. UDPipe では, 単語埋め込みを依存構造解析段階でのみ使用することができるた め, 単語埋め込みとして, 短単位に基づく単語埋め込み NWJC2vec を用いた。なお NWJC2vec は短単位で構築されているが, 短単位と長単位では共通する形態素も存在するため, 影響をみ るために, 長単位のモデルでも NWJC2vec を用いている. 本実験での NWJC2vec は 300 次元の Skip-gram のモデルを使用した.

MeCab (Kudo et al. 2004) は国語研短単位形態論情報（単語分割, 品詞付与+レンマ推定）を付与するために用いる。利用したバージョンは MeCab-0.996 と UniDic-2.1.0 であった. Comainu (小澤 他 2014) は国語研長単位形態論情報（単語分割, 品詞付与+レンマ推定）を付与するため に用いる。利用したバージョンは 0.72 であった。なお，Comainu は内部で MeCab を呼び出し て利用しており，MeCabの解析結果も Comainuの結果から引用している. MeCab も Comainu

もすでに訓練されたモデルをそのまま用いた17.

評価も図 6 に示す 3 つの段階「単語分割」「品詞付与+レンマ推定」「依存構造解析」の段階 での比較で行った. 1 つ目は未解析文を入力にしたすべての解析 (単語分割, 品詞付与+レン マ推定，依存構造解析）を行うものである．2つ目は正解の単語分割 (Gold) を入力にして品詞付与+レンマ推定・依存構造解析を行うものである. 3 つ目は正解の単語分割 (Gold) と正解の 品詞タグ (Gold) を入力に依存構造解析のみを行うものである.

評価プログラムには CoNLL 2018 Shared Taskにて使用された評価スクリプト18を用いた。こ のスクリプトは出力結果と正解同士の結果を内部でアライメントし，その一致率を求めた上で，単語分割, 品詞付与, レンマ推定, 依存構造解析結果それぞれについての $\mathrm{F}$ 值を出力する。本稿の実験結果もこの $\mathrm{F}$ 值を正解率として示している．以降は各段階に焦点を当てて結果と考察 を示すが, 全体の結果は付録 A の表 10 を参考にされたい.

## 4.2 単語分割および品詞付与+レンマ推定

表 6 に単語分割および品詞タグ付け+レンマ推定の結果を示す. Words は単語分割の $\mathrm{F}$ 値, UPOS は UD 品詞付与の F 值, XPOS は UniDic 品詞付与の F 値, Lemmas はレンマ (UniDic 語彙素）推定の $\mathrm{F}$ 值である。なお, 品詞付与+レンマ推定については XPOS と UPOS のそれぞ れの正解率を求めているが，MeCab と Comainu では XPOS のみ生成し，UPOS のみ UDPipe で出力する形になっている。また示している Comainu の結果は短単位の解析誤りが含まれて いる。

まず，単語分割においては MeCab と Comainu を比較すると, 長単位 (LUW) のほうが正解

表 6 実験結果：単語分割および品詞夕グ付け+レンマ推定. 各項目は $\mathrm{F}$ 値を表している.

率が高く ${ }^{19}$, 品詞付与の正解率も UPOS, XPOS ともに長単位のほうが高い. また, UDPipe と MeCab と Comainu を比較すると， MeCab と Comainu のほうが精度が高く, XPOS が特に高 い. 日本語形態素解析では, 辞書などを用いながら UniDic 品詞 (XPOS) を推定することに特化 しているため, XPOS のほうが汎化の高い UPOS よりも性能が高くなる傾向にある.

次に, UDPipe を用いた場合の短単位 (SUW) と長単位 (LUW) を比較すると, 単語分割にお いて短単位のほうが正解率が高いことが分かった，品詞夕グ付けやレンマ推定においても，短単位のほうが高いことが分かる。前述の通り短単位は短く摇れが少ない傾向にあるため，辞書知識を用いないUDPipeにおいて，短単位のほうが正解率が高いのは直感的である，全体とし て分割精度が低いと後続の結果にも影響がでるため, 短単位のほうが結果として正解率が高く なっていると考えられる。

単語分割を正解とした入力を与えた場合には，XPOSにおいては長単位のほうが短単位より も正解率が高いことが分かった。これは辞書を用いずに文脈のみで機械学習により推定する場合には, 「可能性に基づく品詞」の推定が困難で，「用法に基づく品詞」のほうがより推定しや すいことによる。

レンマ推定においては, 一貫して数字表現や複合辞の語彙素の復元が難しく, 長単位のほう が正解率が低い，レンマ推定の際，Gold データの場合と解析器によるものを比較すれば 3-4\% も落ちていることが分かり，単語分割の正確性は重要であることが伺える.

## 4.3 依存構造解析

表 7 に依存構造解析結果を示す. 評価指標としてUAS，LAS，CLAS，MLAS，BLEXを示 している．NWJC2vec を利用していないものと利用したものの結果について (UDPipe) w/o vec と (UDPipe) w/ vecにて示している.

UAS (Unlabeled Attachment Score) は，親への依存関係 (dependency attachment) が正しい 場合に正解として，正解率を評価する指標である． LAS (Labeled Attachment Score) は，単語 の係り先と親への依存関係ラベル (universal dependency label) が正しい場合に正解として, 正解率を評価する指標である。 CLAS (Content-Word Labeled Attachment Score) は，LAS の評価において, 機能語 (functional words) から自立語 (content words)への依存関係の重みを 0 に したものである。つまり，自立語の評価を主とした指標である。自立語と認定される依存関係 は 29 種として定義されている20のみとする. MLAS (Morphology-Aware Labeled Attachment

表 7 実験結果：依存構造解析の結果. 各項目は $\mathrm{F}$ 值を表している.

Score) は, CLAS の拡張であり, 親への依存関係のみならず， 子の機能語の依存関係がすべて 対応しており，いくつかの形態論的属性 (FEATS) も正しい場合に正解として，正解率を評価 する指標である。この指標での依存関係は係り先と関係ラベルが一致しているものだけを評価 する．ただし内容語でも機能語でもない関係ラべルのものは除かれて評価されている． BLEX (Bilexical Dependency Score) は, MLAS と似た指標だが，形態論的属性 (FEATS) の代わりに レンマ (LEMMA) が一致している場合に正解とする。その際, 子の機能語の依存関係は評価し ない。なお, 出力と正解データで単語分割の区切りが一対一となるとは限らないため, 一致率 ではなく，F 値として評価する。

まず，UAS，LAS を確認する。単語分割に UDPipe を用いたものを除いて，長単位のほうが 短単位よりもUAS, LAS ともによいことが分かる. これは, 品詞付与のときも同様であるが, UDPipe の単語分割の性能の差が依存構造解析に残っていることに基づく，単語分割に正解を 与えた場合 (Token: Gold), いずれの場合も依存構造解析の性能において 0.73-2.47\%程度, 短単位よりも長単位のほうが性能がよかった。また品詞に正解を与えた場合 (Token: Gold, POS: Gold) も, 短単位よりも長単位のほうが性能がよかった。これは, 依存構造解析の単位として,長単位の分割および長単位に付与されている UPOS のほうが，構文解析しやすいことが示唆 される．定性的にも，短単位に付与されている「可能性に基づく品詞体系」は依存構造を推定 するための情報として曖昧な品詞体系であり，長単位に付与されている「用法に基づく品詞体系」が有効と考えられる。

CLAS, MLAS, BLEX を確認すると，短単位のほうが長単位よりも正解率がよい。とくに BLEXは, レンマ解析結果の正解も必要なため, より長単位の評価に厳しい結果となっている. これは CLAS, MLAS, BLEXにおける自立語認定される語が，短単位のほうが長単位よりも比率が多いことに起因している。とくに短単位では長単位のときに 1 語と認定されているものが 複数の語となり，かつその依存関係（compoundやfixed）も自立語として正解率に集計されてい る. 実際, UD_Japanese-GSDで自立語として認定される語の割合は 103769/217954=0.4761, UD_Japanese-GSDLUW で自立語として認定される語の割合は $66116 / 174543=0.3788$ となっ ており，短単位のほうが自立語認定された語の割合が 1 割程度多い.これが，正解率に影響し ている可能性が高い.

自立語の依存構造が正しく認定されているかを確認するために，文節中の自立語同士の依存関係のみを抽出し, 結果を出した ${ }^{21}$. 短単位 UD と長単位UD の文節の数はほとんど一致して おり，文節中には自立語はひとつと定義されているので，この結果は日本語の係り受け構造解析とほぼ同様の結果となる。 それぞれの評価指標を計算しなおすと表 8 のようになった. 解析器がその単語が主辞かどうかを判定しないため, 語の認定がずれている結果は正確に評価でき ない. そのため, 語が一致しているもののみに限定している。短単位と比べて長単位のほうが 自立語の依存構造においては解析精度がよいことが分かる.

表 9 に，単語埋め込み NWJC2vec を用いた際に，どの程度依存構造解析の正解率が向上す るかについて示す. 表 7 の w/ vec と w/o vec の差分を示したものである. 短単位に基づく NWJC2vec は，短単位の依存構造解析正解率を 0.73-1.65\% 程度向上させる。一方, 長単位の依存構造解析正解率は $0.01-0.23 \%$ 程度しか向上させることができない. NWJC2vec は短単位に

表 8 実験結果 : 文節内自立語主辞の依存構造解析結果 ( $\mathrm{F}$ 値). 表 7 の一部に対して文節内自立語主辞の 依存関係のみで再評価した結果. CoNLL 2018 Shared Task の CLAS, MLAS, BLEX の定義と異 なるため'-C'を付与している。

SEM_HEADを抽出することと同値である.
}

表 9 実験結果：単語埋め込みの利用による依存構造解析正解率の向上.（表 7 に基づく）

基づき構築された単語埋め込みである。これは依存構造解析において，単語単位が揃っている 単語埋め达みは正解率の向上に貢献することを示唆している.

## 5 おわりに

本稿では日本語 UDにおける単語分かち書きの問題について, 国語研短単位と国語研長単位という単語単位を比較することで検討を行った。日本語分かち書き基準として以前より採用 されていた国語研短単位について紹介するとともに，UDが掲げる理念に即した単位認定「構文的な語」にふさわしい単位として国語研長単位があることを紹介した。実際に，長単位に基 づく現代日本語の UD リソース UD_Japanese-BCCWJLUW，UD_Japanese-GSDLUW， UD_Japanese-PUDLUW を構築し，共有・公開を行った。さらに長単位に基づく日本語 UD について，公開されているツール・言語資源およびUD_Japanese-GSDLUWを用いて，そ の再構成可能性について検討を行った. 結果, 既存の形態素解析器 $\mathrm{MeCab} \cdot$ Comainu ととも に短単位に基づく単語埋め込み NWJC2vec を用いた設定において，短単位と長単位とで最終的 な係り受けの性能において差がないことを確認した。

構文的な語としての長単位の出力が実応用的に有用であり，UDの枠組にふさわしいもので あるかについてはまだ議論の余地が残っている。さらに，類型論の研究を考えた場合に，他言語においても同様の「構文的な語」を規定できるかという問題がある。今後他言語を含めた有用性を検証する必要があると考えられる。

検討事項があるとはいえ，今回の取組みにより，既存のアノテーション情報を元に短単位の 日本語 UDコーパスと長単位の日本語 UDコーパスを構築することが可能となった。本基準を 用いると，たとえば，短単位・長単位形態論情報・文節係り受けなどが付与されていれば，短単位・長単位に基づく『日本語日常会話コーパス』(CEJC) などもUD 対応することが可能で あろう．今後拡張 CaboCha 形式の日本語コーパスをUD 基準に変換するプログラムもオープ ンソースソフトウェアとして公開予定である。また公開された長単位の日本語 UD コーパスを 元に 松田他 (2022) や安岡 (2022) の研究のような長単位解析系のツールの開発なども取り組ま

れている。長単位の日本語 UD コーパスによって, 日本語の語の単位認定について, より進ん だ研究が取り組まれることを期待する.

## 謝 辞

本研究の実施にあたって，松田寛氏・金山博氏・宮尾祐介氏・田中貴秋氏・松本裕治氏・伊藤薫氏の助言を受けました.ここに記して謝意を表します. 本研究は国立国語研究所コーパス 開発センター共同研究プロジェクト（2016-2021）・基幹型共同研究プロジェクト（2022-2027）「アノテーションデータを用いた実証的計算心理言語学」の成果です。また, 科研費 17H00917, 18H05521の支援を受けました。

## 参考文献

赤部晃一, 神田峻介, 小田悠介, 森信介 (2022). Vaporetto: 点予測法に基づく高速な日本語 トークナイザ. 言語処理学会第 28 回年次大会発表論文集, pp. 256-261, オンライン開催.言語処理学会. [K. Akabe et al. (2022). Vaporetto: Ten Yosokuho ni motozuku Kosoku na Nihongo Tokunaiza, Proceedings of the 28th Annual Meeting of the Association for Natural Language Processing, pp. 256-261. Online. Association for Natural Language Processing].

Asahara, M. (2018). "NWJC2Vec: Word Embedding Dataset from 'NINJAL Web Japanese Corpus'." Terminology: International Journal of Theoretical and Applied Issues in Specialized Communication, 24, pp. 7-22.

浅原正幸, 松本裕治 (2018).『現代日本語書き言葉均衡コーパス』に対する文節係り受け$\cdot$並列構造ア ノテーション. 自然言語処理, 25 (4), pp. 331-356. [M. Asahara and Y. Matsumoto (2018).

Bunsetsu-based Dependency Relation and Coordinate Structure Annotation on 'Balanced Corpus of Contemporary Written Japanese'. Journal of Natural Language Processing, 25 (4), pp. 331-356.].

浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾, 松本裕治 (2019). Universal Dependencies 日本語コーパス. 自然言語処理, 26 (1), pp. 3-36. [M. Asahara et al. (2019). Japanese Universal Dependencies Corpora. Journal of Natural Language Processing, 26 (1), pp. $3-$ 36.].

Chun, J., Han, N.-R., Hwang, J. D., and Choi, J. D. (2018). "Building Universal Dependency Treebanks in Korean." In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC 2018), pp. 2194-2202, Miyazaki, Japan. European Language Resources Association.
de Marneffe, M.-C., Dozat, T., Silveira, N., Haverinen, K., Ginter, F., Nivre, J., and Manning, C. D. (2014). "Universal Stanford Dependencies: A cross-linguistic typology." In Proceedings of the 9th International Conference on Language Resources and Evaluation (LREC 2014), pp. 4585-4592, Reykjavik, Iceland. European Language Resources Association.

de Marneffe, M.-C., Manning, C. D., Nivre, J., and Zeman, D. (2021). "Universal Dependencies." Computational Linguistics, 47 (2), pp. 255-308.

伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明, 内元清貴, 小磯花絵 (2007). コーパス日本語学 のための言語資源-形態素解析用電子化辞書の開発とその応用 (特集コーパス日本語学の射程). 日本語科学, 22, pp. 101-123. [Y. Den et al. (2007). The Development of an Electronic Dictionary for Morphological Analysis and Its Application to Japanese Corpus Linguistics. Japanese Linguistics, 22, pp. 101-123.].

Derin, M. O. and Harada, T. (2021). "Universal Dependencies for Old Turkish." In Proceedings of the 5th Workshop on Universal Dependencies (UDW, SyntaxFest 2021), pp. 129-141, Sofia, Bulgaria. Association for Computational Linguistics.

Graves, A. and Schmidhuber, J. (2005). "Framewise Phoneme Classification with Bidirectional LSTM and Other Neural Network Architectures." Neural Networks: The Official Journal of the International Neural Network Society, 18 (5), pp. 602-610.

Kanayama, H., Torisawa, K., Mitsuishi, Y., and Tsujii, J. (2000). "A Hybrid Japanese Parser with Hand-crafted Grammar and Statistics." In Proceedings of COLING 2000 Volume 1: The 18th International Conference on Computational Linguistics (COLING 2000), pp. 411-417, Saarbrücken, Germany. European Language Resources Association.

Kayadelen, T., Ozturel, A., and Bohnet, B. (2020). "A Gold Standard Dependency Treebank for Turkish." In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), pp. 5156-5163, Marseille, France. European Language Resources Association.

Koiso, H., Amatani, H., Den, Y., Iseki, Y., Ishimoto, Y., Kashino, W., Kawabata, Y., Nishikawa, K., Tanaka, Y., Usuda, Y., and Watanabe, Y. (2022). "Design and Evaluation of the Corpus of Everyday Japanese Conversation." In Proceedings of the 13th Language Resources and Evaluation Conference (LREC 2022), pp. 5587-5594, Marseille, France. European Language Resources Association.

小澤俊介, 内元清貴, 伝康晴 (2014). 長単位解析器の異なる品詞体系への適用. 自然言語処理, 21 (2), pp. 379-401. [S. Kozawa et al. (2014). Adaptation of Long-Unit-Word Analysis System to Different Part-Of-Speech Tagset. Journal of Natural Language Processing, 21 (2), pp. 379-401.].

工藤拓, 松本裕治 (2002). チャンキングの段階適用による日本語係り受け解析. 情報処理学会
論文誌, 43 (6), pp. 1834-1842. [T. Kudo and Y. Matsumoto (2002). Japanese Dependency Analysis Using Cascaded Chunking. IPSJ Journal, 43 (6), pp. 1834-1842.].

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (EMNLP 2014), pp. 230-237, Barcelona, Spain. Association for Computational Linguistics.

Leung, H., Poiret, R., Wong, T.-s., Chen, X., Gerdes, K., and Lee, J. (2016). "Developing Universal Dependencies for Mandarin Chinese." In Proceedings of the 12th Workshop on Asian Language Resources (ALR12), pp. 20-29. The COLING 2016 Organizing Committee.

Maekawa, K., Yamazaki, M., Ogiso, T., Maruyama, T., Ogura, H., Kashino, W., Koiso, H., Yamaguti, M., Tanaka, M., and Den, Y. (2014). "Balanced Corpus of Contemporary Written Japanese." Language Resources and Evaluation, 48 (2), pp. 345-371.

松田宽, 大村舞, 浅原正幸 (2022). UD Japanese に基づく国語研長単位解析系の構築. 言語処理学会第 28 回年次大会発表論文集, pp. 1618-1622,オンライン開催. 言語処理学会. [H. Matsuda et al. (2022). UD Japanese ni motozuku Kokugoken Chotani Kaisekikei no Kochiku. Proceedings of the 28th Annual Meeting of the Association for Natural Language Processing, pp. 1618-1622. Online. Association for Natural Language Processing].

松吉俊, 浅原正幸, 飯田龍, 森田敏生 (2014). 拡張 CaboCha フォーマットの仕様拡張. 第 5 回コー パス日本語学ワークショップ予稿集, pp. 223-232, 東京. 国立国語研究所. [S. Matsuyoshi et al. (2014). RFC: Requirements in Extended CaboCha Formats. Proceedings of the 5th Japanese Corpus Llinguistic Workshop, pp. 223-232, Tokyo. National Institute for Japanese Language and Linguistics.].

McDonald, R., Nivre, J., Quirmbach-Brundage, Y., Goldberg, Y., Das, D., Ganchev, K., Hall, K., Petrov, S., Zhang, H., Täckström, O., Bedini, C., Bertomeu Castelló, N., and Lee, J. (2013). "Universal Dependency Annotation for Multilingual Parsing." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 92-97, Sofia, Bulgaria. Association for Computational Linguistics.

Murawaki, Y. (2019). "On the Definition of Japanese Word." arXiv preprint arXiv:1906.09719.

国立国語研究所 (2006). 日本語話し言葉コーパスの構築法. 国立国語研究所報告. 124 号. 国立国語研究所. [National Institute for Japanese Language and Linguistics (2006). Construction of The Corpus of Spontaneous Japanese. The National Language Research Institute Occasional Papers, No. 124. National Institute for Japanese Language and Linguistics.].

Nivre, J., de Marneffe, M.-C., Ginter, F., Goldberg, Y., Hajič, J., Manning, C. D., McDonald, R., Petrov, S., Pyysalo, S., Silveira, N., Tsarfaty, R., and Zeman, D. (2016). "Universal Depen-
dencies v1: A Multilingual Treebank Collection." In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC'16), pp. 1659-1666, Portorož, Slovenia. European Language Resources Association.

小椋秀樹, 小磯花絵, 冨士池優美, 原裕 (2008). 『現代日本語書き言葉均衡コーパス』形態論情報規程集 改定版. 国立国語研究所. 国立国語研究所内部報告書；LR-CCG-07-04, [H. Ogura et al. (2008). Gendai Nihongo Kakikotoba Kinko Kopasu Keitairon Joho Kiteishu Kaiteiban. National Institute for Japanese Language and Linguistics; LR-CCG-07-04.].

Omura, M. and Asahara, M. (2018). "UD-Japanese BCCWJ: Universal Dependencies Annotation for the Balanced Corpus of Contemporary Written Japanese." In Proceedings of the 2nd Workshop on Universal Dependencies (UDW 2018), pp. 117-125, Brussels, Belgium. Association for Computational Linguistics.

Petrov, S., Das, D., and McDonald, R. (2012). "A Universal Part-of-Speech Tagset." In Proceedings of the 8th International Conference on Language Resources and Evaluation (LREC 2012), pp. 2089-2096, Istanbul, Turkey. European Language Resources Association.

坂本美保, 川原典子, 久本空海, 高岡一馬, 内田佳孝 (2018). 形態素解析器『Sudachi』のための 大規模辞書開発. 言語資源活用ワークショップ 2018 発表論文集, 3 巻, pp. 118-129, 東京. 国立国語研究所. [M. Sakamoto et al. (2018). Large Scale Dictionary Development for Sudachi. Proceedings of Language Resources Workshop 2018, Vol. 3, pp. 118-129, Tokyo. National Institute for Japanese Language and Linguistics].

佐藤敏紀, 橋本泰一, 奥村学 (2017). 単語分かち書き辞書 mecab-ipadic-NEologd の実装と情報検索における効果的な使用方法の検討. 言語処理学会第 23 回年次大会発表論文集, pp. 875-878,茨城. 言語処理学会. [T. Sato et al. (2017). Tango Wakachigaki Jisho mecab-ipadic-NEologd no Jisso to Joho Kensaku ni okeru Kokateki na Shiyohoho no Kento. Proceedings of the 23rd Annual Meeting of the Association for Natural Language Processing, pp. 875-878, Ibaraki.]. Straka, M., Hajič, J., Straková, J., and Jr, J. H. (2015). "Parsing Universal Dependency Treebanks using Neural Networks and Search-Based Oracle." In Proceedings of 14th International Workshop on Treebanks and Linguistic Theories (TLT 2015), pp. 208-220, Warsaw, Poland. Instytut Podstaw Informatyki PAN.

Straka, M. and Straková, J. (2017). "Tokenizing, POS Tagging, Lemmatizing and Parsing UD 2.0 with UDPipe." In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 88-99, Vancouver, Canada. Association for Computational Linguistics.

Straková, J., Straka, M., and Hajič, J. (2014). "Open-Source Tools for Morphology, Lemmatization, POS Tagging and Named Entity Recognition." In Proceedings of 52nd Annual

Meeting of the Association for Computational Linguistics: System Demonstrations (ACL 2014), pp. 13-18, Baltimore, Maryland. Association for Computational Linguistics.

Takaoka, K., Hisamoto, S., Kawahara, N., Sakamoto, M., Uchida, Y., and Matsumoto, Y. (2018). "Sudachi: a Japanese Tokenizer for Business." In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan. European Language Resources Association.

Tanaka, T., Miyao, Y., Asahara, M., Uematsu, S., Kanayama, H., Mori, S., and Matsumoto, Y. (2016). "Universal Dependencies for Japanese." In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC'16), pp. 1651-1658, Portorož, Slovenia. European Language Resources Association.

Xia, F. (2000). "The Segmentation Guidelines for the Penn Chinese Treebank (3.0)." Tech. rep., Institute for Research in Cognitive Science. IRCS Technical Reports Series.

安岡孝一 (2022). Transformers と国語研長単位による日本語係り受け解析モデルの製作. 情報処理学会研究報告：第 128 回人文科学とコンピュータ研究発表会研究会報告, 2022CH-128 巻, pp. 1-8, オンライン開催. 情報処理学会. [K. Yasuoka (2022). Transformers to Kokugoken Chotani niyoru Nihongo Kakariuke Kaiseki Moderu no Seisaku. Proceedings of the 128th IPSJ SIG Computers and the Humanities Symposium, 2022-CH-128, pp. 1-8, Online. Information Processing Society of Japan.].

Zeman, D. (2008). "Reusable Tagset Conversion Using Tagset Drivers." In Proceedings of the 6th International Conference on Language Resources and Evaluation (LREC 2008), pp. 213-218, Marrakech, Morocco. European Language Resources Association.

## 付録

## A 依存構造解析の全体表

本稿で行った実験結果の全体表表 10 を付録として掲載する.この表は本稿の表 6 と表 7 を統合したものである.

## 略歴

大村 舞：国立国語研究所プロジェクト非常勤研究員.

若狭絈：国立国語研究所プロジェクト非常勤研究員.

浅原正幸：国立国語研究所・東京外国語大学教授.

(2022 年 8 月 1 日 受付)

(2022 年 10 月 3 日 採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 複数の補助教師データを用いた固有表現抽出の学習手法

渡邊 大貴 ${ }^{\dagger,+\dagger}$ - 市川 智也 ${ }^{\dagger \dagger}$ - 田村 晃裕 ${ }^{\dagger \dagger}$ - 岩倉 友哉 $\dagger$ - 馬 春鵬 $\dagger \cdot$加藤

固有表現抽出 (Named Entity Recognition; NER) は, テキストからの知識獲得に用い られる要素技術の一つであり，たとえば，化学物質や医療の知識抽出に用いられてい る. NER の性能改善のため, 対象タスクの教師データとは別の教師データを補助教師データとして用いる補助学習が提案されている. 従来の補助学習では補助教師デー 夕として 1 種類の教師データしか用いていない. そこで, 本研究では, 複数種類の 教師データを補助教師データとして活用する NER の学習手法 (Multiple Utilization of NER Corpora Helpful for Auxiliary BLESsing; MUNCHABLES) を提案する.具体的には, 補助教師データ毎の補助学習を順次行うことで, 対象タスクのモデル を補助教師データの種類の数だ再学習する方法と, 全種類の教師データを一つの 補助学習で用いる方法の 2 種類の学習手法を提案する。評価実験では, 化学物質名抽出タスクにおいて, 7 種類の化学／科学技術分野の補助教師データを用いて提案手法で学習したモデルの評価を行った. その結果, 提案手法によるモデルはマルチ タスク学習や 1 種類の補助教師データを用いる補助学習手法によるモデルと比べて, 7 種類のデータセットにおける $\mathrm{F} 1$ 値のマイクロ平均, マクロ平均ともに高い性能と なることを確認した。また， s800 のデータセットにおいて従来手法と比較をして最 も高い F1 値を達成した。

キーワード：固有表現抽出，マルチタスク学習，補助学習
## Auxiliary Learning for Named Entity Recognition with Multiple Auxiliary Training Data

Taiki WatanaBE ${ }^{\dagger, \dagger \dagger}$, Tomoya IchikaWa ${ }^{\dagger \dagger}$, Akihiro Tamura ${ }^{\dagger \dagger}$, TOmoya Iwakura ${ }^{\dagger}$ Chunpeng $\mathrm{Ma}^{\dagger}$ and Tsuneo $\mathrm{Kato}^{\dagger \dagger}$

Named entity recognition (NER) is one of the core technologies for knowledge acquisition from text and has been used for knowledge extraction of chemicals, medicine, and so on. As one of the NER improvement approaches, multi-task learning that learns a model from multiple training data has been used. Among multi-task learning, an auxiliary learning method, which uses training data of an auxiliary task for improving its

target task, has shown higher NER performance than conventional multi-task learning for improving all the tasks simultaneously. The conventional auxiliary learning method uses only one auxiliary training dataset. We propose Multiple Utilization of NER Corpora Helpful for Auxiliary BLESsing (MUNCHABLES). MUNCHABLES utilizes multiple training datasets as auxiliary training data by the following methods: the first one is to fine-tune the NER model of the target task by sequentially performing auxiliary learning for each auxiliary training dataset, and the other is to use all training datasets in one auxiliary learning. We evaluate MUNCHABLES on eight chemical/biomedical/scientific domain NER tasks, where seven training datasets are used as auxiliary training data. The experimental results show that our methods achieve higher micro and macro average F1 scores than a conventional auxiliary learning method using one auxiliary training dataset and conventional multi-task learning method. Furthermore, our method achieves the highest F1 score on the s800 dataset.

Key Words: Named Entity Recognition, Multi-task Learning, Auxiliary Learning

## 1 はじめに

固有表現抽出 (Named Entity Recognition; NER) は，テキストから固有表現 (Named Entity; NE) や専門用語を抽出する自然言語処理技術の一つであり，様々な場面で用いられている．た とえば，新材料や新薬の開発，材料を用いた製品開発には化学物質に関する知識が必要不可欠で あり，NER は，論文や特許で日々報告される化学物質間の相互関係や化学物質の物性値といっ た情報を構造化し蓄積するための要素技術の一つとして用いられている.

NER に関する研究は古くから盛んに行われている。近年では, ニューラルネットワーク (Neural Network; NN) による手法が主流となっており, 再帰的ニューラルネットワーク (Recurrent Neural Network; RNN) と条件付確率場 (Conditional Random Fields; CRF) を組み合わせた Bidirectional LSTM-CRF モデル（BiLSTM-CRF モデル）による手法 (Huang et al. 2015) や Transformer に よる手法 (Lee et al. 2019) が，NER において高い性能を実現している。また，近年では，対象夕 スクの教師データ（メイン教師データ）とは別の教師データも用いるマルチタスク学習により,複数の教師データから特徴量を同時に学習することでモデルの性能が改善することが報告され ている (Wang et al. 2019; Crichton et al. 2017; Khan et al. 2020; Mehmood et al. 2020; Wang et al. 2019). 特に，バイオ分野の NER (BioNER) においては，複数のタスクを同時に学習する マルチタスク学習と比較し, 対象タスク以外のタスクを補助タスクとして用いる補助学習を行う ことで対象タスクにおいて高い性能を示すことが報告されている (Wang et al. 2019). 補助学習 では，対象タスクから作成したメインバッチとそれ以外の教師データから作成した補助バッチ を用いて学習を行う。学習時に補助バッチでパラメータを更新し，その後メインバッチでパラ メータを更新する。この操作を対象タスクのデータに対する損失が収束するまで繰り返し行う.
本研究では, 先行研究の補助学習が 1 種類の補助教師データしか用いなかったのに対し, 複数 の教師データを補助教師データとして用いる手法 (Multiple Utilization of NER Corpora Helpful for Auxiliary BLESsing; MUNCHABLES) を提案する。提案手法では, 複数の補助教師デー 夕を用いることで，より多くの単語や文のパタンを学習する。また，複数の補助教師データを 扱う際の学習方法や, 補助教師データの組み合わせ，学習順について，性能向上の観点で検討 する．具体的には，補助教師データ毎の補助学習を順次行うことで，対象タスクのモデルを補助教師データの種類の数たけ再学習する方法（MUNCHABLES-スタック手法）と, 全種類の補助教師データを一つの補助学習で用いる方法の 2 種類の学習手法を提案する. 後者の学習方法 としては，補助教師データを全て結合させた教師データからランダムにデータ選択して作成し たバッチに基づき学習を行う方法（MUNCHABLES-結合手法）と，エポック毎に補助教師デー 夕の種類を変えて学習を行う方法（MUNCHABLES-反復手法）を提案する.

本研究では, 提案手法によるモデルの有効性を計 8 種類の化学／バイオ／科学技術分野の NER タスクで評価した。評価実験より，各タスクにおいて 7 種類の補助教師データを用いる提案手法によるモデルは従来手法によるモデルと比べて, F1 值の平均が向上することを確認した。そ して，提案手法によるモ出るは，従来手法と比較して最も高い F1 値を達成した。

## 2 従来手法

本節では，対象タスクの教師データ以外の教師データも用いる従来のマルチタスク学習手法 と補助学習を説明する．2.1 節では，まず本研究のべースモデルとして用いる NER モデルを概説する．そして， 2.2 節では，その NER モデルを複数のタスクで同時に学習するマルチタスク 学習に拡張したモデルについて述べる。このマルチタスク学習では, 対象タスクとその他の夕 スクは同等に扱われる，2.3節では，対象タスクの性能を上げるために，対象タスクではない夕 スクの教師データを補助教師データとして用いる補助学習を説明する。

## 2.1 シングルタスク学習

本研究では, Huang ら (Huang et al. 2015) により提案された BiLSTM-CRF モデルを NER モ デルとして使用する，BiLSTM-CRF モデルは，双方向 LSTM と CRF を用いた系列ラベリング モデルである.

BiLSTM-CRF モデルは，まず，双方向 LSTM により，入力文中の各単語の中間表現を算出 する. 入力文を $\mathbf{w}=w_{1}, w_{2}, \cdots, w_{N}$, 各単語 $w_{i}$ を埋め込み層でベクトル化した結果を $\mathbf{x}=$ $\mathbf{x}_{1}, \mathbf{x}_{2}, \cdots, \mathbf{x}_{N}$ とすると, 単語 $w_{i}$ の中間表現 $\mathbf{e}_{i}$ を以下のように算出する.

$
\overrightarrow{\mathbf{h}_{i}}=L S T M^{(f)}\left(\mathbf{x}_{i}, \overrightarrow{\mathbf{h}_{i-1}}\right)
$

$
\begin{gathered}
\overleftarrow{\mathbf{h}_{i}}=\operatorname{LST} M^{(b)}\left(\mathbf{x}_{i}, \overleftarrow{\mathbf{h}_{i+1}}\right) \\
\mathbf{h}_{i}=\left[\overrightarrow{\mathbf{h}_{i}} ; \overleftarrow{\mathbf{h}_{i}}\right] \\
\mathbf{e}_{i}=\mathbf{W}^{(\mathbf{e})} \mathbf{h}_{i}
\end{gathered}
$

ここで， $\rightarrow$ とは，それぞれ，順方向と逆方向を表し， $L S T M^{(f)}$ と $L S T M^{(b)}$ は，それぞれ，順方向と逆方向の LSTM を表す。また, [ $\cdot ; \cdot]$ はベクトルの結合を表す. $\mathbf{W}^{(\mathbf{e})} \in R^{k \times d}$ は重み行列であり,$d$ は隠れ状態ベクトル $\mathbf{h}_{i}$ の次元数, $k$ は識別対象のラベルの数である.

その後, 双方向 LSTMにより算出された中間表現 $\mathrm{e}$ を CRF に入力し, ラベル系列を求める. ラべ ル系列 $\mathbf{y}=\left(y_{1}, y_{2}, \cdots, y_{N}\right)$ に対するスコア関数は, 双方向 $\operatorname{LSTM}$ の出力系列 $\mathbf{e}=\left(\mathbf{e}_{1}, \mathbf{e}_{2}, \cdots, \mathbf{e}_{N}\right)$ をスコア行列に変換した $\mathbf{P}=\left(\mathbf{e}_{1}, \mathbf{e}_{2}, \cdots \mathbf{e}_{N}\right)^{T}$ と遷移スコア行列 $\mathbf{A}$ を用いて次のように定義する.

$
\mathrm{s}(\mathbf{e}, \mathbf{y})=\sum_{i=0}^{N} A_{y_{i}, y_{i+1}}+\sum_{i=1}^{N} P_{i, y_{i}}
$

ここで， $A_{i, j}$ は $i$ 番目のラベルから $j$ 番目のラベルに遷移するスコアを表す. また, $P_{i, j}$ は $i$ 番目の単語に対応する夕グ $j$ のスコアである。このスコア関数を用いてラベル系列 $\mathbf{y}$ の出力確率 を次のように softmax 関数により計算する.

$
p(\mathbf{y} \mid \mathbf{w})=\frac{\exp (\mathrm{s}(\mathbf{e}, \mathbf{y}))}{\sum_{\tilde{\mathbf{y}} \in \mathbf{Y}_{\mathbf{w}}} \exp (\mathrm{s}(\mathbf{e}, \tilde{\mathbf{y}}))}
$

ここで， $\mathbf{Y}_{\mathrm{w}}$ は入力文 $\mathbf{w}$ に対するすべての可能なラベル系列である. このように, BiLSTM-CRF モデルは, ラベリング問題を各単語に対して独立にモデル化するのではなく, 系列全体で同時 にモデル化する.

学習時には正解ラベル系列を用いて次式の損失関数を最小化するパラメータを求める.

$
L=-\sum_{(\mathbf{w}, \hat{\mathbf{y}}) \in D} \log (p(\hat{\mathbf{y}} \mid \mathbf{w}))
$

ここで， $D$ は教師データである，予測時は，次式のようにスコアを最大化する $\mathbf{y}$ 求めること で出力ラベル系列 $\mathbf{y}^{*}$ を獲得する。

$
\mathbf{y}^{*}=\underset{\tilde{\mathbf{y}} \in \mathbf{Y}_{\mathbf{w}}}{\arg \max } \mathrm{s}(\mathbf{e}, \tilde{\mathbf{y}})
$

BiLSTM-CRF モデルでは，言語モデルを活用することで性能が改善されている． BiLSTMCRF モデルに言語モデルを用いる手法としては, Contextual String Embeddings (CSE) (Akbik et al. 2018) がある．CSE は，大規模なテキストを用いて，文字レべルの BiLSTM を事前学習し たものである. CSEで学習されたべクトルは, 式 (1) と式 (2)の $\mathbf{x}_{i}$ の一部に用いられる. 提案手法の MUNCHABLES では, CSE を用いたBiLSTM-CRF モデルを拡張する。

## 2.2 マルチタスク学習

図 1 にマルチタスク学習用に拡張した BiLSTM-CRF モデルを示す.このマルチタスク学習 では, 単語埋め达み層と BiLSTM 層は全ての教師データで共有し, 共通の重みを用いる。一方 で， $\mathrm{CRF}$ 層はタスクごとに用意し， $\mathrm{CRF}$ 層の重みは共有しない。各タスクの $\mathrm{CRF}$ 層における 損失を $L_{i}(i=1,2, \cdots M)$ とすると, このマルチタスク学習の目的関数は次式のように定義さ れる。

$
L o s s=\frac{1}{M} \sum_{i=1}^{M} L_{i}
$

$M$ は教師データの種類数であり, 各 $L_{i}$ は式 (7)のように算出される.

このマルチタスク学習手法の学習では, 対象タスクとそれ以外のタスクを同等に扱うことで,全てのタスクで共通の一つのモデルを学習する。学習の収束判定は, 対象タスクの損失のみで 行わず，全てのタスクの損失を用いて行う。推論時には，学習したモデルにおいて目的のタス クに該当する CRF 層を用いて NER を行う。

## 2.3 補助学習

Wang ら (Wang et al. 2019) は, 対象タスクの教師データとそれ以外の教師デー夕（補助教師 データ）を区別する補助学習を行うことで，対象タスクに対する NER の性能改善を行った。こ の補助学習手法の概要を図 1,2 に示す. 補助学習手法では, メイン教師データから作成したメ インバッチと補助教師データから作成した補助バッチを用いて学習を行う，イテレーション毎 に, 補助バッチでモデルのパラメータを更新し, その後でメインバッチでモデルのパラメータ

図 1 シングルタスク学習, マルチタスク学習と補助学習の概要図

を更新する。このメイン教師データと補助教師データの交互の学習を，メイン教師データに対 する損失が収束するまで繰り返す。図 2 において，メインのボックスがメイン教師データを表 し, 補助のボックスが補助教師データを表す。この 2 種類の教師データを区別して切り替えな がら学習する手法が補助学習手法である。2.2 節のマルチタスク学習手法では対象タスクとそれ 以外の教師データを区別せずに同時に学習する点が異なる。

補助学習のアルゴリズムを Algorithm 1 に示す. Algorithm 1 において, 添え字は対象タスク (main) と補助タスク (aux)を表す. EPOCH, ITERATION は，それぞれ，メイン教師デー 夕に対するエポック数とイテレーション数であり，BATCHSIZE はバッチサイズを表す。各 エポックのイテレーション回数は，メイン教師データの総数をバッチサイズで割った值である $\left(I T E R A T I O N=\left|D_{\text {main }}\right| / B A T C H S I Z E\right) .4$ 行目と 5 行目の extract は教師データからバッチ サイズの数だけデータを抽出することでバッチを作成する関数であり，6行目と 7 行目のtrain はバッチデータに基づき NER モデル Model のパラメータを更新する関数である。また， 8 行目のis_converge は対象タスク $D_{\text {main }}$ に対する損失に基づき学習の終了判定を行う関数である.

図 2 従来の補助学習の概要図

## 3 提案手法 MUNCHABLES：複数の補助教師データを用いる補助学習

2.3 節で説明した Wang ら (Wang et al. 2019) の補助学習では, 補助教師データとして 1 種類 の教師データしか用いていない. 本節では, 複数種類の教師データを補助教師データとして活用する手法を提案する 1 .

3.1 節と 3.2 節では複数の補助教師データを一つの補助学習で用いる手法（MUNCHABLES結合手法と MUNCHABLES-反復手法）を提案し， 3.3 節では, 補助教師データの種類の数だけ 補助教師データ毎の補助学習を順次行い BiLSTM-CRF のパラメータを再学習して更新する手法（MUNCHABLES-スタック手法）を提案する．MUNCHABLES 手法では， 2.1 節で述べた通 り，CSEの出力をLSTM-CRF の入力として用いる.

## 3.1 MUNCHABLES-結合手法

MUNCHABLES-結合手法は，複数の補助教師データを結合した教師データを一つの補助教師 データとみなし， 2.3 節で説明した補助学習を行う手法である．MUNCHABLES-結合手法の概要を図 3, アルゴリズムを Algorithm 2 に示す. 図 3 において, メインのボックスはメイン教師 データを示し, 補助のボックスは補助教師データを示している。図 3 の通り, MUNCHABLES結合手法は, 補助 1 , 補助 $2, \cdots$, 補助 M の複数の補助教師デー夕をまとめたデー夕を一つの 補助教師データとして用いる. MUNCHABLES-結合手法は, 2.3 節の補助学習手法と同様, メ イン教師データから作成したメインバッチと補助教師データから作成した補助バッチを用意す る。そして, メイン教師データに対する損失が収束するまで, 補助バッチを用いた学習とメイン バッチを用いた学習を交互に繰り返す。従来の補助学習手法との違いは, 複数の補助教師デー 夕を結合した教師データからデータを抽出することで補助バッチを作成する点である。一つの 補助バッチには複数種類の補助教師データが混在し得る.

図 3 MUNCHABLES-結合手法の概要図
^{1}$ Wang ら (Wang et al. 2018) は複数種類のデータをマルチタスク学習で用いているが, 提案手法はメイン教師デー 夕と複数の補助教師データを用いる補助学習である.
}

## 3.2 MUNCHABLES-反復手法

MUNCHABLES-反復手法は, エポック毎に補助教師データとして使用する教師データの種類 を変える補助学習である．MUNCHABLES-反復手法の概要を図 4，アルゴリズムを Algorithm 3 に示す. MUNCHABLES-反復手法においても，メイン教師データから作成したメインバッチ を用いた学習と補助教師データから作成した補助バッチを用いた学習を，メイン教師データに 対する損失が収束するまで交互に繰り返す。MUNCHABLES-結合手法との違いは, 補助バッチ は特定の補助教師データから作成し, 補助バッチの作成元とする補助教師データはエポック単位で切り替える点である.

## 3.3MUNCHABLES-スタック手法

MUNCHABLES-スタック手法は, 補助教師データ毎の補助学習を順次行うことでBiLSTM のパラメータを学習する。この手法では, 補助教師データの種類の数だけメイン教師データを

図 4 MUNCHABLES-反復手法の概要図

図 5 MUNCHABLES-スタック手法の概要図

用いてメインモデルの再学習を行う.

MUNCHABLES-スタック手法の概要を図 5，アルゴリズムを Algorithm 4 に示す. MUNCHABLES-スタック手法では, 特定の補助教師データを用いた補助学習を行う。そして, メイン教師データに対する損失が収束したときに，新しい補助教師データに切り替え，新しい補助教師 データを用いて，メインモデルの再学習を行う．MUNCHABLES-結合手法と MUNCHABLES反復手法では，メインモデルの収束判定は一度だけだが，MUNCHABLES-スタック手法では，各補助教師データごとに，1 エポックごとの学習終了時に収束判定を行う.

## 4 実験

## 4.1 実験設定

本研究では, 8 個の化学/バイオ／科学技術分野の NER タスクで提案手法によるモデルの評

} & Test & Train & Dev & Test & \multicolumn{4}{c}{ アrain } & Pev & Test \\

表 1 データセット

価を行う．表 1 に各 NER タスクのデータセットを示す。JNLPBA では, 複数の NE の種類が定義されているが, BioBERT (Lee et al. 2019) の実験設定にならい, Gene/Protein のNEのみを使用した．本実験では， 3 節で説明した 3 つの提案手法によるモデル（MUNCHABLES-結合手法に よる MUNCH.-Conc，MUNCHABLES-反復手法による MUNCH.-Iter，MUNCHABLES-スタッ ク手法による $M U N C H$.-Stack）の性能を，2 節で説明した 3 つの従来手法により学習したモデル （シングルタスク学習による SingleTask, 標準的なマルチタスク学習による MultiTask, 従来の 補助学習による SingleAux) の性能と比較することで，提案手法の有効性を検証する． singleAux を学習する際に用いる 1 種類の補助教師データは，対象タスクの開発データに対する性能に基

づき選択した。具体的には，対象タスク以外の 7 種類の教師データをそれぞれ補助教師データ として用いたモデルの中で，開発データで最も性能（F1 值）が高かったモデルを評価データで 評価した．従来モデルのMultiTask 及び提案モデルは 8 種類全ての教師データを学習で用いる. ただし，提案モデルは，対象タスク以外の 7 種類の教師データは補助教師データとして用いる. MUNCH.-Iter 及び MUNCH.-Stack の補助教師デー夕は, 固有表現の種類が同じ補助教師デー夕 が連続しないように 7 種類の補助教師データをランダムに並び替えて用いた。補助教師データ の入力順に関する考察は 4.3 節で行う.

各 NER モデルはオープンフレームワーク FLAIR (Akbik et al. 2019) を拡張して実装した. BiLSTMへの入力である単語埋め込みは, FLAIR で提供されている CSE (Akbik et al. 2018) と FastText (Bojanowski et al. 2017) を使用した. CSEと FastTextの各モデルはともに, PubMed の ウェブサイトの医学文献コーパス MEDLINEの要旨より学習したモデルを使用した． MEDLINE の要旨は，約 45 億の単語を含む．BiLSTM 層の次元数は 256 とした。

オプティマイザーは SGD を使用し，スケジューリングにより学習率を調整した。具体的に は，エポックごとの損失が 4 回連続してこれまで損失の最低値より小さくならなかったときに，学習率を 2 分の 1 倍にした。 そして，学習率が $1 \mathrm{e}-4$ 以下になったときに学習を終了した. 評価時は，学習を終えたときのモデルを使用した。ハイパーパラメータのチューニングでは，学習率の初期値として 0.1，0.05の 2 通り，バッチサイズとして 16,32 の 2 通りを試した。これら の学習率とバッチサイズを組み合わせた 4 つのモデルを開発データで評価し，一番性能が良い ハイパーパラメータの組み合わせを選択した。モデルを評価する際は, 教師データと開発デー 夕を合わせたデータからモデルを学習し，テストデータに対する性能を比較，評価した． NER の評価指標は以下の Rrecision, Recall, F1 值を用いた。

$
\begin{aligned}
\text { Precison } & =\frac{T P}{T P+F P} \\
\text { Recall } & =\frac{T P}{T P+F N} \\
\text { F1-score } & =\frac{2 \times \text { Precision } \times \text { Recall }}{\text { Precision }+ \text { Recall }}
\end{aligned}
$

TP，FP，FNはそれぞれ True Positive，False Positive，False Negative を表す.

## 4.2 実験結果

実験結果を表 2 に示す．表 2 の結果は，初期値を変えて各モデルの実験を 3 回行った平均値 である. 表 2 において,「MA. AVG.」と「MI. AVG.」はそれぞれ F1 值のマクロ平均とマイク ロ平均を表す。また，太字は各タスクにおいて最も性能が高い值を示している。

表 2 より, SingleAux は SingleTask や MultiTask よりも F1 值のマイクロ平均とマクロ平均が

表 2 実験結果（各データセットの Precision, Recall, F1 値㧍よび F1 値のマクロ平均とマイクロ平均 (\%)，F1 値の括弧内の数字は標準偏差. )

高いことが確認できる。これは, 従来研究で報告されている通り, 対象タスクに着目した補助学習の方が全てのタスクの教師データを同等に扱うマルチタスク学習よりも性能改善に寄与す ることを示している。また, 表 2 より, MUNCH.-Stack とMUNCH.-Iter は SingleAux よりもF1 値のマクロ平均とマイクロ平均が共に高いことが確認できる。これらの結果より, 教師データが 複数ある場合, 提案手法のように補助学習において複数の補助教師データを用いることでNER 性能が改善できることが分かり，提案手法の有効性を実験的に確認できる.

また, ベースラインモデルである MultiTask と SingleAux と, 提案手法によるモデル MUNCH.Conc, MUNCH.-Iter, MUNCH.-Stackの比較を行った. 表 3 に提案手法によるモデルとベースラ インモデルの F1 値の差を示す. そして，検定として，単語に割り当てられたラベルの一致および 不一致に基づくマクネマー検定を行った (Sha and Pereira 2003). この検定は, 各モデルにおいて F1 值が最大となった実験結果に対して行った. 表 3 内で太字で表しているものは, マクネマー検定の結果, 提案手法によるモデルの結果がベースラインモデルの結果と比較して, $p<0.05$ で有意 であるものである. ベースラインモデルとの F1 値の差が大きい, BC5CDR-Disease や BC5CDRChem といったデータセットでは有意差があった. BC5CDR-Disease や BC5CDR-Chem といっ

 &  &  &  & BC2GM & JNLPBA &  & s800 \\

表 3 提案手法によるモデルとべースラインモデルの $\mathrm{F}$ 値の差. 太字は, マクネマー検定を行った結果,提案手法によるモデルがベースラインモデルより,$p<0.05$ で有意であるものを示している.

た対象タスクのアノテーション数が少ない場合，複数の補助教師データを使用することで性能 の改善を行うことができる．提案手法によるモデルとベースラインモデルとの間で $\mathrm{F} 1$ 値の差 が小さい JNLPBA では, どの提案手法のモデルでも有意差は確認できなかった. JNLPBA は,本実験において最も学習データのアノテーション数が多いデータセットであるため, 対象タス クのデータが十分である場合, 提案手法の効果は小さいと考えられる.

## 4.3 補助教師データの入力順に関する考察

MUNCH.-Iter と MUNCH.-Stack の性能は, 補助教師デー夕の使用順 (Algorithm 3 や 4 の $D_{a u x}^{(1)}$, $D_{a u x}^{(2)}, \cdots 」 ）$ に影響を受ける可能性がある。本節では補助教師デー夕の使用順が NER 性能に与 える影響を考察する。

4.2 節の実験では, MUNCH.-Iter 及び MUNCH.-Stack の補助教師デー夕は, 固有表現の種類 が同じ補助教師データが連続しないようにランダムに並び替えた。しかし，MUNCH.-Iter およ び MUNCH.-Stackでは，メインモデルの学習終了時点に近い補助教師データほど大きな影響を 持つ可能性がある. そこで, MUNCH.-Iter や MUNCH.-Stackにおいて, 対象タスクの性能改善 に寄与する度合いの小さい順に補助教師データを並べて用いた場合の性能を評価する．以降で は，それらのモデルを MUNCH.-Iter (sort)と MUNCH.-Stack (sort)と表記する。具体的には, MUNCH.-Iter (sort) と MUNCH.-Stack (sort) では, まず，各補助教師デー夕単体で従来の補助学習を行ったモデルの開発データに対する性能を評価する。そして, その性能の昇順で補助教

例として，CHEMDNER タスクにおける MUNCH.-Iter (sort)と MUNCH.-Stack (sort) の補助教師データの並び順の決め方について説明する．表 4 に，各 NER タスクの教師データを用い た場合の SingleAux の CHEMDNER 開発データにおける性能を示す。ハイパーパラメータは 全ての組み合わせで評価する。この SingleAuxの性能に基づき，ハイパーパラメータの各組み 合わせで MUNCH.-Iter (sort) と MUNCH.-Stack (sort)の CHEMDNER 開発デー夕における性能を評価する，具体的には，同じハイパーパラメータの設定で，SingleAux の性能が低い順に 補助教師データを用いて MUNCH.-Iter (sort)やMUNCH.-Stack (sort)を評価する。その結果,表 4 より, MUNCH.-Iter (sort) ではバッチサイズが 32 , 学習率が 0.1 , 補助教師デー夕の使用順は「JNLPBA $\rightarrow$ BC2GM $\rightarrow$ BC5CDR-Disease $\rightarrow$ s800 $\rightarrow$ BC5CDR-Chem $\rightarrow$ LINNAEUS $\rightarrow$ NCBI-Disease」となる。また, MUNCH.-Iter (sort)ではバッチサイズが 16 , 学習率が 0.05 , 補助教師データの使用順は「s $800 \rightarrow$ JNLPBA $\rightarrow$ BC5CDR-Disease $\rightarrow$ BC2GM $\rightarrow$ NCBI-Disease $\rightarrow$ LINNAEUS $\rightarrow$ BC5CDR-Chem」となる.

各テストデータにおける MUNCH.-Iter, MUNCH.-Iter (sort), MUNCH.-Stack, MUNCH.-Stack (sort)の性能を表 5 に示す. 表 5 より，MUNCH.-Iter (sort)の F1 値のマクロ平均と MUNCH.Stack (sort)の F1 值のマイクロ平均及びマクロ平均はそれぞれ MUNCH.-Iter と MUNCH.-Stack より低いが，MUNCH.-Iter (sort)は MUNCH.-Iter よりも高い F1 値のマイクロ平均を獲得でき たことが分かる。この結果より, MUNCH.-Iter とMUNCH.-Stackの性能は補助教師デー夕の使用順序に影響を受け，対象タスクの開発データにおける SingleAuxの性能の昇順で補助教師デー 夕を使うことで, いくつかの NER タスクでは性能改善できることが分かった. しかし, 補助教師データをソートすることにより性能を改善できないNER タスクも多い.これは，開発デー 夕とテストデータの傾向の違いが原因の一つであると考えられる.

表 4 CHEMDNER タスクにおける MUNCH.-Iter (sort) とMUNCH.-Stack (sort) の補助教師データの 使用順及びハイパーパラメータのチューニング（CHEMDNER 開発データにおける F1 値 (\%))

} & \multicolumn{2}{c|}{ MUNCH.-Iter } & \multicolumn{2}{c}{ MUNCH.-Stack } \\
\cline { 2 - 5 } & 無 (ランダム) & 有 & 無(ランダム) & 有 \\

BC5CDR Disease & 86.86 & $\mathbf{8 6 . 9 1}$ & $\mathbf{8 6 . 8 2}$ & 86.78 \\
BC5CDR Chem & $\mathbf{9 4 . 3 5}$ & 94.25 & 94.3 & $\mathbf{9 4 . 5 2}$ \\
CHEMDNER & 92.13 & $\mathbf{9 2 . 2 4}$ & 92.3 & $\mathbf{9 2 . 3 2}$ \\
BC2GM & 83.48 & $\mathbf{8 3 . 6 2}$ & 83.67 & $\mathbf{8 3 . 7 6}$ \\
JNLPBA & $\mathbf{7 7 . 8 4}$ & 77.31 & $\mathbf{7 7 . 6 6}$ & 77.14 \\
LINNAEUS & $\mathbf{8 8 . 9}$ & 88.76 & 88.76 & $\mathbf{8 8 . 8 2}$ \\
s800 & $\mathbf{7 7 . 1 4}$ & 76.72 & $\mathbf{7 6 . 5 2}$ & 76.51 \\

MI. AVG. & 88.62 & $\mathbf{8 8 . 6 6}$ & $\mathbf{8 8 . 5 6}$ & 88.54 \\

表 5 補助教師データの順序の違いによる性能差

表 6 対象タスクの教師データと補助教師データとの単語の一致率 (BC5CDR-Chem と BC5CDR-Disease は同じテキストに対してラベル付けを行ったものであるため省略した. ）

表 6 に対象タスクの教師データと補助教師データとの単語の一致率を示す。これは, 対象タス クの教師データに出現する単語が, 補助教師データ内に出現する割合を表している. JNLPBA, LINNAEUS, s800, NCBI-disease は, 対象タスクの教師データ中の単語が補助教師データ内に 出現する割合が高いデータセットである。このうち NCBI-disease を除いたデータセットでは,補助教師データをソートしない手法によるモデルが補助教師データをソートする手法によるモ デルより F1 値が高い. 一方, BC4CHEMD や BC2GM は, 対象タスクの教師データ中の単語 が, 補助教師データ内に出現する割合が低いデータセットである。これらのデータセットでは,補助教師データをソートする手法によるモデルが高性能である。これらのことから, 補助教師 データと対象タスクの教師データの一致率が低いものは，対象タスクの性能改善に寄与する度合いの小さい順に補助教師データを並べることで，性能が高くなる傾向があることが分かる.

## 5 関連研究

## 5.1 従来研究の結果との比較

本節では，提案の MUNCHABLES 手法によるモデルの性能と従来研究で報告されている性能 を比較する ${ }^{2}$. 表 7 に比較結果を示す。また, 表 8 に比較結果の概要として, 本研究の評価実験 で用いた NER タスクと従来研究で用いられている NER タスクで共通するタスクに対する F1 値のマクロ平均を示す. 表 8 の太字は提案手法によるモデルの $\mathrm{F} 1$ 値が従来手法の結果よりも 高いことを示す. 表 7 と表 8 より, 提案の MUNCHABLES 手法によるモデルは全体的に従来 の結果と同等かよりよい NER 性能を達成できていることが分かる.

HanPaNE と MUNCHABLES が LSTM であるのに対し, 他の手法は Transformer に基づく事前学習を用いている。表 2 の SingleTask（F1 値のマクロ平均 85.64）と表 8 の BioBERT（F1

 &  &  & CHEMDNER & BC2GM & JNLPBA & LINNAEUS & s800 \\

SingleAux (reimpl) & 88.77 & 86.16 & 94.37 & 92.25 & 83.11 & 77.12 & 88.6 & 76.85 \\

HanPaNE & - & - & - & $\mathbf{9 2 . 5 7}$ & - & - & - & - \\
SciBERT & 88.57 & - & - & - & - & 77.28 & - & - \\
BioMegatron & 87.0 & 88.5 & 92.5 & - & - & - & - & - \\
SciFive & 88.46 & 87.62 & $\mathbf{9 4 . 6 1}$ & 91.56 & 83.57 & 77.55 & - & 76.33 \\
PubMedBERT (PubMed) & 87.82 & 85.62 & 93.33 & - & $\mathbf{8 4 . 5 2}$ & 79.10 & - & - \\
PubMedBERT (+PMC) & 88.04 & 85.76 & 93.34 & - & 84.37 & $\mathbf{7 9 . 1 6}$ & - & - \\

MUNCH.-Iter & 88.55 & 86.82 & 94.35 & 92.13 & 83.48 & 77.84 & 89.0 & $\mathbf{7 7 . 1 4}$ \\
MUNCH.-Stack & 87.67 & 86.82 & 94.29 & 92.3 & 83.67 & 77.66 & 88.76 & 76.52 \\

表 7 従来研究の結果との比較 (F1 值 $(\%)$ )

} \\

表 8 従来研究の結果との比較の概要（F1 值のマクロ平均 (\%). 共通タスクを対象. ）
 1$ 值のマクロ平均が最も高いモデルの性能と比較 する。
}
值のマクロ平均 85.99）との比較から，今回の評価で用いたデータセットでは, Transformerに 基づく事前学習モデルを用いる方が全般的に高い性能を示すことが確認できる．しかしながら， MUNCHABLES によって, LSTM に基づくモデルであっても，今回の評価デー夕において，高 いF1值が得られる場合があることがわかる.

なお, MUNCHABLES は従来研究と組み合わせることが可能であり，また，今後提案される 事前学習モデルに適用することで，更なる性能改善が期待できる，以降，各手法との比較を述 ベる.
- BioBERT (Lee et al. 2019) はバイオ分野のテキストで事前学習した BERT に基づくモデ ルである. 本研究では, PubMed と PMC から事前学習した BioBERT v1.0 と提案モデ ルを比較した， BioBERTの F1 値のマクロ平均は 85.99 なのに対して, 提案の $M U N C H .-$ Iterの F1 值のマクロ平均は 86.16, MUNCH.-Stackの F1 值のマクロ平均は 85.96 であり, MUNCH.-Iter は BioBERT よりも高い性能を実現できた。
- HanPaNE (Watanabe et al. 2019) は, マルチタスク学習により, LSTM に基づく化合物名の言い換えモデルと同時学習する BiLSTM-CRF NER モデルである. HanPaNE は CHEMDNER タスクでしか評価されていないが, CHEMDNER タスクでは最高性能であ る 92.57 の F1 値を達成している。 MUNCH.-Stack及び MUNCH.-Iter は HanPaNE よりも 性能が低い。しかし, 提案手法と HanPaNE のマルチタスク学習の枠組みは相補的であ るため，組み合わせることでより高い性能を達成できる可能性がある.
- SciBERT (Beltagy et al. 2019) は科学技術分野のテキストで事前学習した BERT に基づ くモデルである. SciBERT は NCBI-Diseases と JNLPBAタスクで評価されており，それ らの F1 值のマクロ平均は 82.93 である。 MUNCH.-Iterはそれら 2 つのタスクで SciBERT より高い $\mathrm{F} 1$ 値のマクロ平均 (83.19) を達成している.
- BioMegatron (Shin et al. 2020) は Megatron-LM (Shoeybi et al. 2020) と呼ばれる Transformerに基づく言語モデルをバイオ分野に適応したモデルである. BioMegatron は NCBIDisease, BC5CDR Disease, BC5CDR Chem の 3つの NER タスクで評価されており，50k のバイオ分野の語彙と $345 \mathrm{~m}$ のパラメータを用いた BioMegatron の F1 値のマクロ平均 は 89.33 である。一方, MUNCH.-Iter と MUNCH.-Stackの F1值のマクロ平均はそれぞれ 89.91 と 89.59 であり, BioMegatronよりも高い値を実現した.
- SciFive (Phan et al. 2021) は大規模なバイオ医療分野のコーパスから事前学習した Textto-Text Transfer Transformer (T5) (Raffel et al. 2020)に基づくモデルである. SciFive は 本研究で用いた 8 つのタスクの内，LINNAEUS を除いた 7 つのタスクで評価されてお り, NER タスクのF1 值のマクロ平均が最も良い PMC から事前学習した SciFive (PMC) Large のマクロ平均 F1 值は 85.67 である. 一方, MUNCH.-Iter の F1 值のマクロ平均は 85.76 であり，SciFive より高い性能を実現した.
- PubMedBERT (Gu et al. 2021) は, バイオ分野のテキストだけを用いて一から事前学習 した BERT モデルである. PubMedBERT (PubMed) は PubMed だけ, PubMedBERT (+PMC) は PubMed に加えて PMC を事前学習に用いている.これらの事前学習を基 に NCBI-Disease, BC5CDR Disease, BC5CDR Chem, BC2GM, JNLPBA の固有表現抽出タスクで評価を行っている. PubMedBERT (PubMed) に基づく固有表現抽出器の F1 値のマクロ平均は 86.08 , PubMedBERT (+PMC) に関しては, 86.13 と報告されている. MUNCH.-Stack は, PubMedBERT (PubMed)に基づく固有表現抽出器と同等の性能を示 している。また, MUNCH.-Iterは, PubMedBERT (+PMC) より高い性能を示している.

## 5.2 マルチタスク学習

マルチタスク学習は，NER を含めて様々な自然言語処理タスクの性能を向上させるために利用されている (Liu et al. 2015; Luong et al. 2016; Dong et al. 2015; Hashimoto et al. 2017; Liu et al. 2018)． Rei (Rei 2017) は言語モデルを用いた系列ラベリングのマルチタスク学習手法を提案した. Aguilar ら (Aguilar et al. 2018)や Cao ら (Cao et al. 2018) は NER と単語分割のマル チタスク学習を提案した. Clarkら (Clark et al. 2018) は品詞付与や構文解析などのいくつかの 自然言語処理タスクとNERのマルチタスク学習を提案した. Crichton (Crichton et al. 2017) や Wang ら (Wang et al. 2018) は化学医療のいくつかの自然言語処理タスクとのマルチタスク 学習により NER の性能を改善した. Watanabe ら (Watanabe et al. 2019) は化合物名の言い換 えとNERのマルチタスク学習を提案した。また, マルチタスクのためのサンプリング手法も提案されている. Guoら (Guo et al. 2019) は, Beta-Bernoulli multi-armed bandit with Thompson Sampling に基づいて最も有効と判断される補助タスクを選択する. Kung ら (Kung et al. 2021) は, 対象タスクとの類似度に基づいて，補助タスクを選択する手法を提案している。これらの 手法は，異なる夕スクを用いてマルチタスク学習を行っているが，MUNCHABLES では，同じ タスクの異なる教師データを用いて補助学習を行う点が異なる.

また, Daume (Daumé III 2007), Peng ら (Peng and Dredze 2017), Yang ら (Yang et al. 2017) のように同じタスクで分野が異なるデータを用いて学習を行う分野適応がある. MUNCHABLES は, 複数の補助教師データを切り替えながら学習する点がこれらの手法とは異なる。これによ り, 補助教師データの入力順を変更することができ, 補助教師データと教師データの単語の一致率が低いものは, 図 5 のように性能改善を行うことができる.

## 6 おわりに

本研究では, 複数の補助教師データを活用する NER の補助学習手法 MUNCHABLES を提案 した。学習方法として, (i) 複数の補助教師データを結合したデータを一つの補助教師デー夕と

みなして補助学習を行う MUNCHABLES-結合モデル，(ii) エポックごとに補助教師データを変 えて補助学習を行う MUNCHABLES-反復モデル, (iii) 補助教師デー夕毎の補助学習を順次行 い補助教師データの種類の数だけメインモデルの再学習を行う MUNCHABLES-スタックモデ ルを提案した．化学／バイオ／科学技術分野のデータセットを用いた評価実験を通じて，提案手法で学習したモデルは従来のマルチタスク学習手法によるモデルや一つの補助教師データし か用いない従来の補助学習手法によるモデルよりも高い平均 $\mathrm{F} 1$ 値を実現できることを確認し， s800 のデータセットにおいて最も高い F1 值を達成した，今後の課題として，他のデータセッ トや，Transfomerに基づく事前学習を用いた評価，NER 以外の自然言語処理タスクでの提案手法の有効性の確認が挙げられる。

## 参考文献

Aguilar, G., López Monroy, A. P., González, F., and Solorio, T. (2018). "Modeling Noisiness to Recognize Named Entities using Multitask Neural Networks on Social Media." In Proceedings of the 2018 Conference of the NAACL-HLT, Volume 1 (Long Papers), pp. 1401-1412.

Akbik, A., Bergmann, T., Blythe, D., Rasul, K., Schweter, S., and Vollgraf, R. (2019). "FLAIR: An Easy-to-Use Framework for State-of-the-Art NLP." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 54-59.

Akbik, A., Blythe, D., and Vollgraf, R. (2018). "Contextual String Embeddings for Sequence Labeling." In Proceedings of the 27th International Conference on Computational Linguistics, pp. 1638-1649.

Beltagy, I., Lo, K., and Cohan, A. (2019). "SciBERT: A Pretrained Language Model for Scientific Text." In Proceedings of the 2019 EMNLP-IJCNLP, pp. 3615-3620. Association for Computational Linguistics.

Bojanowski, P., Grave, E., Joulin, A., and Mikolov, T. (2017). "Enriching Word Vectors with Subword Information." Transactions of the Association for Computational Linguistics, 5, pp. 135-146.

Cao, P., Chen, Y., Liu, K., Zhao, J., and Liu, S. (2018). "Adversarial Transfer Learning for Chinese Named Entity Recognition with Self-Attention Mechanism." In Proceedings of the 2018 EMNLP, pp. 182-192.

Clark, K., Luong, M.-T., Manning, C. D., and Le, Q. (2018). "Semi-Supervised Sequence Modeling with Cross-View Training." In Proceedings of the 2018 EMNLP, pp. 1914-1925. Asso-
ciation for Computational Linguistics.

Crichton, G., Pyysalo, S., Chiu, B., and Korhonen, A. (2017). "A Neural Network Multi-task Learning Approach to Biomedical Named Entity Recognition." BMC Bioinformatics, 18 (1). 368 .

Daumé III, H. (2007). "Frustratingly Easy Domain Adaptation." In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 256-263, Prague, Czech Republic. Association for Computational Linguistics.

Doğan, R. I., Leaman, R., and Lu, Z. (2014). "NCBI Disease Corpus: A Resource for Disease Name Recognition and Concept Normalization." Journal of Biomedical Informatics, 47, pp. $1-10$.

Dong, D., Wu, H., He, W., Yu, D., and Wang, H. (2015). "Multi-Task Learning for Multiple Language Translation." In Proceedings of the 53rd ACL and the 7th IJCNLP (Volume 1: Long Papers), pp. 1723-1732.

Gerner, M., Nenadic, G., and Bergman, C. M. (2010). "LINNAEUS: A Species Name Identification System for Biomedical Literature." BMC Bioinformatics, 11 (1), pp. 1-17.

Gu, Y., Tinn, R., Cheng, H., Lucas, M., Usuyama, N., Liu, X., Naumann, T., Gao, J., and Poon, H. (2021). "Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing." ACM Transactions of Computing for Healthcare, 3 (1).

Guo, H., Pasunuru, R., and Bansal, M. (2019). "AutoSeM: Automatic Task Selection and Mixing in Multi-Task Learning." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3520-3531. Association for Computational Linguistics.

Hashimoto, K., Xiong, C., Tsuruoka, Y., and Socher, R. (2017). "A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks." In Proceedings of the 2017 EMNLP, pp. 1923-1933.

Huang, Z., Xu, W., and Yu, K. (2015). "Bidirectional LSTM-CRF Models for Sequence Tagging." arXiv preprint arXiv:1508.01991.

Khan, M. R., Ziyadi, M., and AbdelHady, M. (2020). "Mt-bioner: Multi-task Learning for Biomedical Named Entity Recognition using Deep Bidirectional Transformers." arXiv preprint arXiv:2001.08904.

Kim, J.-D., Ohta, T., Tsuruoka, Y., Tateisi, Y., and Collier, N. (2004). "Introduction to the Bioentity Recognition Task at JNLPBA." In Proceedings of the International Joint Workshop
on Natural Language Processing in Biomedicine and Its Applications, pp. 70-75. Citeseer.

Krallinger, M., Rabal, O., Leitner, F., Vazquez, M., Salgado, D., Lu, Z., Leaman, R., Lu, Y., Ji, D., Lowe, D. M., et al. (2015). "The CHEMDNER Corpus of Chemicals and Drugs and Its Annotation Principles." Journal of Cheminformatics, 7 (1), pp. 1-17.

Kung, P.-N., Yin, S.-S., Chen, Y.-C., Yang, T.-H., and Chen, Y.-N. (2021). "Efficient MultiTask Auxiliary Learning: Selecting Auxiliary Data by Feature Similarity." In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 416-428. Association for Computational Linguistics.

Lee, J., Yoon, W., Kim, S., Kim, D., Kim, S., So, C. H., and Kang, J. (2019). "BioBERT: A Pre-trained Biomedical Language Representation Model for Biomedical Text Mining." Bioinformatics, 36 (4), pp. 1234-1240.

Li, J., Sun, Y., Johnson, R. J., Sciaky, D., Wei, C.-H., Leaman, R., Davis, A. P., Mattingly, C. J., Wiegers, T. C., and Lu, Z. (2016). "BioCreative V CDR Task Corpus: A Resource for Chemical Disease Relation Extraction." Database, 2016.

Liu, L., Shang, J., Ren, X., Xu, F., Gui, H., Peng, J., and Han, J. (2018). "Empower Sequence Labeling with Task-Aware Neural Language Model." In AAAI, pp. 5253-5260.

Liu, X., Gao, J., He, X., Deng, L., Duh, K., and Wang, Y.-Y. (2015). "Representation Learning Using Multi-Task Deep Neural Networks for Semantic Classification and Information Retrieval." In Proceedings of the 2015 NAACL-HLT, pp. 912-921.

Luong, M.-T., Le, Q. V., Sutskever, I., Vinyals, O., and Kaiser, L. (2016). "Multi-task Sequence to Sequence Learning." In Proceedings of the 2016 ICLR.

Mehmood, T., Gerevini, A. E., Lavelli, A., and Serina, I. (2020). "Combining Multi-task Learning with Transfer Learning for Biomedical Named Entity Recognition." Procedia Computer Science, 176, pp. 848-857.

Pafilis, E., Frankild, S. P., Fanini, L., Faulwetter, S., Pavloudi, C., Vasileiadou, A., Arvanitidis, C., and Jensen, L. J. (2013). "The SPECIES and ORGANISMS Resources for Fast and Accurate Identification of Taxonomic Names in Text." PLoS One, 8 (6). e65390.

Peng, N. and Dredze, M. (2017). "Multi-task Domain Adaptation for Sequence Tagging." In Proceedings of the 2nd Workshop on Representation Learning for NLP, pp. 91-100, Vancouver, Canada. Association for Computational Linguistics.

Phan, L. N., Anibal, J. T., Tran, H., Chanana, S., Bahadroglu, E., Peltekian, A., and AltanBonnet, G. (2021). "SciFive: A Text-to-Text Transformer Model for Biomedical Literature." CoRR, abs/2106.03598.

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2020). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." Journal of Machine Learning Research, 21 (140), pp. 1-67.

Rei, M. (2017). "Semi-supervised Multitask Learning for Sequence Labeling." In Proceedings of the 55th ACL (Volume 1: Long Papers), pp. 2121-2130. Association for Computational Linguistics.

Sha, F. and Pereira, F. (2003). "Shallow Parsing with Conditional Random Fields." In Proceedings of the North American Chapter of the Association for Computational Linguistics, pp. 134-141.

Shin, H.-C., Zhang, Y., Bakhturina, E., Puri, R., Patwary, M., Shoeybi, M., and Mani, R. (2020). "BioMegatron: Larger Biomedical Domain Language Model." In Proceedings of the 2020 EMNLP, pp. 4700-4706. Association for Computational Linguistics.

Shoeybi, M., Patwary, M., Puri, R., LeGresley, P., Casper, J., and Catanzaro, B. (2020). "Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism." arXiv preprint arXiv:1909.08053.

Smith, L., Tanabe, L. K., nee Ando, R. J., Kuo, C.-J., Chung, I.-F., Hsu, C.-N., Lin, Y.-S., Klinger, R., Friedrich, C. M., Ganchev, K., et al. (2008). "Overview of BioCreative II Gene Mention Recognition." Genome biology, 9 (2), pp. 1-19.

Wang, X., Lyu, J., Dong, L., and Xu, K. (2019). "Multitask Learning for Biomedical Named Entity Recognition with Cross-sharing Structure." BMC Bioinformatics, 20 (1), pp. 1-13.

Wang, X., Zhang, Y., Ren, X., Zhang, Y., Zitnik, M., Shang, J., Langlotz, C., and Han, J. (2018). "Cross-type Biomedical Named Entity Recognition with Deep Multi-task Learning." Bioinformatics. bty869.

Wang, X., Zhang, Y., Ren, X., Zhang, Y., Zitnik, M., Shang, J., Langlotz, C., and Han, J. (2019). "Cross-type Biomedical Named Entity Recognition with Deep Multi-task Learning." Bioinformatics, 35 (10), pp. 1745-1752.

Watanabe, T., Ichikawa, T., Tamura, A., Iwakura, T., Ma, C., and Kato, T. (2022). "Auxiliary Learning for Named Entity Recognition with Multiple Auxiliary Biomedical Training Data." In Proceedings of the 21st Workshop on Biomedical Language Processing, pp. 130-139. Association for Computational Linguistics.

Watanabe, T., Tamura, A., Ninomiya, T., Makino, T., and Iwakura, T. (2019). "Multi-Task Learning for Chemical Named Entity Recognition with Chemical Compound Paraphrasing." In Proceedings of the 2019 EMNLP-IJCNLP, pp. 6244-6249. Association for Computational

Linguistics.

Yang, Z., Salakhutdinov, R., and Cohen, W. W. (2017). "Transfer Learning for Sequence Tagging with Hierarchical Recurrent Networks." In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net.

## 略歴

渡邊大貴：2017 年愛媛大学工学部情報工学科卒業. 2019 年同大学院理工学研究科修士課程修了. 2022 年より同志社大学大学院理工学研究科博士課程に在学. 2019 年（株）富士通研究所入社. 現在，富士通株式会社に在籍.

市川 智也 : 2021 年同志社大学理工学部インテリジェント情報工学科卒業. 2023 年同大学院理工学研究科修士課程修了. 同年より楽天グループ株式会社入社.

田村 晃裕：2005 年東京工業大学工学部情報工学科卒業. 2007 年同大学院総合理工学研究科修士課程修了. 2013 年同大学院総合理工学研究科博士課程修

了. 日本電気株式会社, 国立研究開発法人情報通信研究機構にて研究員とし て務めた後, 2017 年より愛媛大学大学院理工学研究科助教. 2020 年より同志社大学理工学部准教授となり, 現在に至る. 博士 (工学). 情報処理学会, 言語処理学会, 人工知能学会, ACL 各会員.

岩倉 友哉：2003 年株式会社富士通研究所入社. 2011 年東京工業大学大学院総合理工学研究科物理情報システム専攻博士課程修了. 博士 (工学)。自然言語処理の研究開発に従事. 現在，富士通株式会社シニアリサーチマネージャー,奈良先端科学技術大学院大学客員教授. 情報処理学会, 言語処理学会各会員.

馬 春鵬: Chunpeng Ma is currently a researcher in Megagon Labs, Tokyo. He received his B.E., M.E., Ph. D from Harbin Institute of Technology in 2010 2014, 2020, respectively. Since 2020, he has been working as a researcher in Fujitsu Laboratory, Japan. His research interests include machine translation, syntactic parsing, dialogue generation, and multimodal artificial intelligence. He is a member of the Association for Natural Language Processing in Japan.加藤 恒夫：1994 年東京大学工学部電子工学科卒業. 1996 年同大学工学系大学院電子工学専攻博士前期課程修了。同年，国際電信電話株式会社入社．KDD 研究所, KDDI 研究所を経て, 2015 年より同志社大学理工学部. 現在同志社大学理工学部教授. 博士 (情報理工学). 言語処理学会, 情報処理学会, 電子情報通信学会, 日本音響学会, 日本音声学会, ヒューマンインターフェー 入学会, ACM, IEEE 各会員.

(2022 年 8 月 1 日 受付)

(2023 年 1 月 8 日 再受付)

(2023 年 2 月 17 日 採録)