# 化学分野の固有表現抽出のための化合物名を含む文の 言い換え学習を用いたマルチタスク学習手法

本論文では，言い換えが複数存在する化合物名称の固有表現抽出 (NER) の精度を向上するため，NER モデルと化合物名を含む文の言い換えモデルを同時に学習するマ ルチタスク学習を提案する。提案手法では, long short-term memory (LSTM) に基 づくエンコーダーおよび単語・文字 embedding パラメータを，NER モデルと言い換 えモデルで共有することで，NER モデルにおいて，化合物名の言い換えを捉えるこ とができるようにする。化合物名抽出タスク BioCreative IV CHEMDNER トラック で評価した結果，本言い換え学習が精度改善に貢献することが確認された。

キーワード：マルチタスク学習，固有表現抽出，言い換え
## Multi-Task Learning for Chemical Named Entity Recognition with Chemical Compound Paraphrasing

\author{
Taiki Watanabe ${ }^{\dagger, \dagger \dagger}$, Akihiro Tamura ${ }^{\dagger \dagger}$, Takashi Ninomiya ${ }^{\dagger \dagger \dagger}$, \\ TAKUYa MaKino ${ }^{\dagger \dagger \dagger}$ and TOMOYa IwakURa ${ }^{\dagger}$
}

\begin{abstract}
We propose a method to improve named entity recognition (NER) for chemical compounds using multi-task learning by jointly training a chemical NER model and a chemical compound name paraphrase model. Our method enables the NER model to capture chemical compound paraphrases by sharing the parameters of NER and the character embeddings based on long short-term memories (LSTM) with the paraphrase model. Experimental results on BioCreative IV CHEMDNER show that our method learning paraphrase contributes to improved accuracy.
\end{abstract}

Key Words: Multi-task Learning, Named Entity Recognition, Paraphrasing

## 1 はじめに

固有表現抽出 (NER) は, 人名, 組織名, 化学物質名, 日付や時間といった固有名詞や数値表現を抽出するタスクであり，関係抽出 (Zhou et al. 2016; Wu and He 2019; Shen and Huang

2016; Wang et al. 2016) やエンティティリンキング (Ganea and Hofmann 2017; Le and Titov 2018; Radhakrishnan et al. 2018; Raiman and Raiman 2018; van Hulst et al. 2020; Kolitsas et al. 2018) といった技術に用いられる要素技術の一つである. たとえば， 2 つの固有表現 (NE) 間の 関係を識別する関係抽出タスクでは，文中の NE を特定するため NER が利用され，エンティ ティリンキングでは，実体判別の候補抽出に利用される.

固有表現技術の適用先は, 新聞記事といった一般的な文書に留まらず，化学や医学分野などの 専門分野の特許や論文に広がりを見せている。化学分野であれば, 新材料や新薬の開発, 材料を 用いた製品開発などにおいて，化合物に関する知識が必要不可欠であり，論文や特許で日々報告 される化合物間の相互関係や物性値といった情報を構造化し知識として蓄積することが行われて いる.しかしながら，2015 年の時点で 2 分 30 秒に 1 件のペースで新たな物質が CAS (Chemical Abstracts Service) に追加されているという報告が示すように ${ }^{1}$, 刻々と増え続ける化合物に対 して，専門的な知識を必要とする人手による知識構築作業が課題となっている。そこで，知識構築に必要な化合物名を抽出するために NER が化学分野でも注目を集めている (Leaman et al. 2015; Lu et al. 2015; Lin et al. 2018).

近年では, LSTM-CRF モデルといった, long short-term memory (LSTM) に条件付確率場 (CRF) を組み合わせたモデル (Lample et al. 2016; Ma and Hovy 2016) や, Transformer (Vaswani et al. 2017)を用いたモデル (Devlin et al. 2019; Yamada et al. 2020) が高い精度を示している. また，大規模なラベルなしコーパスから事前学習したニューラル言語モデル (Akbik et al. 2018; Peters et al. 2018; Devlin et al. 2019; Yamada et al. 2020; Lee et al. 2020; Beltagy et al. 2019) を 用いた手法が CoNLL 2003 shared task データセット (Sang et al. 2003) や化学分野の NER (Lu et al. 2015) などにおいて, 高い精度を示している. しかし, 化合物には多様な表記があるこ とが，化学分野の NER を難しくしている。図 1 にあるように，Acrylic acid 4-tert-butylphenyl ester は Acrylic acid 4-(1,1-dimethylethyl)phenyl ester のように異表記で表現される。ここでは， tert-butyl を表す構造が methyl と ethyl から構成されることから，1,1-dimethylethyl とも言い換 え可能となっている。このように同じ化合物が複数の異表記で記述される状況から，学習デー 夕には含まれない表記が多数存在しており，学習デー夕中の表記に基づき学習する従来の NER モデルでは， 新規の化合物名抽出において精度低下につながると考えられる。

たとえば，登録数が 1 億を超えている PubChem (Kim et al. 2020) 上の化合物の異表記の平均数は 3.88 個 2 である。このように既に存在する大規模な化合物の言い換えに加えて, 今後増 え続ける化合物に対応するために従来の NER 用の教師データだけから異表記パタンを学習す るアプローチは困難な状況にある。

図 1 化合物の異表記の例. Acrylic acid 4-tert-butylphenyl ester とその言い換えである Acrylic acid 4-(1,1-dimethylethyl)phenyl ester について示している。ここでは, tert-butyl を表す構造が 1,1dimethylethyl に言い換えられている.

そこで，本研究では，化合物名抽出と化合物名を含む文の言い換えをマルチタスク学習により 同時に学習することで, 表現の同一性を学習し化合物名抽出を行う手法, Handling Paraphrase in NER (HanPaNE) を提案する。 HanPaNE では, 同一化合物の異なる表記を考量するために，既存のDBに登録されている化合物の言い換えパタンを用いて自動生成される言い換え用の学習 データから, attention-based neural machine translation (ANMT) (Luong et al. 2015; Bahdanau et al. 2015) を基に言い換え生成モデルを学習する際に, NER モデルと言い換えモデルの Encoder のパラメータを共有することで，言い換えパタンを NER で考慮する.

提案手法を, BioCreative IV CHEMDNER (Krallinger et al. 2015) と PubChem から得られる 言い換えパタンを用いて，評価を行った。その結果，従来の辞書を使った教師データの自動拡張 (Yi et al. 2004)を超える精度が得られ，化合物名抽出における NER と言い換え生成のマル チタスク学習の有効性を確認した。

## 2 提案手法

図 2 に提案手法 HanPaNE の全体像を示す。まず，NER と化合物名を含む文の言い換えモデ ルについて述べ，その後，言い換えモデルと NER モデルのマルチタスク学習の方法について述 ベる.

## 2.1 文字レベルの言語モデルを使用した NER

本章では， ベースラインモデルとして用いる，Bidirecional (Bi) LSTM-CRF と Contextual String Embeddings (CSE)に基づく NER モデル BiLSTM-CRF+CSE について述べる (Akbik et al. 2018). このモデルは, CoNLL2003 のデータセットにおいて高い精度を示している.

図 2 提案手法 $\operatorname{HanPaNE}$ の全体図 $L S T M^{(f)}, L S T M^{(b)}, L S T M^{(w c)}$ と $L S T M^{(s c)}$ のパラメータは言い 換えモデルと NER モデルで共有される.

このモデルでは, 入力文の単語列として, $\mathbf{w}=w_{1}, w_{2}, \cdots, w_{N}$ が与えられたとき, 各単語 $w_{i}$ はべクトル $\mathrm{x}_{i}$ に変換される。 ベクトル $\mathrm{x}_{i}$ は, 下記, 図 2 中の 1) から 3) の 3 つの embedding を結合したものである。

・ 1) ルックアップテーブルから取得される単語 embedding
- 2) 単語を構成する文字列上で計算される $\operatorname{BiLSTM}\left(L S T M^{(w c)}\right)$ の隠れ層 CWSE (Lample et al. 2016)
- 3) 文全体から構成される文字列から計算される $\operatorname{BiLSTM}\left(L S T M^{(s c)}\right)$ の隠れ層 $\mathrm{CSE}$ (Akbik et al. 2018)

CWSE は，ある単語に対して，LSTM ${ }^{(w c)}$ の順方向 LSTM と逆方向 LSTM の最後の隠れ層 の結合である. CSE は，ある単語に対して，LSTM $M^{(s c)}$ の順方向 LSTM の単語を構成する最後 の文字の隠れ層と， $L S T M^{(s c)}$ の逆方向 LSTM の単語を構成する最初の文字の隠れ層を結合し たものである。 $L S T M^{(s c)}$ は，事前学習を行った文字レベルの言語モデルである．文字単位の 文の生成確率は，下記の式を用いて表現される.

$
P\left(\mathbf{c}_{1: T}\right)=\prod_{t=1}^{T} p\left(c_{t} \mid \mathbf{c}_{1: t-1}\right)
$

ここで， $c_{t}$ は文中の $t$ 番目の文字を表し， $T$ は文中の文字数を表す.

入力単語列 $w$ に対するべクトル表現 $\mathbf{X}=\mathbf{x}_{1}, \cdots, \mathbf{x}_{N}$ を得た後に, 各単語の BiLSTM の隠れ 層 $\mathbf{h}_{i}$ と対象の $\mathrm{NE}$ タグのスコアベクトル $\mathbf{e}_{i}$ を，下記のように計算する。

$
\begin{aligned}
& \overrightarrow{\mathbf{h}_{i}}=L S T M^{(f)}\left(\mathbf{x}_{i}, \overrightarrow{\mathbf{h}_{i-1}}\right), \\
& \overleftarrow{\mathbf{h}_{i}}=\operatorname{LST} M^{(b)}\left(\mathbf{x}_{i}, \overleftarrow{\mathbf{h}_{i+1}}\right) \\
& \mathbf{h}_{i}=\left[\overrightarrow{\mathbf{h}_{i}} ; \overleftarrow{\mathbf{h}_{i}}\right] \\
& \mathbf{e}_{i}=W_{e} \mathbf{h}_{i}
\end{aligned}
$

ここで, $\overrightarrow{\mathbf{h}_{i}}$ と $\overleftarrow{\mathbf{h}_{i}}$ の次元数は $d, \mathbf{h}_{i}$ の次元数は $2 d, \quad W_{e} \in \mathcal{R}^{k \times 2 d}$ は重み行列であり, $k$ は識別対象の NEの種類である。 [ $\cdot ; \cdot]$ は二つのべクトルを結合する演算を行う． $\mathbf{h}_{i-1}$ は， $\mathbf{h}_{i}$ の一つ前 の単語に対する隠れ層, $\mathbf{h}_{i+1}$ は, $\mathbf{h}_{i}$ の一つ後ろの単語の隠れ層を表す。また, $\overrightarrow{\mathbf{h}_{0}}$ と $\overleftarrow{\mathbf{h}_{N+1}}$ は, ゼロベクトルである.

BiLSTM-CRF $+\mathrm{CSE}$ モデルでは， スコア行列 $\mathbf{P}=\left(\mathbf{e}_{1}, \cdots, \mathbf{e}_{N}\right)^{T} \in \mathcal{R}^{N \times k}$ と CRF を使用して タグの系列を予測する。ここで， $P_{i, j}$ は $i$ 番目の単語に対応する夕グ $j$ のスコアである. また,出力のタグ系列 $\mathbf{y}=y_{1}, \cdots, y_{N}$ の確率は，下記により計算される.

$
\begin{aligned}
& s(\mathbf{w}, \mathbf{y})=\sum_{i=-1}^{N} A_{y_{i}, y_{i+1}}+\sum_{i=1}^{N} P_{i, y_{i}} \\
& p(\mathbf{y} \mid \mathbf{w})=\frac{e^{s(\mathbf{w}, \mathbf{y})}}{\sum_{\tilde{\mathbf{y}} \in \mathbf{Y}_{\mathbf{w}}} e^{s(\mathbf{w}, \tilde{\mathbf{y}})}}
\end{aligned}
$

ここで， $\mathbf{Y}_{\mathbf{w}}$ はすべての可能なタグ系列の集合を表し， $\mathbf{A}$ はタグ遷移スコアの行列， $A_{y_{i}, y_{j}}$ は $i$番目の夕グから $j$ 番目の夕グへ遷移するスコア， $y_{-1}$ と $y_{N+1}$ はそれぞれ文頭と文末を表す夕 グである.

学習では, モデルは正解のタグ系列を用いて下記の式を最大化するように学習する.

$
\log (p(\mathbf{y} \mid \mathbf{w}))=s(\mathbf{w}, \mathbf{y})-\log \left(\sum_{\tilde{\mathbf{y}} \in \mathbf{Y}_{\mathbf{w}}} e^{s(\mathbf{w}, \tilde{\mathbf{y}})}\right)
$

ここで， $\mathbf{y}$ は $\mathrm{w}$ 正解のタグ系列である． NE を抽出する際，モデルは，下記の式によって得 られるスコアが最大のタグ系列を出力する.

$
y^{*}=\underset{\tilde{\mathbf{y}} \in \mathbf{Y}_{\mathbf{w}}}{\arg \max } s(\mathbf{w}, \tilde{\mathbf{y}})
$

## 2.2 言い換えモデル

提案手法では，LSTM ゙ースの NER モデルのエンコーダーに言い換え知識を取り入れるた

め, NER モデルと LSTM ベースのエンコーダーデコーダー手法の ANMT モデル (Luong et al. 2015; Bahdanau et al. 2015) で共有のエンコーダーを用いて，化合物を含む文の言い換えモデ ルを学習する，言い換えモデルは，入力文の単語列 $\mathbf{w}$ を化合物の言い換えを含む文の単語列 $\mathbf{y}^{t r g}=y_{1}^{t r g}, y_{2}^{t r g}, \cdots, y_{U}^{t r g}$ に変換する. ここで， $U$ は言い換え後の文の単語数である. LSTM エ ンコーダーは，入力文 $\mathrm{w}$ を固定長のべクトルへ変換し，その後 LSTM デコーダーは変換され た固定長のベクトルを使用して, 出力単語列 $\mathbf{y}$ を生成する．LSTM エンコーダーは, 式 (2) と 式 (3) によって定義される双方向 LSTM を使用し，NER モデルと同じくベクトル $\mathbf{x}_{i}$ を入力文 の単語列の $i$ 番目の単語の embedding として使用する. 双方向 LSTM のエンコーダーの最後の 隠れ層の状態である, 式 (2)の $\overrightarrow{\mathbf{h}}_{N}$ と, 式 (3)の $\overleftarrow{\mathbf{h}}_{1}$ は, LSTM デコーダの初期状態として, $\mathbf{s}_{0}=\left[\overrightarrow{\mathbf{h}}_{N} ; \overleftarrow{\mathbf{h}}_{1}\right]$ で表される式の形で用いられる.

デコーダは， $j$ 番目の単語の隠れ層 $\mathbf{s}_{j}$ を下記のように計算する.

$
\mathbf{s}_{j}=L S T M_{d e c}\left(\left[\mathbf{v}_{j-1} ; \hat{\mathbf{s}}_{j-1}\right], \mathbf{s}_{j-1}\right),
$

ここで, $\mathbf{v}_{j-1}$ は, $y_{j-1}^{\operatorname{trg}}$ の単語 embedding, $\hat{\mathbf{s}}_{j-1}$ は $(j-1)$ 番目のアテンションベクトルである.本モデルでは，コンテキストベクトル $\mathbf{o}_{j}$ を用いて,$j$ 番目のアテンションベクトルを以下のよ うに計算する。

$
\hat{\mathbf{s}}_{j}=\tanh \left(W_{e}\left[\mathbf{s}_{j} ; \mathbf{o}_{j}\right]\right)
$

ここで， $W_{e}$ は重み行列であり, $\tanh$ はハイパボリックタンジェント関数である. コンテキス トベクトル $\mathbf{o}_{j}$ は，エンコーダの隠れ層の重み平均によって下記のように算出される.

$
\begin{aligned}
\mathbf{o}_{j} & =\sum_{i=1}^{N} \alpha_{j}(i) \mathbf{h}_{i} \\
\alpha_{j}(i) & =\frac{\exp \left(\mathbf{h}_{i} \cdot \mathbf{s}_{j}\right)}{\sum_{k=1}^{N} \exp \left(\mathbf{h}_{k} \cdot \mathbf{s}_{j}\right)},
\end{aligned}
$

$\exp$ は, 指数関数である. デコーダは, 学習時には, 下記のように $j$ 番目の正解トークン $y_{j}^{\operatorname{trg}}$ の 確率を計算する。

$
p\left(y_{j}^{t r g} \mid \mathbf{y}_{<j}^{t r g}, \mathbf{w}\right)=\operatorname{softmax}\left(W_{s} \hat{\mathbf{s}}_{j}\right)
$

ここで， $W_{s}$ は重み行列である。文章の生成時には, 最も確率の高い単語が選択される. 目的関数は下記のように定義される.

$
J(\theta)=-\sum_{\left(\mathbf{w}, \mathbf{y}^{\operatorname{trg}}\right) \in \mathbf{D}} \log p\left(\mathbf{y}^{\operatorname{trg}} \mid \mathbf{w}\right)
$

$D$ は学習データであり, $\theta$ はモデルパラメータの集合である.

## 2.3 固有表現抽出における言い換えの考慮

提案手法である HanPaNE は， 2.1 章で述べた NER モデルと 2.2 章で述べた化合物名を含む 文の言い換えモデルを同時にマルチタスク学習を行う。化合物名を含む文の言い換えモデルは，入出力ともに文であり，化合物名を含む文の言い換えモデルの入力文と出力文は，言い換えの対象である化合物名が異なる。マルチタスク学習では, 式 (2) と式 (3) で述べた, 文字 embedding の重み行列と LSTM パラメータ， $L S T M^{(w c)}$ が 2 つのモデルで共有される。 パラメータの共有 では, NER モデルの LSTM の部分は異なる表記のある化合物を，類似するべクトル表現へと変換することが期待される．2つのモデルの目的関数は，それぞれ式 (8) と式 (15) である.

今回は, 最適化の方法を決めるために，(A) ミニバッチごとに，式 (8) による NER モデルの 最適化と式 (15) による言い換えモデルの最適化を交互に行う方法, (B) NER モデルの学習が終了した後に, 言い換えモデルの最適化を行う方法, (C) 言い換えモデルの学習が終了した後に, NER モデルの最適化を行う方法の 3 パタンを比較し, 開発データ上の精度が高かった $(\mathrm{A})$ を採用した。

## 3 実験

## 3.1 実験設定

実験では, テキスト中の化合物名と薬物名を抽出するタスクである BioCreative IV CHEMDNER のデータセットを使用した。本実験では，CHEMDNER に対し, Lin et al. (2018) らが配布して いるデータ3を利用して実験を行った，文字レベルの言語モデルは，PubMedのウェブサイト4 の MEDLINE アブストラクト (PubMedAbs)を使用して事前学習を行い, 単語 embedding 層は word2vec (Mikolov et al. 2013)を用いて PubMedAbs から学習したものを使用した.

また，PubChem から作成した化合物の言い換えの集合 PubChemDic を作成し，言い換え生成に用いた。言い換えの生成には，PubchemDic 中で最長一致した文字列に対する変換を行っ た. 最長一致でマッチングする際は大文字と小文字は区別しなかった.

表 1 に実験で使用したモデルのパラメータを示す．単語 embedding 層, 文字 embedding 層の 次元数は, Lin et al. (2018) らの手法にならい決定した. 文字言語モデルの LSTM の次元数は, Akbik et al. (2018) らの手法にならい決定した. NER モデルの LSTM は, 開発データを用いて, 100,150,200 次元で精度評価を行い決定した。最適化には SGDを使用し，学習率の初期値は 0.1 とした. 前回のエポックより $\operatorname{loss}$ が 3 回増加した場合, 学習率を半分とし, 学習の終了条件 としては, 150 エポックを最大として，学習率が 0.0001 より小さくなる場合学習を終了とする.
^{4}$ https://www.nlm.nih.gov/databases/download/pubmed_medline.html
}

表 1 モデルのパラメータ. LSTM 内で扱われる各べクトルの次元数.

ミニバッチサイズは 32 とした。プログラムは，Akbik et al. (2018) らの実装を基に言い換え生成の機能を追加実装した。

提案手法の有効性を示すため，下記のモデルと比較した。“+P”は，PubChemDic から取得 される言い換えを考慮していることを示し，“-P”は，言い換えを考慮していないことを示す。

・ ベースラインモデル： 2.1 章で述べた (Akbik et al. 2018) の BILSTM-CRF+CSE を用 いる.
- VE-P : PubChemDic を用いて, (Yi et al. 2004) と同様に, 学習データ内の化合物を ランダムに置き換えた virtual examples (VEs) で学習するモデルである。入力が，... $<$ CHEM $>$ Phenylalanine $</$ CHEM $>$ is ... の場合，たとえば，化合物の個所を他の化合物 である ethylene に置き換えた... < CHEM>ethylene</CHEM> is ... が追加の NER 用学習データとして自動作成される。
- $\mathrm{VE}+\mathrm{P}$ : PubChemDic を用いて，学習データ内の化合物を対応する言い換えの化合物 に置き換えた VEs で学習するモデルである. Phenylalanine とその言い換えである L- $\beta$ phenylalanine から，入力が，... < CHEM $>$ Phenylalanine</CHEM $>$ is ... の場合, ... $<$ CHEM $>$ L- $\beta$-phenylalanine $</$ CHEM $>$ is ... が追加の NER 用学習データとして自動作成される.
- HanPaNE-P : PubChemDic を用いてランダムに生成された文により, NER と文生成をマ ルチタスク学習するモデルである。 入力が, ... Phenylalanine is ... の場合, Phenylalanine を置き換える化合物を PubChemDic からランダムに選択することで, たとえば, ... ethylene is ...を生成対象として作成する.
- HanPaNE +P : PubChemDic を用いて, 文中の化合物を対応する言い換えの化合物に置き 換えた文のぺアにより，NERと言い換えをマルチタスク学習を行う提案モデルである。入力が, ... Phenylalanine is ... の場合, Phenylalanine に対する言い換えとして PubChemDic から，L- $\beta$-phenylalanine を選択し， ... L- $\beta$-phenylalanine is .. を生成対象として作成する. ベースラインモデルは, CHEMDNER の学習データ 55,458 文を使用して学習を行う．VE-P と
$\mathrm{VE}+\mathrm{P}$ は，言い換えのありなしの比較である。VE-P は, CHEMDNERの学習データから自動的 に生成された追加の NER 用学習データ 55,458 文を含む 110,916 文を用いて学習を行う。 VE $+\mathrm{P}$ (Small) は, 化合物の言い換えによって, CHEMDNER の学習データから自動的に生成された 3,575 文と CHEMDNER の学習データから構成される NER 用の 59,033 文を用いて学習する ${ }^{5}$. HanPaNE $-\mathrm{P}$ と HanPaNE $+\mathrm{P}$ は，言い換えのありなしの比較である。また, VE とHanPaNE の 違いは，言い換えを考慮する手法の比較である，HanPaNE-P と HanPaNE +P (Large) は，言い 換えの学習データとして, PubMedAbs に対して PubChemDic を用いて化合物の変換が行われた 文章からランダムに選択した 100,000 文を用いた。また，NER の学習データには CHEMDNER を使用する．本実験では，計算時間の制約上，言い換えの学習データ数は 100,000 文とした．ま た，一つの事例に対して複数の言い換えを生成することが可能であるが，本実験では，計算時間の制約上，一つの事例に対して一つの言い換えのみ生成した.

例として, +Pでは, “... Phenylalanine is ...” は, “... L- $\beta$-phenylalanine is ...” ゃ “.. (S)-2Benzylglycine is ..."に変換される. ここで，L- $\beta$-phenylalanine や (S)-2-Benzylglycine の Phenylalanineの言い換えである. -Pでは, “... Phenylalanine is ...”は, “... ethylene is ....”のように 変換される。ここで, ethyleneは PubChemDic からランダムにサンプリングされたものである.表 2 に各モデルの言い換えの学習について例を示す.

また, 二種類の言い換え学習データサイズで評価を行った. VE $+\mathrm{P}$ (Small)と VE $+\mathrm{P}$ (Large), HanPaNE $+\mathrm{P}$ (Small) と HanPaNE +P (Large)の比較は, 学習データのサイズの違いの比較で

 &  \\

表 2 各モデルの学習データ生成の例. ここでは, Phenylalanineが出現する文に対して, 生成された学習 データの例について示している. L- $\beta$-phenylalanineは, PubChemDic から取得された Phenylalanine の言い換えであり, ethyleneは, PubChemDic からランダムにサンプリングされたもので，言い換 えではない. $<\mathrm{CHEM}>$ と $</ \mathrm{CHEM}>$ に囲まれた箇所が， NER の学習データ内の化合物名となる.
^{5} \mathrm{VE}+\mathrm{P}$ は，PubChemDic に含まれる NE を言い換えに置き換えたのみのため，VE-P より少量の学習デー夕量と なる.
}

ある。一つ目は, HanPaNE $+\mathrm{P}$ を, CHEMDNER の学習データ内の 3,575 文の化合物に対して, PubChemDic を用いて言い換えをマルチタスク学習する HanPaNE $+\mathrm{P}$ (Small) の実験を行っ た。二つ目は，言い換えデー夕量を増やすことによる効果を調べるために, , CHEMDNER の 学習データと 10 万文の PubMedAbs 内の化合物を抽出対象とした学習データを用いた $\mathrm{VE}+\mathrm{P}$ (Large) の実験を行った.

## 3.2 実験結果

実験結果を表 3 に示す。実験結果より，HanPaNE+P (Large) は最も高い F-score を示してお り，また，言い換えを考慮した HanPaNE $+\mathrm{P}$ や $\mathrm{VE}+\mathrm{P}$ はベースラインモデルより高い F-score を示した．実験結果から，言い換えを考慮することで，精度向上に貢献していることがわかる.

二種類の言い換え学習データサイズでの評価について下記に示す。一つ目の, CHEMDNER の 学習データに対して拡張を行い, マルチタスク学習を行う HanPaNE +P (Small)の場合, F-score は, 92.49 となり, VE+P (Small)の 92.47 より高い F-score を示した. 二つ目の, CHEMDNER

 & 55,458 文 & $93.11 \%$ & $91.40 \%$ & $92.25 \%$ \\

表 3 実験結果. $+\mathrm{P}$ が付いている結果は言い換えを考慮しており, ベースラインおよび-P が付いている 結果は言い換えを考慮していない。

+ PubMedAbs 内の化合物を抽出対象として 10 万文サンプリングを行い学習した VE $+\mathrm{P}$ (Large) では, F-score が 92.48 となり, HanPaNE +P (Large)が 92.57 であるため, HanPaNE $+\mathrm{P}$ が高い F-score を示した，本実験から，自動生成した化合物の言い換えを含む文ぺアを HanPaNE $+\mathrm{P}$ で学習することで精度改善に貢献する結果が示された.

また， 2 種類の検定を行った。検定では，HanPaNE +P (Large) と， ベースラインモデル， VE-P, VE+P (Small), HanPaNE-Pの比較を行った. 一つ目は, HanPaNE +P (Large) とべー スラインモデル, $\mathrm{VE}-\mathrm{P}, \mathrm{VE}+\mathrm{P}$ (Small), HanPaNE-P を比較し, 単語に割り当てられたラべ ルの一致および不一致に基づくマクネマー検定を行った (Sha and Pereira 2003). HanPaNE +P (Large)は, ベースラインモデルと比較して， $p<0.01$ で有意であった. HanPaNE $+\mathrm{P}$ (Large) と, VE-P, VE+P (Small), HanPaNE-P を比較した結果, 有意差はなかった. 二つ目は, Sasano and Kurohashi (2008)が用いたbi-nominal test を行った. この検定では, HanPaNE +P (Large) によってのみ正しく認識された $\mathrm{NE}$ の数と, その他の手法によって正しく認識された $\mathrm{NE}$ の数 を数え上げる。 その後, 出力が二項分布であるという仮定に基づき, bi-nominal test を適用す る. 提案手法は, その他の手法と比較して, すべての結果において, 有意であった $(p<0.05)$. これらの結果より, HanPaNE $+\mathrm{P}$ (Large) により，より大規模な言い換え学習用データを用い て，言い換えを考慮することが有効であることがわかる.

また，学習データと PubChemDicによって，開発データにおけるカバーされていないNEの 正解率も評価を行った. 表 4 より, 提案手法は学習データや PubChemDic でカバーされている $\mathrm{NE}$ とカバーされていない NEの両方で高い正解率を示していることがわかる.

ここで, PubChemDic と学習データにおける開発データの化合物名に対するカバー率につい て, 下記に記す。学習データには， 8,508 個の化合物名が含まれており, 開発デー夕の化合物 の $70.94 \%$ が学習データに含まれている. PubChemDic には， $337,289,536$ の化合物名が含まれ ており，開発データの化合物の $29.11 \%$ PubChemDic に含まれている。二つを含めた場合, 開発データの化合物名をカバーしている割合は, $75.42 \%$ である. HanPaNE $+\mathrm{P}$ は $\mathrm{VE}+\mathrm{P}$ と比較 し, カバーされていない化合物の抽出性能も向上している. これは, 化合物を言い換える学習 によって，さまざまな化合物が近いべクトルとして表現できたと考えられ，NER 用の教師デー 夕から学習した化合物以外のものも高い性能で抽出できたと考えられる.

$\mathrm{VE}+\mathrm{P}$ (Small) と, HanPaNE $+\mathrm{P}$ (Large)の抽出結果の具体例を比較する. 表 5 に, 抽出結果 について示す. 入力「TFF2 N - glycopeptide」から「N」のみを抽出する例では, HanPaNE $+\mathrm{P}$ では「 $\mathrm{N}\rfloor$ のみを正しく抽出できたが， $\mathrm{VE}+\mathrm{P}$ は，「 $\mathrm{N}\rfloor$ を抽出できなかった．また「pluronic ( $\mathrm{Plu})\rfloor$ から「pluronic」と「Plu」のみ抽出する例では, VE $+\mathrm{P}$ の出力は, 「pluronic」と「Plu」 に加えて「(」を抽出した.このことから，言い換えを学習することで，化合物の部分構造を取得でき, 単語列の一部のみが抽出対象である場合も正しく識別ができたと考えられる。一方で,「OVX DMII rats」は,「DMII」は抽出対象ではないが, HanPaNE $+\mathrm{P}$ は誤って抽出してしまっ

表 4 学習データと PubChemDic によってカバーされている NE (Acc.C) とカバーされていない NE (Acc.NC) の開発データ上での正解率

 &  &  &  \\

表 $5 \mathrm{VE}+\mathrm{P}$ と HanPaNE $+\mathrm{P}$ の出力結果の例.この例では, TFF2 N-glycopeptide, pluronic ( Plu ), OVX DMII rats の抽出結果を示している.

た. このように, $H a n P a N E+P$ (Large) では, 化合物でない単語に対しても化合物として多く 抽出する傾向にあった. また, 表 3 の実験結果においても, HanPaNE $+\mathrm{P}$ (Large) は, Recall の 改善が F-score の改善に貢献していることは, この傾向と一致する. この問題を改善すること は今後の課題としたい.

## 4 先行研究

## 4.1 化学分野における固有表現抽出

表 6 に, 先行研究との比較を示す. Leaman et al. (2015) は, 化学の NER の精度を向上す るために, 品詞や単語が大文字であるかといった素性を利用し, その素性に基づく分類からな る手法である．Lu et al. (2015)は， skip-gram と k-means を用いて分類を行う手法である．Lin et al. (2018)は，文間での夕グ付けの一貫性を保持するために，ドキュメントレベルの情報を扱 うニューラルネットワークベースの手法である. Lee et al. (2020)は, BERT を用いた手法であ り，生物医学の文章を用いて事前学習を行ったモデルである。言い換えを学習することで，提案手法は, これらの手法より高い精度で抽出できることがわかる. Kocaman and Talby (2020)

表 6 先行研究の BioCreative IV's CHEMDNER タスクとの比較

は，提案手法と同じくLSTM ベースのモデルである。ただし，本研究とは違い PubMed から 学習された word embeddings を用いて学習している。また，言い換えモデルは組み达まれてい ない. 表 6 より, Kocaman and Talby (2020)の手法は提案手法より高い精度を達成しているこ とが分かる. 提案手法の枠組みは Kocaman and Talby (2020)にも適用することが可能であり, Kocaman and Talby (2020) に化合物を含む文の言い換えモデルを組み込んで学習することで， さらなる精度改善が期待できる。

Liu et al. (2021)は, UMLS (Bodenreider 2004) と呼ばれる様々な形式の生物医学の同義語を 包括的に収集したデー夕を用いて, Transformer ベースの言語モデルを学習した手法を提案して いる.この手法では, UMLS から学習ぺアをサンプリングし, 同じ概念の同義語をクラスター 化する自己アライメントにより，学習を行っている，提案手法では, Liu et al. (2021)の手法と は異なり，周辺の文脈を考慮して言い換えを生成することで，周辺の単語列から出現しやすい 化合物やその部分的な異表記のベクトルが得られる.

## 4.2 マルチタスク学習

マルチタスク学習は，NERを含む NLP のタスクで精度向上において用いられる枠組みの一 つである (Liu et al. 2015; Luong et al. 2016; Dong et al. 2015; Hashimoto et al. 2017). Liu et al. (2018) と Rei (2017) は, 言語モデルを用いた系列ラベリングのマルチタスク学習の研究である. Aguilar et al. (2018) and Cao et al. (2018)は, word segmentation と NER のマルチタスク学習 を提案した手法である. Peng and Dredze (2017) らのマルチタスク学習の手法では, ドメイン 適用の精度改善を行っている. Clark et al. (2018) らの手法では, POS tagging や parsing など のさまざまな NLPのタスクを用いて, NER とマルチタスク学習を行っている. Crichton et al. (2017) や Wang et al. (2019b) の手法では, 生物医学のさまざまな NLP夕スクを用いて, NER とマルチタスク学習を行い，精度改善を行っている。

Khan et al. (2020)は, BERT を用いたマルチタスク学習の手法であり, 下層ではパラメータ の学習を各タスクで共有したものを用いて, 上層は, 各タスクごとでパラメータの学習を行っ ている. Wang et al. (2019a)は, LSTM を用いてメインタスクと補助タスクのマルチタスク学
習を行った手法であり，双方向 LSTM を各タスクで共有したものと，夕スクごとに学習したも のを使用して NER の精度改善を行っている。

先行研究と本研究の大きな違いとして, 言い換えを学習していることがあげられる. 先行研究では, NER の様々なデータセットや, POS tagging や parsing などの NLP タスクを使用して マルチタスク学習を行い精度改善を行っているのに対し, 提案手法では, 既に存在する化合物 の言い換え辞書から，自動的に言い換え文のペアを作成することで学習を行う。

## 5 おわりに

本論文では，言い換えのぺアを効率的に活用する言い換えモデルと NER モデルをマルチ夕 スク学習する手法を提案した，BioCreative IV CHEMDNERトラックで評価した結果，提案手法が先行研究の手法より高い精度が得られることが示された。今後の課題として, BioCreative IV CHEMDNER トラック以外の NER タスクの評価および，今回使用した LSTM ベースの言語モデルに加えて，Transformer ベースの言語モデルでの評価が挙げられる。また，言い換えモ デルの学習データを増やすことで，精度の改善が得られるか検証する。

## 謝 辞

本論文は，理研 AIP-富士通連携センターに所属時に国際会議 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing で発表した論文 (Watanabe et al. 2019)の内容に対して, 説明や評価を追加したものである.

## 参考文献

Aguilar, G., Lopez Monroy, A. P., Gonzalez, F., and Solorio, T. (2018). "Modeling Noisiness to Recognize Named Entities using Multitask Neural Networks on Social Media." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1401-1412.

Akbik, A., Blythe, D., and Vollgraf, R. (2018). "Contextual String Embeddings for Sequence Labeling." In Proceedings of the 27th International Conference on Computational Linguistics, pp. 1638-1649.

Bahdanau, D., Cho, K., and Bengio, Y. (2015). "Neural Machine Translation by Jointly Learning to Align and Translate." In Proceedings of the 3rd International Conference on Learning

Representations.

Beltagy, I., Lo, K., and Cohan, A. (2019). "SciBERT: A Pretrained Language Model for Scientific Text." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3615-3620.

Bodenreider, O. (2004). "The Unified Medical Language System (UMLS): Integrating Biomedical Terminology." Nucleic Acids Research, 32 (Database issue), pp. D267-D270.

Cao, P., Chen, Y., Liu, K., Zhao, J., and Liu, S. (2018). "Adversarial Transfer Learning for Chinese Named Entity Recognition with Self-Attention Mechanism." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 182-192.

Clark, K., Luong, M.-T., Manning, C. D., and Le, Q. (2018). "Semi-Supervised Sequence Modeling with Cross-View Training." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1914-1925.

Crichton, G., Pyysalo, S., Chiu, B., and Korhonen, A. (2017). "A Neural Network Multi-task Learning Approach to Biomedical Named Entity Recognition." BMC Bioinformatics, 18 (1), pp. 368:1-368:14.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186.

Dong, D., Wu, H., He, W., Yu, D., and Wang, H. (2015). "Multi-Task Learning for Multiple Language Translation." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1723-1732.

Ganea, O.-E. and Hofmann, T. (2017). "Deep Joint Entity Disambiguation with Local Neural Attention." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2619-2629.

Hashimoto, K., Xiong, C., Tsuruoka, Y., and Socher, R. (2017). "A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1923-1933.

Khan, M. R., Ziyadi, M., and Abdelhady, M. (2020). "MT-BioNER: Multi-task Learning for Biomedical Named Entity Recognition using Deep Bidirectional Transformers." CoRR, abs/2001.08904.

Kim, S., Chen, J., Cheng, T., Gindulyte, A., He, J., He, S., Li, Q., Shoemaker, B. A., Thiessen,

P. A., Yu, B., Zaslavsky, L., Zhang, J., and Bolton, E. E. (2020). "PubChem in 2021: New Data Content and Improved Web Interfaces." Nucleic Acids Research, 49 (D1), pp. D1388-D1395.

Kocaman, V. and Talby, D. (2020). "Biomedical Named Entity Recognition at Scale." In Proceedings of the Pattern Recognition. ICPR International Workshops and Challenges-Virtual Event, pp. 635-646.

Kolitsas, N., Ganea, O.-E., and Hofmann, T. (2018). "End-to-End Neural Entity Linking." In Proceedings of the 22nd Conference on Computational Natural Language Learning, pp. 519-529.

Krallinger, M., Leitner, F., Rabal, O., Vazquez, M., Oyarzabal, J., and Valencia, A. (2015). "CHEMDNER: The Drugs and Chemical Names Extraction Challenge." Journal of Cheminformatics, 7 (1). S1.

Lample, G., Ballesteros, M., Subramanian, S., Kawakami, K., and Dyer, C. (2016). "Neural Architectures for Named Entity Recognition." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270.

Le, P. and Titov, I. (2018). "Improving Entity Linking by Modeling Latent Relations between Mentions." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1595-1604.

Leaman, R., Wei, C.-H., and Lu, Z. (2015). "tmChem: A High Performance Approach for Chemical Named Entity Recognition and Normalization." Journal of Cheminformatics, $\mathbf{7}$ (1). S3.

Lee, J., Yoon, W., Kim, S., Kim, D., Kim, S., So, C. H., and Kang, J. (2020). "BioBERT: A Pre-trained Biomedical Language Representation Model for Biomedical Text Mining." Bioinformatics, 36, pp. 1234-1240.

Lin, H., Wang, J., Luo, L., Yang, P., Yang, Z., Zhang, Y., and Wang, L. (2018). "An Attentionbased BiLSTM-CRF Approach to Document-level Chemical Named Entity Recognition." Bioinformatics, pp. 1381-1388.

Liu, F., Shareghi, E., Meng, Z., Basaldella, M., and Collier, N. (2021). "Self-alignment Pretraining for Biomedical Entity Representations." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4228-4238.

Liu, L., Shang, J., Ren, X., Xu, F., Gui, H., Peng, J., and Han, J. (2018). "Empower Sequence Labeling with Task-Aware Neural Language Model." In Proceedings of the 32nd AAAI

Conference on Artificial Intelligence, the 30th innovative Applications of Artificial Intelligence, and the 8th AAAI Symposium on Educational Advances in Artificial Intelligence, pp. 5253-5260.

Liu, X., Gao, J., He, X., Deng, L., Duh, K., and Wang, Y.-Y. (2015). "Representation Learning Using Multi-Task Deep Neural Networks for Semantic Classification and Information Retrieval." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 912-921.

Lu, Y., Ji, D., Yao, X., Wei, X., and Liang, X. (2015). "CHEMDNER System with Mixed Conditional Random Fields and Multi-scale Word Clustering." Journal of Cheminformatics, 7 (1). S4.

Luong, M.-T., Le, Q. V., Sutskever, I., Vinyals, O., and Kaiser, L. (2016). "Multi-task Sequence to Sequence Learning." In Proceedings of the 4th International Conference on Learning Representations.

Luong, T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421.

Ma, X. and Hovy, E. (2016). "End-to-end Sequence Labeling via Bi-directional LSTM-CNNsCRF." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1064-1074.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013). "Efficient Estimation of Word Representations in Vector Space." In Proceedings of the 1st International Conference on Learning Representations.

Peng, N. and Dredze, M. (2017). "Multi-task Domain Adaptation for Sequence Tagging." In Proceedings of the 2nd Workshop on Representation Learning for NLP, pp. 91-100.

Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237.

Radhakrishnan, P., Talukdar, P., and Varma, V. (2018). "ELDEN: Improved Entity Linking Using Densified Knowledge Graphs." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1844-1853.

Raiman, J. and Raiman, O. (2018). "DeepType: Multilingual Entity Linking by Neural Type System Evolution." In Proceedings of the 32nd AAAI Conference on Artificial Intelligence,
the 30th innovative Applications of Artificial Intelligence, and the 8th AAAI Symposium on Educational Advances in Artificial Intelligence, pp. 5406-5413.

Rei, M. (2017). "Semi-supervised Multitask Learning for Sequence Labeling." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2121-2130.

Sang, T. K., F., E., and De Meulder, F. (2003). "Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition." In Proceedings of the 7th Conference on Natural Language Learning at HLT-NAACL 2003, pp. 142-147.

Sasano, R. and Kurohashi, S. (2008). "Japanese Named Entity Recognition Using Structural Natural Language Processing." In Proceedings of the 3rd International Joint Conference on Natural Language Processing: Volume-II, pp. 607-612.

Sha, F. and Pereira, F. (2003). "Shallow Parsing with Conditional Random Fields." In Proceedings of the North American Chapter of the Association for Computational Linguistics, pp. 134-141.

Shen, Y. and Huang, X. (2016). "Attention-Based Convolutional Neural Network for Semantic Relation Extraction." In Proceedings of the 26th International Conference on Computational Linguistics: Technical Papers, pp. 2526-2536.

van Hulst, J. M., Hasibi, F., Dercksen, K., Balog, K., and de Vries, A. P. (2020). "REL: An Entity Linker Standing on the Shoulders of Giants." In Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 2197-2200.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention Is All You Need." In Proceedings of the Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, pp. 5998-6008.

Wang, L., Cao, Z., de Melo, G., and Liu, Z. (2016). "Relation Classification via Multi-Level Attention CNNs." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1298-1307.

Wang, X., Lyu, J., Dong, L., and Xu, K. (2019a). "Multitask Learning for Biomedical Named Entity Recognition with Cross-sharing Structure." BMC Bioinformatics, 20 (1), pp. 427:1-427:13.

Wang, X., Zhang, Y., Ren, X., Zhang, Y., Zitnik, M., Shang, J., Langlotz, C., and Han, J. (2019b). "Cross-type Biomedical Named Entity Recognition with Deep Multi-task Learning." Bioinformatics, 35 (10), pp. 1745-1752.

Watanabe, T., Tamura, A., Ninomiya, T., Makino, T., and Iwakura, T. (2019). "Multi-Task

Learning for Chemical Named Entity Recognition with Chemical Compound Paraphrasing." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 6244-6249.

Wu, S. and He, Y. (2019). "Enriching Pre-trained Language Model with Entity Information for Relation Classification." In Proceedings of the 28th ACM International Conference on Information and Knowledge Management, pp. 2361-2364.

Yamada, I., Asai, A., Shindo, H., Takeda, H., and Matsumoto, Y. (2020). "LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 6442-6454.

Yi, E., Lee, G. G., Song, Y., and Park, S.-J. (2004). "SVM-Based Biological Named Entity Recognition Using Minimum Edit-Distance Feature Boosted by Virtual Examples." In Proceedings of the 1st International Joint Conference on Natural Language Processing, pp. 807-814.

Zhou, P., Shi, W., Tian, J., Qi, Z., Li, B., Hao, H., and Xu, B. (2016). "Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 207-212.

## 略厤

渡邊大貴：2017 年愛媛大学工学部情報工学科卒業. 2019 年同大学院理工学研究科修士課程修了. 2022 年より同志社大学大学院理工学研究科博士課程に在学. 2019 年 (株) 富士通研究所入社. 現在, 富士通株式会社に在籍.

田村 晃裕：2005 年東京工業大学工学部情報工学科卒業. 2007 年同大学院総合理工学研究科修士課程修了. 2013 年同大学院総合理工学研究科博士課程修了. 日本電気株式会社, 国立研究開発法人情報通信研究機構にて研究員とし て務めた後, 2017 年より愛媛大学大学院理工学研究科助教, 2020 年より同志社大学理工学部准教授となり, 現在に至る. 博士 (工学). 言語処理学会, 情報処理学会, 人工知能学会, ACL 各会員.

二宮 崇: 2001 年東京大学大学院理学系研究科情報科学専攻博士課程修了. 同年より科学技術振興事業団研究員. 2006 年より東京大学情報基盤センター講師. 2010 年より愛媛大学大学院理工学研究科准教授, 2017 年同教授. 東京大学博士 (理学). 言語処理学会, アジア太平洋機械翻訳協会, 情報処理学会,人工知能学会, 電子情報通信学会, 日本データベース学会, ACL 各会員.

牧野 拓哉：2012 年東京工業大学大学院総合理工学研究科物理情報システム専攻修士課程修了. 同年, (株) 富士通研究所入社. 2020 年同大学院工学院情報
通信系情報通信コース博士課程修了。博士（工学）。現在, 株式会社リクルー 卜 Megagon Labsにて自然言語処理の研究開発に従事. 言語処理学会会員.

岩倉 友哉：2003 年 (株) 富士通研究所入社. 2011 年東京工業大学大学院総合理工学研究科物理情報システム専攻博士課程修了. 博士 (工学). 現在, 富士通株式会社主任研究員. 自然言語処理の研究開発に従事. 情報処理学会, 言語処理学会各会員.


# 言語間での転移学習のための事前学習モデルと多言語の学習者 データを用いた文法誤り訂正

山下 郁海 $^{\dagger} \cdot$ 金子 $\quad$ 正弘 ${ }^{\dagger \dagger}$. 三田 雅人 ${ }^{+\dagger, \dagger}$ ・勝又 智 $\dagger \cdot$ Aizhan Imankulova ${ }^{\dagger}$ ・小町守 $\dagger$

本稿では，文法誤り訂正における言語間での転移学習について研究を行う。近年，機械翻訳などのタスクで多言語の訓練データを用いた研究がなされ，言語を越えた知識の活用が行われている一方で, 文法誤り訂正では多言語の知識を用いる研究はほ とんど行われておらず，文法知識が言語を越えて転移可能であるかは未知の問題で ある。一方で, 類似した言語間には共通の文法項目が存在していることが広く知ら れており，そのような言語間で共通した文法項目については言語間で転移が可能な のではないかと考えられる。そこで我々は事前学習モデルと多言語の学習者デー夕 を用いて文法誤り訂正の学習を行い，言語間での転移学習が文法誤り訂正において 可能であるかを調査する。実験の結果，文法誤り訂正において言語間で文法知識の 転移が可能であることを示した。 また, 分析の結果, 事前学習モデルの構造が文法知識の転移に対して大きな影響を与えていること，より類似した言語間で共通の文法項目の転移が行われていること, 転移元の言語と転移先の言語のデータのサイズ に関わらず文法知識の転移が起きていることを確認した。

キーワード：文法誤り訂正, 転移学習, 多言語, 事前学習モデル
## Grammatical Error Correction with Pre-trained Model and Multilingual Learner Corpus for Cross-lingual Transfer Learning

Ikumi Yamashita ${ }^{\dagger}$, Masahiro Kaneko $^{\dagger \dagger}$, Masato Mita $^{\dagger \dagger \dagger, \dagger}$, Satoru Katsumata ${ }^{\dagger}$,

## Aizhan Imankulova ${ ^{\dagger}$ and Mamoru Komachi $^{\dagger}$}

In this study, we explore cross-lingual transfer learning in grammatical error correction (GEC) tasks. Few studies have investigated the use of knowledge from other languages for GEC; therefore, it is unclear if useful grammatical knowledge can be transferred. There are often common grammatical items between similar languages, and it may be possible to perform cross-lingual transfer learning by exploiting their grammatical similarities. In this study, we use pre-trained model and multilingual learner corpus for

cross-lingual transfer learning for GEC. Our results demonstrate that transfer learning from other languages can improve the accuracy of GEC. We also demonstrate that proximity to source languages has a significant impact on the accuracy of correcting certain types of errors.

Key Words: Grammatical Error Correction, Transfer Learning, Multilingual, Pre-trained Model

## 1 はじめに

文法誤り訂正は言語学習者の書いた文法誤りを含む文を文法的に正しい文に訂正するタスクで ある。これまで文法誤り訂正では主に大規模なデータが存在する英語に焦点を当てて研究が行 われており，数多くの有効な手法が提案されている (Zhao et al. 2019; Grundkiewicz et al. 2019; Kiyono et al. 2019; Kaneko et al. 2020; Omelianchuk et al. 2020; Stahlberg and Kumar 2021).近年，英語以外のロシア語やチェコ語などの言語においても文法誤り訂正の研究が行われ始め ている (Rozovskaya and Roth 2019; Náplava and Straka 2019; Katsumata and Komachi 2020; Rothe et al. 2021). しかし, これらの言語の文法誤り訂正モデルを訓練するための人手で訂正 を施した学習者データは小規模でしか存在しないという問題がある.

小規模なデータしか存在しない問題に対処するために，様々なタスクで多言語のデータを活用する研究が進められている (Johnson et al. 2017; Ruder et al. 2019; Dabre et al. 2020). その ような研究の一つに，対象とする言語のモデルの性能向上のために他言語のデータで学習した モデルの知識を用いる転移学習が存在する (Zoph et al. 2016). 先行研究においては, このよう な言語間での転移学習の性能について，言語間での類似度が大きく影響していることが示され ている (Cotterell and Heigold 2017; Johnson et al. 2017; Martínez-García et al. 2021). 例えば,同じ語族に属する言語は類似した文法規則や語彙を共有していることが多く, これらの言語間 での類似性が対象となる言語のモデルを学習する際に有効だと考えられている。

一方で，これまで文法誤り訂正において多言語の学習者データを用いて言語間での転移学習 を試みた研究は少なく, 格変化や単語の活用などのような文法誤りに関する知識が言語間で転移可能であるかは明らかになっていない，しかし，ある程度類似した言語，例えば同じ語族に 属する言語であるロシア語やチェコ語のような言語間では文法的な正誤が転移可能なのではな いかと考えられる，表 1 に示すのは「妹」を示す単語の日本語, ロシア語, チェコ語での格変化の一部である。日本語では主格と属格の変化を単語の変化ではなく, 別に助詞を用いること で行っているのに対し，ロシア語とチェコ語は単語の活用で行っていることがわかる。この例 はロシア語とチェコ語の格変化の類似性を示しており，このような言語間の類似した文法規則 については言語間で転移させることが可能なのではないかと考えられる。そこで我々は，文法誤り訂正において事前学習モデルと多言語の学習者データを用いて，言語間での転移学習を行

表 1 チェコ語とロシア語で類似した格変化.

い，言語間での文法知識の転移が可能であるかを調査する.

本研究の主な貢献は以下の 4 つである.

・ 文法誤り訂正において事前学習モデルと多言語の学習者デー夕を用い, 言語間での転移学習が可能であることを示した.
- 転移学習に用いる事前学習モデルの構造が, 多言語の学習者デー夕を用いた文法誤り訂正の学習に大きく影響していることを示した.
- 文法知識の転移には対象とする言語に近い言語の方が有効であり, 言語間で類似した文法項目に関する知識の転移が行われていることを示した.
- 言語間で類似した文法項目に関する知識の転移は転移元・転移先の言語のデータのサイ ズに関わらず起こることを示した.

本稿の構成を示す. 2 章では, 既存の文法誤り訂正の研究や多言語の言語知識を考慮した先行研究について紹介する． 3 章では, 本研究で行う言語間での転移学習を用いた文法誤り訂正 の手法についての詳細を述べる． 4 章では， 3 章で述べた手法に対して複数の言語間で実験を行 い評価する。 5 章では実験結果について事前学習モデルの構造や誤りタイプごとの訂正性能に ついての分析, 疑似誤りデータによるデータ拡張との比較を行う. 最後に 6 章で, 本研究のま とめを述べる.

## 2 先行研究

## 2.1 文法誤り訂正に関する関連研究

## 2.1.1 大規模データを用いた文法誤り訂正

文法誤り訂正は文法的に誤った文から正しい文への機械翻訳タスクとして捉えられ，一般に ニューラルネットワークを用いた機械翻訳モデルを文法誤り訂正モデルとして扱うことが多く,性能向上のために多くのデータを必要としている (Zhao et al. 2019; Grundkiewicz et al. 2019). そのためにいくつかの研究では疑似データを人工的に作ることでデータを増やし性能向上を図っ

ている (Náplava and Straka 2019; Awasthi et al. 2019; Omelianchuk et al. 2020). 文法的に正 しい文から文法的に誤った文を生成することは比較的に容易なため, 大規模な単言語コーパス から疑似データを生成する手法についても広範な研究が行われている (Xie et al. 2018; Kiyono et al. 2019; Takahashi et al. 2020; Stahlberg and Kumar 2021).また，文法誤りの訂正情報が 付与されていない大規模なテキストデータ（以下，ラベルなしデータと言及する）で学習した 事前学習モデルを用いることが文法誤り訂正に対して有効であることも示されている (Kaneko et al. 2020; Katsumata and Komachi 2020). これらの研究は大規模な訓練デー夕を用意して文法誤り訂正の性能向上を図る研究である.

## 2.1.2多言語の学習者データを用いた文法誤り訂正

多言語の学習者データを用いた文法誤り訂正の研究として, Rothe et al. (2021) は multilingual T5 (mT5) (Xue et al. 2021)を用いて初期化した文法誤り訂正モデルを多言語の学習者データで 学習することで多言語文法誤り訂正モデルを構築する研究を行っている. この研究は, 本研究 で明らかにしている文法誤り訂正における言語間での転移学習について, より大きなモデルと より大量のデータを用いることで性能向上に活かしたものである. 本研究は Rothe et al. (2021) とは異なり, 小さなモデルにおいて複数の設定の比較を行い, Rothe et al. (2021)における性能向上の要因の一つとなっている，文法誤り訂正において言語間で文法知識の転移が可能である ことについて明らかにしている。また，多言語の学習者データを有効に用いるための設定がど のようなものになるのか, についての分析に焦点を当てている.

## 2.1.3 学習者の第一言語を考慮した文法誤り訂正

他言語について考慮した文法誤り訂正の研究として，学習者の第一言語に焦点を当てた文法誤 り訂正の研究が行われている. Rozovskaya and Roth (2011) は単純べイズ分類器を用いた前置詞誤り訂正に対して異なる5つの第一言語からの情報を適用する手法を提案し, その後 Rozovskaya et al. (2017)は同様の手法を11の第一言語, 3つの誤りタイプに拡張した. Mizumoto et al. (2011) は統計的機械翻訳モデルをベースにした文法誤り訂正モデルにおいて，評価データと訓練デー 夕で同じ第一言語を持つ学習者のデータを用いることで性能が向上することを示した。その後, Chollampatt et al. (2016)はこの手法を拡張し, 統計的機械翻訳モデルをべースにした文法誤り 訂正モデルの素性として, 各データの学習者の第一言語に対応したニューラル言語モデルを用 いる手法を提案した. これらの研究は学習者の第一言語を考慮した文法誤り訂正の研究ではあ るが, 我々の研究とは異なり言語間での文法知識の転移については焦点を当てていない.

## 2.2 多言語の知識を用いた関連研究

多言語の言語知識を用いる研究は文法誤り訂正とは異なる分野で盛んに行われている。機械翻訳では, Zoph et al. (2016) が大規模なデータが存在する言語対で学習したモデルを対象とす

る言語対のデータでファインチューニングを行うことで性能向上を図る手法を提案し, Johnson et al. (2017) は複数の言語のデータで一つのモデルを学習することで, 訓練データが存在しない 言語についても翻訳が可能であることを示しており, どちらの研究でも本研究と同じく, より類似した言語対を用いることが翻訳性能の向上につながることを明らかにしている．また，Kim et al. (2019) は言語間でモデルのパラメータの転移を行う際に, 転移元の言語と転移先の言語間で言語表現の対応をとることによって翻訳性能の向上につなげており, Lin et al. (2021)は言語固有のサブネットワークを学習することで言語同士の不要な干渉を抑える手法を提案してい る.より良い多言語翻訳のための言語表現の獲得の研究もなされており, Ji et al. (2020)は言語間をよりうまく関連づけるための事前学習手法を, Pan et al. (2021) は対照学習を用いた学習手法を, Yang et al. (2021) は学習文中の単語を別言語の対応する単語に置き換えるコードス イッチングを用いた手法を，それぞれ提案している。対話生成では, Schuster et al. (2018)が言語間にまたがった表現の獲得のために機械翻訳モデルのエンコーダ部分を用いた研究を行って いる。また，質問応答の分野では， Lee and Lee (2019) が敵対的生成ネットワークを用いた言語間での転移学習の手法を, Zhou et al. (2021) が多言語の事前学習モデルと転移元言語の訓練 データを用いたデータ拡張の 2 つを組み合わせた手法を提案している。

言語間で構文知識を転移する研究も複数行われている. Kim et al. (2017) は品詞夕グ付けに おいて, 言語に依存しない表現と言語特有の表現を学習する 2 つモデルを組み合わせることに よって言語間で構文知識を転移可能にする手法を提案している. Ahmad et al. (2019) は敵対的 な学習を利用することで言語間にまたがる表現を生成するエンコーダを学習し，これを用いる ことで係り受け解析においての言語間での転移を可能にしている。また, Xu and Koehn (2021) は係り受け解析において, 転移元言語の文脈を考慮した言語表現を評価対象の言語の表現空間 に適切に対応づけることで性能向上を図っている. Wu and Dredze (2019)は品詞夕グ付けや係 り受け解析などの 5 つのタスクで multilingual BERT を用いた多言語知識の活用が有効である ことを示している. さらに, Ahmad et al. (2021) は multilingual BERT に対して構文知識を明示的に学習に組み込むことで，構文解析など 4 つのタスクで性能が向上することを示した。こ れらの研究は我々と同じように異なる言語間での転移学習を行っているが, 我々が文法誤りに 関する知識の転移に焦点を当てているのに対し, 構文知識の転移に焦点を当てている点で我々 の研究とは異なる。一方で, 品詞夕グ付けに関する Kim et al. (2017)の研究では, 上述の機械翻訳での転移学習の研究や, 本研究で示す文法誤り訂正における言語間での転移学習と同様に, より類似した言語から転移学習を行うことで性能が向上することを報告しており，それぞれの 研究において言語間で転移させている知識は異なるものの同様の傾向を示している。また，本研究ではこれらの関連研究では議論されることの少なかった, 転移元言語と転移先言語のそれ ぞれのデー夕量を変化させた際の結果に関する分析についても議論を行っている.

図 1 言語間での転移学習のための事前学習モデルと多言語学習者データを用いた文法誤り訂正モデルの 学習の概要.

## 3 言語間での転移学習を用いた文法誤り訂正

本研究では， 3.1 節で示す事前学習モデルと，3.2 節で示す多言語学習者デー夕を用いた文法誤り訂正の学習手順を用いて文法誤り訂正モデルを学習し, 言語間での転移学習を行う。図 1 に学習全体の概要を示す. 我々は，まず転移元言語と転移先言語のラベルなしデータを用いて 事前学習モデルの学習を行う1. 次に，その事前学習モデルによって初期化した文法誤り訂正モ デルを, 転移元言語と転移先言語の学習者データを用いて学習を行う (fine-tuning 1). 最後に,転移先の言語の学習者データのみで文法誤り訂正モデルの学習を行う (fine-tuning 2).

## 3.1 多言語事前学習モデル

我々は，言語間での転移学習を行う際に，学習者データからのみでは得られない言語間にま たがった言語表現を獲得するために事前学習モデルを用いる。具体的には, Masked Language Modeling (MLM)/Translation Language Modeling (TLM) (Conneau and Lample 2019), そして, multilingual BART (mBART) (Liu et al. 2020)の 3 種類の事前学習モデルを使用する. 各モデ ルの事前学習の概要を図 2 に示す.

MLM/TLM は Bidirectional Encoder Representations from Transformers (BERT) (Devlin et al. 2019)の構造を元に提案された, Transformer (Vaswani et al. 2017)のエンコーダ部分を用いた モデルである．MLM は転移元言語と転移先言語の単言語デー夕を用いて事前学習を行う．学習の際には幾つかのトークンがマスクされた文が入力され，マスクされたトークンを予測する ことで言語表現の学習が行われる（図 2 上段左側）ＴTLM は MLM を対訳データでも学習でき るように拡張したモデルである。対訳データが入力として与えられる際に，文のペアを連結す

図 2 MLM, TLM, mBART の事前学習の概要.

ることで一つの文とし，幾つかのトークンをマスクする。それ以外の学習や推論は MLM と同様に行われる（図 2 上段右側）。また，TLM はそれ単体で用いることはなくMLM と組み合わ せて用いる，すなわち，学習の際には二つの学習を交互に行う。この論文ではこれ以降, MLM とTLM を組み合わせたモデルを簡潔な区別のために TLM と表記する．TLM は対訳データを 学習に用いているため MLM と比較して言語間にまたがるより良い言語表現が得られることが 期待される.

mBART は BART (Lewis et al. 2020) をもと多言語に拡張した Transformer のエンコーダ とデコーダを用いるエンコーダ・デコーダの構造の事前学習モデルである。学習方法は BART のものを踏襲しており, 入力としてトークンやスパンのマスク, 単語の順番の変更などの複数 のノイズの入った文が与えられ，そこから元の正しい文を復元し出力することで学習が行われ る (図 2 下段). mBART と上述の MLM/TLM の大きな違いはデコーダが事前学習時に存在す るか否か, という点であり, 本研究ではこの違いが文法誤り訂正における言語間での転移学習 に対してどのような影響を与えるのかについて比較・分析を行う.

## 3.2 多言語の学習者データを用いた学習の手順

本研究では, 多言語の学習者デー夕を用いて文法誤り訂正モデルの学習を行う，第 2 章で説明した通り言語間での転移学習には様々な手法が存在しているが, 我々はその中からエンコー ダ・デコーダモデルを学習し転移させる手法を用いる.

ニューラル機械翻訳において，対象とする言語とは異なる言語対のデータで学習したモデルを

図 3 実験に用いる言語間の関係の概略図。語族などの情報は ASJP database (Wichmann et al. 2020) を基にしている。

対象とする言語対のデータでファインチューニングすることが有効であることが示されている (Imankulova et al. 2019; Dabre et al. 2019). また, 文法誤り訂正モデルの学習において，2 段階 でのファインチューニングを行うことが性能向上に効果的であることが知られており (Lichtarge et al. 2020; Omelianchuk et al. 2020; Stahlberg and Kumar 2021), 特に Omelianchuk et al. (2020) は, 最終的な学習の対象となるデータセットとその他のデータセットが存在する際に, 1 段階目 に最終的に対象とするデータとその他の学習者データを組み合わせて学習を行い, その後 2 段階目に対象とするデータのみでもう一度ファインチューニングを行う, という形の二段階でのファ インチユーニングを用いて性能向上を達成している。 そこで，我々はこれらの先行研究に従っ て, 文法誤り訂正モデルを転移元言語と転移先言語の学習者デー夕を結合したデー夕で学習（図 1 中の fine-tuning 1）を行い, その後, 転移先言語の学習者データのみでファインチューニング （図1 中の fine-tuning 2) を行うことで最終的な文法誤り訂正モデルを得る ${ }^{2}$. なお, fine-tuning 1 と fine-tuning 2 で用いる転移先言語の学習者デー夕はどちらも同じものである.

## 4 実験

## 4.1 実験に用いた言語

本研究では, 転移先の言語 (文法誤り訂正の対象とする言語) としてロシア語, チェコ語, 英語の 3 つの言語について実験を行う。また，各転移先言語に対してそれぞれ，類似度の高い言語, 類似度が中程度の言語, 類似度の低い言語の 3 つの転移元の言語を用意する. 用いる言語間の類似度についてまとめたものを図 3 に示す。

ロシア語の文法誤り訂正に対しては, チェコ語, 英語, 日本語を転移元言語として用いる. こ こでロシア語とチェコ語は同じスラヴ語族に属する言語であり, 形容詞や名詞の格変化など数

多くの類似した文法項目が存在する。英語とロシア語については語族や使用している文字は異 なるが，主語によって動詞の形が変わるなど幾つかの共通点が存在する. 日本語は本研究で扱 う言語の中で最もロシア語から遠い言語であり，語族だけでなく使用する文字や文法構造など も異なる言語である.

チェコ語の文法誤り訂正に対しては，ロシア語，英語，日本語を転移元言語として用いる，ロ シア語とチェコ語の類似性については既に述べた通りであり，チェコ語と英語・日本語の関係 はロシア語と同様である。

英語の文法誤り訂正に対しては，ドイツ語，ロシア語，日本語を転移元言語として用いる，英語とドイツ語は同じゲルマン語族に属しており，非常によく類似した言語である．また，英語 とロシア語の関係は上述の通りであり，日本語はこれまでの設定と同様に今回用いる言語の中 で最も転移先の言語である英語と類似していない言語である。なお，英語の文法誤り訂正は 5.5 節の転移先言語の学習者データのサイズに関する分析で扱う.

## 4.2 実験設定

我々は文法誤り訂正モデルとして, Conneau and Lample (2019) や Liu et al. (2020)が機械翻訳に用いたものと同様の Transformer モデルを用いる．MLM/TLM を事前学習モデルとして用 いる際は，エンコーダとデコーダをどちらも MLM/TLM で初期化する。モデルの構造はエン コーダとデコーダがそれぞれ 6 層, 埋め込み層と隠れ層の次元数は 1024 とし3, バッチサイズは 32 , ドロップアウトは確率 0.1 で学習を行う。最適なモデルの選択は開発データに対するパープ レキシテイが最も低いものを選択して行う。また, 学習後に各モデルの出力を 12 -best で行い, Chollampatt and Ng (2018) と同様に 5-gram 言語モデルを用いたリランキングを行って最終的 な出力を得る。モデルの評価は文法誤り訂正の評価として広く用いられている MaxMatch $\left(\mathrm{M}^{2}\right)$ score (Dahlmeier and Ng 2012)を用いて, 評価デー夕に対する Precision, Recall, $F_{0.5}$ で行う.

## 4.3 データの詳細

実験に用いたデー夕の概要を表 2 に示す. 本研究では, 事前学習モデルを学習するための単言語データとして, ロシア語, チェコ語, 英語, ドイツ語はWMT-2019 で配布された News Crawl ${ }^{4}$ を，日本語は Wikipedia5データから必要な文数を抽出して用いた，また，TLM の学習に用 いる対訳データとして TED talks (Cettolo et al. 2012)6を用いた. TED talksの公開されている データは英語と各言語間での翻訳の形であり，本研究では各言語について英語側の文が同一の

表 2 実験に用いたデータの概要（単位は文）.

ものを抽出してぺアにすることで英語以外の各言語間での翻訳デー夕を再構築している。それ ぞれの開発データは同じコーパスから学習に用いるデータを除いた状態で表に示す文数をラン ダムに抽出した。

文法誤り訂正モデルの学習に用いる学習者データとして, ロシア語は RULEC-GEC (Rozovskaya and Roth 2019)7 及び Lang-8コーパス8のロシア語デー夕, 英語は NUS Corpus of Learner English (NUCLE) (Dahlmeier et al. 2013) ${ }^{9}$ 及び Lang-8 コーパスの英語デー夕, チェコ語は AKCES-GEC (Náplava and Straka 2019)10, ドイツ語は Falko-MERLIN-GEC (Boyd 2018)11 及び Lang-8コー パスのドイツ語デー夕，をそれぞれ用いた ${ }^{12}$. 開発と評価のデータには, ロシア語, チェコ語, ドイツ語についてはコーパスに付随しているデータをそのまま用いた．英語では開発データと して CoNLL 2013 (Ng et al. 2013)のデータを, 評価データとして CoNLL 2014 のデータを用い,日本語の開発データには NAIST 誤用コーパス (Oyama et al. 2013)を用いた ${ }^{13}$ 。また，実際に 実験を行うときは各言語間で実験設定を揃えるために，転移元言語のデータのサイズを転移元
 2 \mathrm{scorer}$ を用いた評価の際に 30 分以上かかってしまう文を除いた.
}

表 3 ロシア語文法誤り訂正の結果. 事前学習モデルは初期化に用いた事前学習モデルを，学習者デー夕 は文法誤り訂正モデル学習の際に用いた学習者データの言語と学習の手順を示す.Uはデー夕の結合を表し，円はファインチューニングを表す（例えば $(\mathrm{Cs} \cup \mathrm{Ru}) \rightarrow \mathrm{Ru}$ は，チェコ語とロシア語の 結合データに対して学習を行った後に，ロシア語の学習者データのみで学習を行ったことを表す).

言語の中で最も学習者データの少ない言語に合わせて用いる ${ }^{14}$.

日本語の分かち書きには辞書としてUniDic (v.2.1.1)を用いた MeCab15を使用し, その他の言語の トークナイズには NLTK ${ }^{16}$ 使用した。また, 転移先言語の学習者デー夕には pyspellchecker ${ }^{17}$ に よるスペルチェックを前処理として行った. その後, fastBPE ${ }^{18}$ を用いたバイト対符号化 (Sennrich et al. 2016) を語彙数が 20,000 になるように行い最終的なデータを得た.

## 4.4 実験結果

表 3 にロシア語の文法誤り訂正の結果を示す。(6) から (11)の MLM や TLM を用いて転移学習を行ったモデルが, (1) から (4)の事前学習モデルを用いないモデルや, (5)のロシア語の みで事前学習を行った MLM で初期化しロシア語の学習者データのみで文法誤り訂正の学習を

表 4 チェコ語文法誤り訂正の結果. 表 3 と同様に, 事前学習モデルは初期化に用いた事前学習モデルを,学習者データは文法誤り訂正モデル学習の際に用いた学習者データの言語と学習の手順を示す.U はデータの結合を表し， $\rightarrow$ はファインチューニングを表す.

行ったモデルと比較して高い $\mathrm{F}_{0.5}$ スコアを達成しており, 転移学習が効果的に機能しているこ とがわかる。また, 最も $\mathrm{F}_{0.5}$ スコアの高いモデルは (9) の TLM を用いてチェコ語からの転移学習を行ったモデルである。一方で，(13) から (15)の mBART を用いて転移学習を行ったモデ ルは, (1)から (4) の事前学習モデルを用いないモデルや (12) のロシア語のみで事前学習を行っ たBART で初期化しロシア語の学習者データのみで文法誤り訂正の学習を行ったモデルとほと んど変わらない，もしくは低い $\mathrm{F}_{0.5}$ スコアであり，転移学習がうまくいっていないことが読み 取れる。

次に，表 4 にチェコ語の文法誤り訂正の結果を示す。チェコ語の文法誤り訂正ではロシア語 の文法誤り訂正と似たような傾向が見られる。 すなわち，(6) から (11)の MLM やTLM を用い て転移学習を行ったモデルの $\mathrm{F}_{0.5}$ スコアが, (1) から (4) の事前学習モデルを用いないモデル や(5)のチェコ語のみで事前学習を行った MLM で初期化しチェコ語の学習者データのみで文法誤り訂正の学習を行ったモデルのスコアよりも高く, 転移学習が有効であることが示されて おり，最も $\mathrm{F}_{0.5}$ スコアが高いのは (9) の TLM を用いてロシア語からの転移学習を行ったモデ ルである。また, (13)から (15)の mBART を用いたモデルの結果もロシア語の文法誤り訂正と 同様の傾向で，(1) から (4) の事前学習モデルを用いないモデルや (12)のチェコ語のみで事前学
習を行った BART で初期化しチェコ語の学習者データのみで文法誤り訂正の学習を行ったモデ ルとほとんど同程度の $\mathrm{F}_{0.5}$ スコアであり, 転移学習がうまくできていないことがわかる.

## 5 分析

## 5.1 文法誤り訂正における言語間での転移学習

この節では, 表 3 , 表 4 の 2 つの結果から共通して読み取れる言語間での転移学習を用いた 文法誤り訂正における転移の傾向について分析を行う。それぞれの表の結果を見ると，2つの 言語の結果で共通して各言語対において MLM や TLM を用いて転移学習を行ったモデル（表 3, 表 4 それぞれの (6)から (11)のモデル）の $\mathrm{F}_{0.5}$ スコアは，MLM や TLM を用いずに転移学習を試みた各言語対のモデル（表 3 , 表 4 それぞれの (2) から (4)のモデル）の $\mathrm{F}_{0.5}$ スコアより も高いことが示されている。これは，言語対によらずどの言語でも，多言語の学習者デー夕を ただ用いるだけではうまく知識を活かすことができず，MLM やTLM を用いることが転移学習 に有効であることを示している。また，MLM やTLMを用いて最も類似した転移元言語からの 転移学習を行ったモデル（表 3 , 表 4 それぞれの（6）と（9）のモデル）は，転移学習を用いずに MLM を用いて評価対象の言語のデー夕のみで学習したモデル（表 3, 表 4 それぞれの (5)のモ デル）よりも $\mathrm{F}_{0.5}$ スコアが高いこともわかる. これは, 誤り訂正の対象とする言語のデータの みで文法誤り訂正を学習するよりも適切な設定で多言語の知識を入れることが有効であるとい うことを示している。加えて，どちらの言語の文法誤り訂正でも，TLM を用いて最も類似した 言語から転移を行ったモデル（表 3 ，表 4 それぞれの（9）のモデル）の $\mathrm{F}_{0.5}$ スコアが最も高く，他言語の文法知識を転移させる場合は言語の近さが重要になることを示唆している.

一方で, MLM/TLM を用いたモデル（表 3, 表 4 それぞれの (6)から (11)のモデル）と同様に 事前学習モデルを用いているのにも関わらず，mBART を用いて転移学習を行ったモデル（表 3, 表 4 それぞれの (13) から (15)のモデル) は, どの転移元の言語を用いたモデルでも評価対象の言語の単言語データのみで学習したモデル（表 3, 表 4 それぞれの (5)と (12)のモデル）よ りも $\mathrm{F}_{0.5}$ スコアが低いもしくは同程度であり，転移がうまくいっていないことがわかる．これ は事前学習モデルの構造の違い（エンコーダのみのモデルとエンコーダ・デコーダモデルの違 い)によるものではないかと考えられる.

## 5.2 事前学習モデルの構造の影響

この節では前節で示された, 用いる事前学習モデルによる結果の差について, 単言語の文法誤り訂正の学習を行う追加の実験と, 文法誤り訂正の学習前後でのモデルの類似度の観点から 分析を行う.また, この節での分析を行う前の予備実験として, mBART のファインチューニ ングが適切に行えていることを学習時の loss やパープレキシティから検証し, ファインチュー

表 5 ロシア語とチェコ語で事前学習された mBART で初期化した文法誤り訂正モデルに対して, 転移元言語の学習者データを用いる場合と用いない場合の実験結果.

ニングが適切に行われている上で結果の差が生まれていることを確認した。予備実験の結果と 議論については付録 A に示す.

## 5.2.1 単言語と多言語の学習者データ

4.5 節で述べたように，MLM/TLM を用いて転移学習を行ったモデル（表 3 ，表 4 それぞれの （9）から (11)のモデル）は事前学習モデルを用いずに転移学習を行ったモデル（表 3 , 表 4 それ ぞれの (2)から (4)のモデル) と比較して $\mathrm{F}_{0.5}$ スコアが高いのに対し, $\mathrm{mBART}$ を用いて転移学習を行ったモデル（表 3 ，表 4 それぞれの (13) から (15)のモデル）は事前学習モデルを用いず に転移学習を行ったモデルとほとんど $\mathrm{F}_{0.5}$ スコアが変わらない結果となっている。一方で，転移学習を用いず対象の言語の学習者データのみで学習を行ったモデルについては, 表 3 , 表 4 そ れぞれの (5) に示す MLM を用いたモデルと表 3，表 4 それぞれの (12) に示す BART を用いた モデルで大きな変化は見られない. これはエンコーダ・デコーダの構造の事前学習モデルで初期化された文法誤り訂正モデルが文法誤り訂正に有効ではないというわけではなく, “多言語の 学習者データを扱う"という設定においてのみうまく学習ができない可能性を示唆している.

我々はこの仮説を確かめるために，ロシア語とチェコ語で事前学習を行った mBART モデル に対して，転移元言語の学習者デー夕を用いる fine-tuning 1 を行わずに転移先言語（評価対象 の言語）の学習者データのみを用いる fine-tuning 2 を直接行い，結果を比較した。それぞれの 結果を表 5 に示す。転移元ありと書かれたモデルがこれまでの結果で示した, 転移元言語の学習者データと転移先言語の学習者データを用いる fine-tuning 1 と転移先言語の学習者データの みを用いる fine-tuning 2 を通して転移学習を行ったモデルであり，転移元なしと書かれたモデ ルが fine-tuning 1 を行わず評価対象の言語の学習者データでの fine-tuning 2 のみで文法誤り訂正を学習したモデルである。結果を見ると，転移元言語の学習者データなしで学習したモデル の方が Precision, Recall, $\mathrm{F}_{0.5}$ の全てで高くなっており, mBART を用いたモデルは単言語の 学習者データでの学習はうまくいくものの, 多言語の学習者データを使った転移学習がうまく できていないことがわかる。これは mBART を用いて単言語の文法誤り訂正モデルの学習を行 い性能向上を確認した Katsumata and Komachi (2020)の結果と矛盾しないものである.

図 4 ロシア語文法誤り訂正モデルとチェコ語文法誤り訂正モデルの文法誤り訂正学習前後での CKA に よる各層の類似度. 各行はそれぞれ，Embは埋め込み層，E_L0 から E_L1 はエンコーダの各層, D_L0 から D_L5 はデコーダの各層，Avg は全体の平均，E_Avg はエンコーダの平均，D_Avg はデ コーダの平均を示している.

## 5.2.2文法誤り訂正の学習前後でのモデルの変化

我々はこれらのエンコーダのみの構造の事前学習モデルとエンコーダ・デコーダの構造の事前学習モデルを用いた場合の多言語学習者データでの文法誤り訂正モデルの学習の差について, モデルのデコーダ部分に原因があるのではないかと考え，より詳しく分析するために，ニューラ ルネットワークの類似度を測る手法である Centered Kernel Alignment (CKA) (Kornblith et al. 2019)を用いて, 文法誤り訂正学習前の事前学習モデルと文法誤り訂正学習後の最終的なモデル の各層の類似度を計算した. CKA はフロベニウスノルムを用いて以下の式に示すような定義で 与えられる。

$
\operatorname{CKA}(X, Y)=\frac{\left.\|Y^{T} X\right.\|_{\mathrm{F}}^{2}}{\left(\left.\|X^{T} X\right.\|_{\mathrm{F}}\left.\|Y^{T} Y\right.\|_{\mathrm{F}}\right)}
$

ここで， $X$ と $Y$ はそれぞれ文法誤り訂正の評価データ全文に対する各層の各サブワードトーク ンの表現の平均をとった隠れ層の次元サイズの行列である。結果を図 4 に示す. 結果を見ると TLM を用いたモデルは文法誤り訂正の学習前後でのデコーダの類似度が低いのに対し, mBART を用いたモデルではエンコーダとデコーダが共に文法誤り訂正の学習前後で類似度が高いこと がわかる。 すなわち，エンコーダのみの構造の事前学習モデルで初期化した文法誤り訂正モデ ルは, 事前学習したエンコーダを保持しながらデコーダをほぼ一から学習している一方で, エン コーダ・デコーダの構造の事前学習モデルで初期化した文法誤り訂正モデルは, 事前学習時の エンコーダとデコーダを双方ともほぼ引き継ぐような形で文法誤り訂正の学習を行っていると 考えられる。これらの結果から，エンコーダ・デコーダの構造の事前学習モデルをもとに多言語の学習者データを用いて文法誤り訂正の学習を行う際に, 大きく次の 2 つの可能性が示唆さ

れる。一つ目は，デコーダも含めて事前学習することが有効ではない可能性である，実際，機械翻訳分野において Rothe et al. (2020) が, デコーダのみの構造の事前学習モデルで初期化し た機械翻訳モデルの性能が，エンコーダのみの構造の事前学習モデルで初期化した機械翻訳モ デルの性能よりも低下することを報告している。二つ目は，エンコーダ・デコーダの双方を事前学習した場合にはエンコーダのみの構造の事前学習モデルを用いる場合とは異なる工夫が必要な可能性である。例えば， Rothe et al. (2021) は mT5 で多言語の学習者データを用いて文法誤り訂正の学習を行う際に, 事前学習時のタスクは文法誤り訂正とは異なるため, 文法誤り訂正に近い事前学習を再度行ってから実際の学習データで文法誤り訂正の学習を行うことが必要 だと述べている。また Pajak and Pajak (2022)は 25 言語や 50 言語のよりサイズの大きい単言語データで事前学習の行われた mBART を fine-tuning することで多言語文法誤り訂正モデルの 構築が可能であることを示している。文法誤り訂正に限らず，このような事前学習モデルと下流夕スクとの関係は未だ明らかになっていないことも多く, 今後より詳しい分析が必要になっ てくると考えられる.

## 5.3 誤りタイプごとの訂正性能

ここからは転移学習が有効であった MLM/TLM を用いた文法誤り訂正モデルに対して分析・考察を行う。この節では言語間で類似した誤りが転移しているかどうかについての分析を行う 19.表 6 に各ロシア語文法誤り訂正モデルの RULEC-GEC 中の出現頻度が上位 10 件の誤りタイプ に対する Recall を示す。結果から，チェコ語を転移元言語としたモデルはほとんどの誤りにお いてベースラインモデルの Recall を上回っていることがわかる，加えて，ロシア語とチェコ語 で類似した誤りタイプ (Spelling, Lexical choice（語彙の選択についての誤り）, Adj:Case（形容詞の格変化についての誤り), Noun:Case（名詞の格変化についての誤り））について，TLM を用いてチェコ語から転移を行ったモデルが最も高いスコアを得ている。これらの結果は言語間で類似した文法項目の誤りの知識について，言語間での転移学習を用いることで転移が可能 であることを示している.

表 7 に各ロシア語文法誤り訂正モデルの Adj:Case，Noun:Caseの誤りを含む文に対する出力例を示す。下線の引かれている単語がそれぞれ Adj:Case と Noun:Case の誤りである. 原文と 参照文を比較するとそれぞれの誤った単語について活用が変化し，正しい格への訂正が行われ ていることがわかる．各モデルの結果を見ると，まず転移学習を行わずロシア語のみで学習を 行ったモデルは正しい文への訂正ができていないことがわかる。これは訓練データが少ないこ とによる影響だと考えられる。日本語を転移元言語としたモデルは, 名詞の誤りに対して正し

表 6 RULEC-GEC 中で頻度上位 10 件の誤りタイプに対する各モデルの Recall. （No-LM のモデルは事前学習モデルを用いていない表 3 の (1) のモデル，MLM のモデルはロシア語のみの MLM で初期化した表 3 の (5)のモデル，TLM のモデルはそれぞれ左から表 3 の (9), (10), (11) のモデルに対応している.)

 \\

表 7 Adj:Case と Noun:Case の誤りタイプに対する各モデルの出力例. 赤色の単語は誤りを含む単語で あり，青色の単語は正しく訂正された単語である。 中括弧の中に示されているのは詳しい誤りタイ プである。前半の文字は品詞を示しており，“A”は形容詞，“N”は名詞を表す。後半はその単語の 格を示しており, “Nom”は主格, “Gen”は属格, “Pre”は前置詞格, “Inst”は具格である。

い格への訂正を行うのではなく, 別の単語への編集を行ってしまっている．また，英語は前置詞関係を別の単語を用いて表現する言語であり，前置詞格を持ち単語の活用で表現するロシア 語とは異なるため，英語を転移元言語としたモデルでは前置詞格への訂正ができていないこと

表 8 転移元の英語の学習者データのサイズを変えた時の TLM を用いたロシア語・チェコ語文法誤り訂正の結果. small-En は表 3, 表 4 と同様の設定であり, large-En は英語の学習者データに Lang-8 の英語デー夕約 130 万文を追加した設定である.

もわかる. チェコ語を転移元としたモデルはこの中で唯一正しい訂正ができている。これは, チェコ語が持つ 7 つの格のうちの 6 つがロシア語と共通しており類似しているため, ロシア語 の形容詞と名詞の格変化に関する誤り訂正に必要な文法知識が，チェコ語の学習者データから 転移できているためであると考えられる.

## 5.4 転移元言語の学習者データサイズに対する分析

ここまでは文法誤り訂正においてエンコーダモデルの事前学習モデルと多言語の学習者デー 夕を用いることで，言語間で類似した文法知識の転移が可能であり，その際により近い言語を用 いることで転移学習が効果的に行われることを示した。この節では転移元言語の学習者デー夕 が増加した際にどのような影響が出るかについて分析を行う．転移元言語のデータサイズに関 する分析を行うために，ロシア語とチェコ語の文法誤り訂正それぞれで，英語を転移元とする 設定において英語の学習者データにLang-8コーパスも含めることでデータサイズを大きくして 実験を行った．TLMを用いたモデルの各データサイズに対する結果の比較を表 8 に示す。結果 を見ると，ロシア語とチェコ語でともに転移元の学習者データが増えたモデルの方が $\mathrm{F}_{0.5}$ スコ アが高いことがわかる.これは転移元の言語の学習者データを増やすことで, 転移元の言語と 転移先の言語の学習者データのバランスが変化するにもかかわらず転移学習の効果があり, さ らに転移元言語のデータが少ない時に比べてより誤り訂正の性能は向上することを示している.

## 5.5 転移先言語の学習者データサイズに対する分析

この節では 5.4 節とは逆に転移先言語のデータが転移元言語よりも多い場合についての実験 を行う，我々は，転移先言語のデータサイズによる転移学習への影響を調査するために，新た に英語の文法誤り訂正について 2 つのデータサイズの設定で実験を行った. 1 つ目の設定では NUCLEのみを訓練データとして用いる，すなわち，英語の訓練データの総文数は約 5 万 7 千文 であり，この設定を “NUCLE only” と呼ぶ． 2 つ目の設定では NUCLE と英語の Lang-8 のデー 夕を訓練データとして用いる，すなわち，英語の訓練デー夕の総文数は約 130 万文 + 約 5 万 7 千文であり，この設定を“NUCLE + Lang-8-En”と呼ぶ.

表 9 英語の文法誤り訂正の結果. “NUCLE only” の設定の英語の学習者デー夕の文数は約 5 万 7 千文で あり，“NUCLE + Lang-8-En”の設定の英語の学習者データの文数は約 130 万文 +5 万 7 千文で

表 9 に英語の文法誤り訂正の結果を示す. “NUCLE only” の設定では各モデルの結果はロシ ア語やチェコ語と似たような傾向となっており，(6)から (11)のMLM/TLM を用いて転移学習を行ったモデルの $\mathrm{F}_{0.5}$ スコアが (1) から (4) の MLM/TLM を用いていないモデルのスコア よりも高く, 最も英語に近いドイツ語からの転移を TLM を用いて行った (9) のモデルの $\mathrm{F}_{0.5}$ スコアが最も高いことがわかる。対して，“NUCLE + Lang-8-En”の設定では (6) から (11)の MLM/TLM を用いて転移学習を行ったモデルの $F_{0.5}$ スコアが (1) から (4) の MLM/TLM を用 いなかったモデルよりは高いものの, (5) の英語のみで事前学習を行った MLM で初期化し英語 の学習者データのみで文法誤り訂正の学習を行ったモデルの $\mathrm{F}_{0.5}$ スコアとはほとんど差がない ことがわかる.

より詳細な分析を行うために，ロシア語の文法誤り訂正の際と同様に誤りタイプごとの訂正性能について調査した. 具体的には, grammatical ERRor ANnotation Toolkit (ERRANT) (Bryant et al. 2017) ${ }^{20}$ を用いて Lang-8 の英語データに誤りタイプを付与し, 頻度上位 5 件 (determiner, preposition, punctuation, verb, verb tense) と下位 5 件 (spelling, pronoun, verb form, morphology, subject-verb agreement) の誤りタイプについて各モデルの Recall を計算した. それぞれの設定 に対する結果を表 10 と表 11 に示す.

表 10 に示す “NUCLE only” の設定に対する結果を見ると，ほとんどの誤りタイプで最も近い 言語であるドイツ語から転移を行ったモデルが最も高い Recall を示していることがわかる。こ

 &  & DeEn &  & JaEn \\

表 10 評価データでの出現回数が 50 件以下である誤りタイプを除いたもののうち，Lang-8 の英語デー タ中の出現回数が上位 5 件と下位 5 件の誤りタイプに対する “NUCLE only” の設定の各文法誤 り訂正モデルの Recall.（No-LM のモデルは事前学習モデルを用いていない表 9 の (1) のモデル, MLM のモデルは英語のみの MLM で初期化した表 9 の (5) のモデル，TLM のモデルはそれぞれ 左から表 9 の (9), (10), (11)のモデルに対応している.)

 &  & DeEn &  & JaEn \\

表 11 評価データでの出現回数が 50 件以下である誤りタイプを除いたもののうち，Lang-8 の英語デー タ中の出現回数が上位 5 件と下位 5 件の誤りタイプに対する “NUCLE + Lang-8-En”の設定の各文法誤り訂正モデルの Recall.（各モデルと表 9 との対応は表 10 と同様である.)

れはロシア語やチェコ語の結果と同様に, 言語によらず転移元の言語と転移先の言語のデー夕 サイズに大きな差がない場合は，言語間での転移学習により文法知識の転移が可能であり，特 により近い言語の学習者データを用いることが有効であることを示している。

対して, 表 11 に示す “NUCLE + Lang-8-En”の設定の結果を見ると, 頻度上位 5 件の誤り タイプについてはどの言語から転移したモデルでも性能の向上は見られないことがわかる一方 で，下位 5 件の誤りタイプについては少し異なる傾向が見られる。日本語から転移したモデルは pronoun, verb form, subject-verb agreement の誤りタイプについて単言語のデータを用いたモ デルよりも性能が下がっており，これは日本語と英語の間でこれらの誤りに関しての類似点が 存在しないためだと考えられる。対して, ドイツ語から転移したモデルは pronoun, morphology, subject-verb agreement という英語とドイツ語間で類似した誤りについてべースラインモデルよ りも高い Recall を達成していることがわかる. このことから, 転移先の言語のデータサイズが 転移元言語のデータサイズに比べて非常に大きい場合において，転移学習を用いることによる 全体の訂正性能の改善は見られないが, 頻度が少なくかつ言語間で類似した誤りの知識につい ては転移がなされていると考えられる。

## 5.6 疑似誤りデータによるデータ拡張との比較

この節では, 近年文法誤り訂正の学習において一般的なデータ拡張である疑似誤り生成と,本研究で扱っている他言語のデータを用いた言語間での転移学習について比較を行い, 文法知識が転移可能であることが既存手法と比較してどのような新しい効果をもたらすかについて， ロシア語とチェコ語の誤り訂正を例に議論を行う，現在疑似誤り生成の手法には Kiyono et al. (2019) で紹介されているように, 文法誤り訂正と同様に人手で訂正を施されたデータを用い て，通常の文法誤り訂正とは逆に誤りを生成するような学習を行う逆翻訳モデルを用いる手法 (BACKTRANS) と, 確率的に単語の順序の入れ替えなどの操作を行い文法的に正しい文に対して 直接誤りを生成する手法 (DIRECTNOISE) の大きく 2 つが存在する。我々は今回比較する疑似誤り生成手法として, BACKTRANS の手法ではなく, DIRECTNOISEの手法の1つである, Zhao et al. (2019)の手法を用いた.これは, 今回比較の対象としているロシア語とチェコ語は英語と は異なり人手で訂正を施された学習者データが少なく, 実用上逆翻訳モデルの学習が難しいと考 えられ, 加えて, ロシア語とチェコ語に対してDIRECTNOISEの手法を用いて性能向上を報告し た先行研究 (Náplava and Straka 2019) が存在しているためである. 疑似誤りを生成するための データには，MLM/TLM と mBART を事前学習する際に用いた文を除いた News Crawl のデー 夕を用い, 最終的に生成された文数は, ロシア語が約 750 万文, チェコ語が約 550 万文となった.疑似誤りを用いた学習の際には，まず対象とする言語のラベルなしデータで事前学習を行った MLM で文法誤り訂正モデル初期化し, その後既存研究 (Kiyono et al. 2019; Grundkiewicz and Junczys-Dowmunt 2019; Grundkiewicz et al. 2019) に従い, 生成した疑似誤りデータで文法誤り

表 12 ロシア語文法誤り訂正における疑似誤り生成を用いたモデルと言語間転移学習を用いたモデルの 比較。学習者データの列中の pseudo_Ruはロシア語の擬似誤りを示す.

表 13 チェコ語文法誤り訂正における疑似誤り生成を用いたモデルと言語間転移学習を用いたモデルの 比較. 学習者データの列中の pseudo_Cs はチェコ語の擬似誤りを示す.

訂正の学習を行い，最後に人手で訂正を施された学習者データでファインチューニングを行う という手順で行った。

表 12 , 表 13 にロシア語とチェコ語の文法誤り訂正における，言語間での転移学習を用いたモ デルと疑似誤りを用いたモデルとの比較結果を示す。結果を見ると，ロシア語・チェコ語とも に数百万文の疑似誤りデータを用いているにもかかわらず，データ量の少ない転移学習を用い たモデルのスコアの方が高いことがわかる。一方で Náplava and Straka (2019)は, Zhao et al. (2019) の疑似誤り生成手法を改善した Grundkiewicz et al. (2019)の手法を用いて，ロシア語と チェコ語の文法誤り訂正を行っており，疑似誤り生成に際して各言語に合わせたパラメータの チューニングや, ルールの追加による手法の改善, また, 疑似誤りデータでの事前学習後のファ インチューニングの際に疑似誤りデータと学習者データを言語ごとに一定の比で組み合わせて 学習する, などの誤り訂正の対象となる言語のデータに特化した調整を数多く行うことで，本研究の結果よりも大幅な性能の向上を報告している。これらの結果から, DIRECTNOISEによっ て生成された疑似誤りデータによる性能改善のためには，単にデー夕を増やすだけでなく，対象とする言語に合わせた調整が重要であると考えられる。このような言語固有の調整は, 文法
誤り訂正に関して詳しいだけでなく，対象とする言語に対しての知識も重要であり，顕著に性能を改善させるためには多くの労力が必要となる. また, BACKTRANSの手法については上述 の通り，人手での訂正が施されたデータの少ない言語では用いることが難しい。対して, 本研究で示す他言語の学習者データを用いて転移学習を行うことで性能向上を図る手法は, 言語固有の調整は必要なく，より少ないデータで容易に性能向上が可能である.

加えて, ここまでは単純なデー夕拡張の手法の一つとしての本研究の意義について議論を行つ てきたが，言語間での転移学習は疑似誤りによるデー夕拡張と対立する手法ではなく，例えば， Rothe et al. (2021)のようにより大きな疑似誤りデー夕による学習と組み合わせることも可能で あり，その他のデータ拡張とともに用いることでの性能向上も考えられる．また，本研究で明 らかにしている言語間での文法知識の転移は，言語間での類似度などを考慮したより性能の高 い多言語文法誤り訂正モデルの学習や，データの全く存在しない言語や少ない言語に対しての 類似した言語のデータを用いる zero-shot や few-shot での文法誤り訂正の研究など，今後の様々 な研究の余地が残されており, デー夕拡張の手法以外の観点での発展も期待される.

## 6 おわりに

本研究では, 文法誤り訂正において言語間での転移学習により文法知識の転移が可能である かを調査した，我々は文法誤り訂正モデルの学習に際し，まず事前学習モデルの学習を行い，そ の後事前学習モデルで初期化した文法誤り訂正モデルを転移元の言語の学習者データと転移先言語の学習者データを用いて学習し, 最後に転移先の言語の学習者データのみで fine-tuning を 行うことで言語間での転移学習を行った。実験の結果, エンコーダのみの構造を用いた事前学習モデルと多言語の学習者デー夕を用いて言語間での転移学習が可能である，すなわち言語間 で文法知識の転移が可能であることを明らかにし，より近い言語間を用いることで類似した文法項目の転移が行われることも示した。また，転移元の言語と転移先の言語の学習者データの サイズに関わらず，類似した言語間での共通した文法項目の転移は行われていることも併せて 示した。一方で, エンコーダ・デコーダの構造の事前学習モデルを用いた実験では, 事前学習 されたデコーダが多言語の学習者データを扱う際に悪影響を及ぼしている可能性を示した。こ の結果については様々な先行研究との関連が考えれるため今後の研究の余地があり, 事前学習 されたデコーダの挙動についてはさらに詳細な分析を行っていきたい.

## 謝 辞

Lang-8 のデー夕使用にあたり，データを共有して頂きました株式会社 Lang-8 の喜洋洋様に 感謝申し上げます。
本研究の一部は JSPS 科研費 19KK0286 の助成を受けたものです.

本論文の一部の内容は, The 28th International Conference on Computational Linguistics に て発表したものである (Yamashita et al. 2020).

## 参考文献

Ahmad, W., Li, H., Chang, K.-W., and Mehdad, Y. (2021). "Syntax-augmented Multilingual BERT for Cross-lingual Transfer." In Proceedings of ACL-IJCNLP, pp. 4538-4554.

Ahmad, W. U., Zhang, Z., Ma, X., Chang, K.-W., and Peng, N. (2019). "Cross-lingual Dependency Parsing with Unlabeled Auxiliary Languages." In Proceedings of CoNLL, pp. 372-382.

Awasthi, A., Sarawagi, S., Goyal, R., Ghosh, S., and Piratla, V. (2019). "Parallel Iterative Edit Models for Local Sequence Transduction." In Proceedings of EMNLP-IJCNLP, pp. $4260-4270$.

Boyd, A. (2018). "Using Wikipedia Edits in Low Resource Grammatical Error Correction." In Proceedings of $W$-NUT, pp. 79-84.

Bryant, C., Felice, M., and Briscoe, T. (2017). "Automatic Annotation and Evaluation of Error Types for Grammatical Error Correction." In Proceedings of ACL, pp. 793-805.

Cettolo, M., Girardi, C., and Federico, M. (2012). "WIT": Web Inventory of Transcribed and Translated Talks." In Proceedings of EAMT, pp. 261-268.

Chollampatt, S., Hoang, D. T., and Ng, H. T. (2016). "Adapting Grammatical Error Correction Based on the Native Language of Writers with Neural Network Joint Models." In Proceedings of EMNLP, pp. 1901-1911.

Chollampatt, S. and Ng, H. T. (2018). "A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction." In Proceedings of AAAI, pp. 5755-5762.

Conneau, A. and Lample, G. (2019). "Cross-lingual Language Model Pretraining." In Proceedings of NeurIPS, pp. 7059-7069.

Cotterell, R. and Heigold, G. (2017). "Cross-lingual Character-Level Neural Morphological Tagging." In Proceedings of EMNLP, pp. 748-759.

Dabre, R., Chu, C., and Kunchukuttan, A. (2020). "A Comprehensive Survey of Multilingual Neural Machine Translation." ArXiv, abs/2001.01115.

Dabre, R., Fujita, A., and Chu, C. (2019). "Exploiting Multilingualism through Multistage FineTuning for Low-Resource Neural Machine Translation." In Proceedings of EMNLP-IJCNLP, pp. 1410-1416.

Dahlmeier, D. and Ng, H. T. (2012). "Better Evaluation for Grammatical Error Correction." In

Proceedings of NAACL-HLT, pp. 568-572.

Dahlmeier, D., Ng, H. T., and Wu, S. M. (2013). "Building a Large Annotated Corpus of Learner

English: The NUS Corpus of Learner English." In Proceedings of BEA, pp. 22-31.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of

Deep Bidirectional Transformers for Language Understanding." In Proceedings of NAACL, pp. 4171-4186.

Grundkiewicz, R. and Junczys-Dowmunt, M. (2019). "Minimally-Augmented Grammatical Error Correction." In Proceedings of $W$-NUT, pp. 357-363.

Grundkiewicz, R., Junczys-Dowmunt, M., and Heafield, K. (2019). "Neural Grammatical Error Correction Systems with Unsupervised Pre-training on Synthetic Data." In Proceedings of $B E A$, pp. 252-263.

Imankulova, A., Dabre, R., Fujita, A., and Imamura, K. (2019). "Exploiting Out-of-Domain Parallel Data through Multilingual Transfer Learning for Low-Resource Neural Machine Translation." In Proceedings of MT Summit, pp. 128-139.

Ji, B., Zhang, Z., Duan, X., Zhang, M., Chen, B., and Luo, W. (2020). "Cross-Lingual PreTraining Based Transfer for Zero-Shot Neural Machine Translation." In Proceedings of the AAAI, pp. 115-122.

Johnson, M., Schuster, M., Le, Q. V., Krikun, M., Wu, Y., Chen, Z., Thorat, N., Viégas, F., Wattenberg, M., Corrado, G., Hughes, M., and Dean, J. (2017). "Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation." TACL, 5, pp. 339-351.

Junczys-Dowmunt, M., Grundkiewicz, R., Guha, S., and Heafield, K. (2018). "Approaching Neural Grammatical Error Correction as a Low-Resource Machine Translation Task." In Proceedings of the NAACL, pp. 595-606.

Kaneko, M., Mita, M., Kiyono, S., Suzuki, J., and Inui, K. (2020). "Encoder-decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction." In Proceedings of $A C L$, pp. 4248-4254.

Katsumata, S. and Komachi, M. (2020). "Stronger Baselines for Grammatical Error Correction Using a Pretrained Encoder-Decoder Model." In Proceedings of AACL, pp. 827-832.

Kim, J.-K., Kim, Y.-B., Sarikaya, R., and Fosler-Lussier, E. (2017). "Cross-Lingual Transfer Learning for POS Tagging without Cross-Lingual Resources." In Proceedings of EMNLP, pp. 2832-2838.

Kim, Y., Gao, Y., and Ney, H. (2019). "Effective Cross-lingual Transfer of Neural Machine Translation Models without Shared Vocabularies." In Proceedings of ACL, pp. 1246-1257. Kiyono, S., Suzuki, J., Mita, M., Mizumoto, T., and Inui, K. (2019). "An Empirical Study of

Incorporating Pseudo Data into Grammatical Error Correction." In Proceedings of EMNLPIJCNLP, pp. 1236-1242.

Kornblith, S., Norouzi, M., Lee, H., and Hinton, G. (2019). "Similarity of Neural Network Representations Revisited." In Proceedings of ICML, Vol. 97, pp. 3519-3529.

Lee, C.-H. and Lee, H.-y. (2019). "Cross-Lingual Transfer Learning for Question Answering." ArXiv, abs/1907.06042.

Lewis, M., Liu, Y., Goyal, N., Ghazvininejad, M., Mohamed, A., Levy, O., Stoyanov, V., and Zettlemoyer, L. (2020). "BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension." In Proceedings of $A C L$, pp. $7871-7880$.

Lichtarge, J., Alberti, C., and Kumar, S. (2020). "Data Weighted Training Strategies for Grammatical Error Correction." TACL, 8, pp. 634-646.

Lin, Z., Wu, L., Wang, M., and Li, L. (2021). "Learning Language Specific Sub-network for Multilingual Machine Translation." In Proceedings of ACL-IJCNLP, pp. 293-305.

Liu, Y., Gu, J., Goyal, N., Li, X., Edunov, S., Ghazvininejad, M., Lewis, M., and Zettlemoyer, L. (2020). "Multilingual Denoising Pre-training for Neural Machine Translation." TACL, 8, pp. 726-742.

Martínez-García, A., Badia, T., and Barnes, J. (2021). "Evaluating Morphological Typology in Zero-shot Cross-lingual Transfer." In Proceedings of ACL-IJCNLP, pp. 3136-3153.

Mizumoto, T., Komachi, M., Nagata, M., and Matsumoto, Y. (2011). "Mining Revision Log of Language Learning SNS for Automated Japanese Error Correction of Second Language Learners." In Proceedings of IJCNLP, pp. 147-155.

Náplava, J. and Straka, M. (2019). "Grammatical Error Correction in Low-Resource Scenarios." In Proceedings of $W$-NUT, pp. 346-356.

Ng, H. T., Wu, S. M., Wu, Y., Hadiwinoto, C., and Tetreault, J. (2013). "The CoNLL-2013 Shared Task on Grammatical Error Correction." In Proceedings of CoNLL, pp. 1-12.

Omelianchuk, K., Atrasevych, V., Chernodub, A., and Skurzhanskyi, O. (2020). "GECToR Grammatical Error Correction: Tag, Not Rewrite." In Proceedings of BEA, pp. 163-170.

Oyama, H., Komachi, M., and Matsumoto, Y. (2013). "Towards Automatic Error Type Classification of Japanese Language Learners' Writings." In Proceedings of PACLIC, pp. 163-172.

Pajak, K. and Pajak, D. (2022). "Multilingual Fine-tuning for Grammatical Error Correction." Expert Systems with Applications, 200. 116948.

Pan, X., Wang, M., Wu, L., and Li, L. (2021). "Contrastive Learning for Many-to-many Multilingual Neural Machine Translation." In Proceedings of ACL-IJCNLP, pp. 244-258.

Rothe, S., Mallinson, J., Malmi, E., Krause, S., and Severyn, A. (2021). "A Simple Recipe for Multilingual Grammatical Error Correction." In Proceedings of ACL, pp. 702-707.

Rothe, S., Narayan, S., and Severyn, A. (2020). "Leveraging Pre-trained Checkpoints for Sequence Generation Tasks." TACL, pp. 264-280.

Rozovskaya, A. and Roth, D. (2011). "Algorithm Selection and Model Adaptation for ESL Correction Tasks." In Proceedings of ACL, pp. 924-933.

Rozovskaya, A. and Roth, D. (2019). "Grammar Error Correction in Morphologically Rich Languages: The Case of Russian." TACL, 7, pp. 1-17.

Rozovskaya, A., Roth, D., and Sammons, M. (2017). "Adapting to Learner Errors with Minimal Supervision." $C L, 43$, pp. 723-760.

Ruder, S., Vulic, I., and Søgaard, A. (2019). "A Survey of Cross-lingual Word Embedding Models." JAIR, 65, pp. 569-630.

Schuster, S., Gupta, S., Shah, R., and Lewis, M. (2018). "Cross-lingual Transfer Learning for Multilingual Task Oriented Dialog." In Proceedings of NAACL-HLT, pp. 3795-3805.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of ACL, pp. 1715-1725.

Stahlberg, F. and Kumar, S. (2021). "Synthetic Data Generation for Grammatical Error Correction with Tagged Corruption Models." In Proceedings of BEA, pp. 37-47.

Takahashi, Y., Katsumata, S., and Komachi, M. (2020). "Grammatical Error Correction Using Pseudo Learner Corpus Considering Learner's Error Tendency." In Proceedings of ACL$S R W$, pp. 27-32.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Proceedings of NIPS, pp. 5998-6008.

Wichmann, S., Holman, E. W., and Brown, C. H. (2020). "The ASJP Database (version 19)." Max Planck Institute for the Science of Human History.

Wu, S. and Dredze, M. (2019). "Beto, Bentz, Becas: The Surprising Cross-Lingual Effectiveness of BERT." In Proceedings of EMNLP-IJCNLP, pp. 833-844.

Xie, Z., Genthial, G., Xie, S., Ng, A., and Jurafsky, D. (2018). "Noising and Denoising Natural Language: Diverse Backtranslation for Grammar Correction." In Proceedings of NAACLHLT, pp. 619-628.

Xu, H. and Koehn, P. (2021). "Zero-Shot Cross-Lingual Dependency Parsing through Contextual Embedding Transformation." In Proceedings of AdaptNLP, pp. 204-213.

Xue, L., Constant, N., Roberts, A., Kale, M., Al-Rfou, R., Siddhant, A., Barua, A., and Raffel, C. (2021). "mT5: A Massively Multilingual Pre-trained Text-to-Text Transformer." In

Proceedings of NAACL, pp. 483-498.

Yamashita, I., Katsumata, S., Kaneko, M., Imankulova, A., and Komachi, M. (2020). "Crosslingual Transfer Learning for Grammatical Error Correction." In Proceedings of COLING, pp. 4704-4715.

Yang, J., Yin, Y., Ma, S., Huang, H., Zhang, D., Li, Z., and Wei, F. (2021). "Multilingual Agreement for Multilingual Neural Machine Translation." In Proceedings of ACL-IJCNLP, pp. 233-239.

Zhao, W., Wang, L., Shen, K., Jia, R., and Liu, J. (2019). "Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data." In Proceedings of NAACL, pp. 156-165.

Zhou, Y., Geng, X., Shen, T., Zhang, W., and Jiang, D. (2021). "Improving Zero-Shot Crosslingual Transfer for Multilingual Question Answering over Knowledge Graph." In Proceedings of NAACL-HLT, pp. 5822-5834.

Zoph, B., Yuret, D., May, J., and Knight, K. (2016). "Transfer Learning for Low-Resource Neural Machine Translation." In Proceedings of EMNLP, pp. 1568-1575.

## 付録

## A mBART で初期化したモデルの学習の推移

図 5 にチェコ語とロシア語で事前学習を行った mBART をロシア語文法誤り訂正のために fine-tuning 1 と fine-tuning 2 でそれぞれ 50 エポック続けて学習した際の訓練データと開発デー 夕に対する loss とパープレキシティを示す.まず, fine-tuning 1 の際の loss とパープレキシティ の動きを見ると，最初の 10 エポック程度までにどちらも順調に下がり，その後は収束してい ることがわかる．これは学習しているモデルが事前学習されたモデルで初期化されていること と, 訓練デー夕の規模が小さいことが理由であり, 問題なく学習が行われていると思われる.次に, fine-tuning 2 の際の loss とパープレキシティの動きを見ると, 先ほどの fine-tuning 1 の 際よりもさらに収束が早くなっていることがわかる。これは事前学習に加えて文法誤り訂正に よる学習がすでに一度行われていること, 加えて, fine-tuning 1 と比較して言語が一つに絞ら れたことでデータが少なくなり，夕スクの難易度も低下したことが原因だと考えられる。また， fine-tuning 2 の際の学習の収束の早さは MLM/TLM を用いたモデルでも同様の傾向が確認され ており, これらの理由から fine-tuning 2 に関しても fine-tuning 1 と同様に問題なく学習が行わ れていると思われる。

図 $5 \mathrm{mBART} \mathrm{Cs \rightarrow Ru}$ の fine-tuning 1, fine-tuning 2 それぞれの学習時の loss とパープレキシティ (ppl はパープレキシティを示す).

## 略歴

山下 郁海：2020 年首都大学東京 (現東京都立大学) システムデザイン学部シ ステムデザイン学科情報通信システムコース卒業. 2022 年東京都立大学シス テムデザイン研究科情報科学域博士前期課程修了. 同年よりヤフー株式会社入社. 現在に至る.

金子 正弘：2016 年北見工業大学工学部情報システム工学科卒業. 同年, 首都大学東京 (現東京都立大学) システムデザイン研究科博士前期課程に進学. 2018 年博士前期課程修了. 同年, 東京都立大学システムデザイン研究科博士後期課程に進学. 2019 年より日本学術振興会特別研究員 (DC2) を経て, 2021
年博士後期課程修了. 博士 (情報科学)。同年より東京工業大学情報理工学院研究員.

三田 雅人：理化学研究所革新知能統合研究センター 自然言語理解チーム テ クニカルスタッフ。2016 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了。日本マイクロソフト株式会社のエンジニアを経て。2 2018 年よ り現職. 2021 年に東北大学大学院情報科学研究科博士後期課程を修了. 同年 より, 東京都立大学特任助教を兼任．文法誤り訂正を中心とした自然言語処理による言語学習／教育支援に関心がある。言語処理学会, ACL 各会員.

勝又智：2018 年首都大学東京システムデザイン学部情報通信システムコー ス卒業. 2020 年同大学大学院システムデザイン研究科情報科学域博士前期課程修了. 同年株式会社レトリバ入社. 現在に至る．自然言語処理分野の研究 に従事.

Imankulova Aizhan：2011 年サトバイエフカザフ国立工科大学オートメーショ ンおよび制御学部卒業. 2014 年国際情報技術大学情報システム研究課博士前期課程卒業. 2017 年首都大学東京システムデザイン研究科研究生卒業. 同年,首都大学東京システムデザイン研究科博士後期課程に進学. 2021 年博士後期課程修了. 博士 (工学). 同年より株式会社 CogSmart 入社.

小町 守：2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒業.

2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年奈良先端科学技術大学院大学情報科学研究科修了. 博士 (工学). 同年より奈良先端科学技術大学院大学情報科学研究科助教を経て, 2013 年より首都大学東京 (現東京都立大学）システムデザイン学部准教授. 2022 年より同教授. 大規模なコー パスを用いた意味解析及び統計的自然言語処理に関心がある。言語処理学会 20 周年記念論文賞, 言語処理学会第 14 回年次大会最優秀発表賞, 情報処理学会平成 22 年度山下記念研究賞, 2010 年度本学会論文賞等を受賞. 情報処理学会, 言語処理学会, ACL 各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/