# BERT-CRF を用いた日本語機能表現意味ラベル付与

田所佑一平博順
大阪工業大学大学院
\{m1m22a21, hirotoshi.taira\}@oit.ac.jp

## 概要

複数の形態素から構成され，一つの機能語として 働く表現である機能表現は，モダリティ解析などの 応用タスクでも利用されており，機能表現解析の精度向上は，重要な課題である. 本研究では，解析モ デルとして，BERT-CRFを用いることで，日本語機能表現意味ラベル付与の精度向上を試みた. 評価実験の結果，BERT-CRF は既存モデルと比較して，高 い精度を達成し，機能表現意味ラベル付与において も有効であることを確認した。

## 1 はじめに

複数の形態素から構成され，一つの機能語として 働く表現は，「機能表現」と呼ばれ，文の意味に大き く関わっている。機能表現を正確に抽出し，意味ラ ベルの付与を行うことは，事実性解析やモダリティ 解析などの応用タスクでも重要である。佐野ら [1] は機能表現を考慮したモダリティを用いて, 文末述語を用いた 2 文間の接続関係推定を行っている．亀甲ら [2] は，将棋の解説文生成において，機能表現 を考慮した，モダリティ情報のアノテーションを 行っている. また, 友利ら [3] は, モダリティ表現認識と事象の事実性解析のマルチタスク学習を行 い，モダリティ情報の解析を行っている.

一方，様々な自然言語処理のタスクで，BERT [4] などの，大規模汎用言語モデルを利用した手法が 提案されており，系列ラベリングタスクにおい ても，優れた性能を達成している。田川ら [5] は，医療分野における日本語固有表現認識において, BERT-CRF [6] を用いた系列ラベリングタスクを行 い，優れた性能が得られることを報告している。本研究では，系列ラベリングタスクにおいて，大規模汎用言語モデルを用いた手法が有効であること に注目し, 系列ラベリングタスクの 1 つと見なすこ とができる，機能表現意味ラベル付与においても， BERT-CRF が有効であるかを検証する。これまで，日本語機能表現に対して系列ラベリングを行ってい る研究としては， CRFを用いた手法 [7] などがある. この CRF をべースラインモデルとし，事前学習済 みの BERT モデルに対して，ファインチューニング を行うことで，機能表現意味ラベル付与を行った。 CRF，BERT，BERT-CRFのそれぞれに対して実験を 行い，性能の比較を行った。

## 2 関連研究

本節では，日本語の機能表現に関する研究につい て述べる. 吉松ら [8] は，日本語機能表現の網羅的 な辞書である「つつじ」を作成している。また，土屋ら [9] は，機能表現の検出をチャンク同定問題み なし，機械学習を用いることで高い精度が得られる ことを示している. 機能表現に対するラベリング の研究としては，今村ら [10]が，機能表現辞書「つ つじ」と最尤パス探索を用いて，述部に対する機能表現にラベリングを行っている。岡ら [7] は，機能表現意味ラベルを付与したコーパスを作成し， そのコーパスに対して機能表現解析を行っている.文末述語における機能表現検出については，佐野 ら [1] が，文末述語解析システム「Panzer」を開発し ている.

また，系列ラベリングに関する研究としては，友利ら [3] が，モダリティ表現認識のマルチタスク学習において， CRF のみを用いた手法に対して，エン コーダに BERT，出力層に CRF 層を用いた手法が，有効であることを示している，田川ら [5] は，固有表現抽出タスクにおいて, CRF と BERT-CRF の比較 を行い，日本語においても BERT-CRF が有効である ことを確認している. BERT-CRF は，BERT の出力層に $\mathrm{CRF}$ を繋げたものであり，ラベルの制約を学習することができるため，単純な BERT と比較して 高い性能が期待できる.

## 3 BERT-CRF

## 3.1 CRF

CRF（Conditional Random Field）[11] は，系列ラベ リングタスクを解くことができる識別モデルであ る. 入力文の系列を $X=\left(x_{1}, x_{2}, \ldots, x_{n}\right)$, 出力ラべ ルの系列を $Y=\left(y_{1}, y_{2}, \ldots, y_{n}\right)$ とした際に， $X$ から $Y$ の系列を予測するモデルであり，条件付き確率 $P(Y \mid X)$ は，以下の式で表すことができる.

$
P(Y \mid X)=\frac{1}{Z_{X}} \exp \left(\sum_{i=1}^{N} \sum_{k=1}^{K} \lambda_{k} f_{k}\left(y_{i-1}, y_{i}, X\right)\right)
$

ここで， $f_{k}$ は素性関数， $\lambda_{k}$ は素性関数 $f_{k}$ に対する 重みである. また， $Z_{X}$ は，全系列の確率和を 1 にす るための正則化項であり，

$
Z_{X}=\sum_{Y} \exp \left(\sum_{i=1}^{N} \sum_{k=1}^{K} \lambda_{k} f_{k}\left(y_{i-1}, y_{i}, X\right)\right)
$

で表される. 入力文の系列 $X$ に対する最適なラベル $y^{*}$ は，以下の式で求めることができる.

$
y^{*}=\underset{Y}{\operatorname{argmax}} P(Y \mid X)
$

## 3.2 BERT

BERT [4] は，双方向エンコーダにより構成される 事前学習済みモデルである。事前学習済みの BERT に対して，ファインチューニングを行い，系列ラ ベリングタスクを解けるように調整を行う. 入力文の系列 $X=\left(x_{1}, x_{2}, \ldots, x_{n}\right)$ を BERT に入力し, 分散表現に変換する. 得られた系列の分散表現を Softmax を用いることで各系列のラベルの予測スコ アに変換する．予測スコアに対して，ビタビアル ゴリズムを用いることで，最終的なラベルの系列 $Y=\left(y_{1}, y_{2}, \ldots, y_{n}\right)$ を決定する.

## 3.3 BERT-CRF

BERT-CRF [6] は, BERT の出力層に CRF 層 を組み合わせたモデルである. 入力文の系列を $X=\left(x_{1}, x_{2}, \ldots, x_{n}\right)$, 出力ラベルの系列を $Y=\left(y_{1}, y_{2}, \ldots, y_{n}\right)$ とすると, 系列のスコアは以下 の式で求めることができる. BERT の出力スコア $P$ は，CRF 層に与えられる。ここで，A は遷移スコア を表す行列でり, $A_{i, j}$ は行列 $A$ の $(i, j)$ 要素を表す. また, $P_{i, y_{i}}$ は系列 $P$ の $i$ 番目の要素が, クラス $y_{i}$ で
あるスコアを表す

$
s(X, Y)=\sum_{i=0}^{n} A_{y_{i}, y_{i+1}}+\sum_{i=1}^{n} P_{i, y_{i}}
$

正しい出力ラベルの系列が得られるように，対数確率が最大となるように学習を行う.

$
\log (p(Y \mid X))=s(X, Y)-\log \left(\sum_{\tilde{Y} \in Y_{X}} e^{s(X, \tilde{Y})}\right)
$

ここで $Y_{X}$ は，ありうる全ての系列であり，ビタビ アルゴリズムを用いて最終的なラベルの系列を求 める.

## 4 評価実験

本節では，BERT-CRF を用いた日本語機能表現解析に対しての評価実験を行った結果について述 べる.

## 4.1 実験設定

評価実験には，「機能表現タグ付与コーパス」[12] （ver. 2.1a）の開発セットを用いた.このコーパス は，1,627 文からなり，文内のすべての機能表現に， IOB2 フォーマットで意味ラベルが付与されている.意味ラベルのクラス数としては， 67 種類であり，特殊なラベルとして，意味ラベルチャンクの一つ前の 系列に現れる C ラベルを含んでいる．また，Cラベ ルを除いた，意味ラベルが付与された機能表現の総数は，9,843 個である.

評価実験では，機能表現タグ付与コーパスを，訓練データ，検証データ，テストデータとしてそれぞ れ 8:1:1 に分割して使用した. 各手法で，実験条件 を揃えるため，同一の分割されたデータセットを利用し，シャッフルなどは行っていない. また，CRF， BERT，BERT-CRF のそれぞれの実験で，訓練データ とテストデータを揃えるために，CRF の実験の際に は，検証データは利用していない. 出力ラベルの形式としては IOB2 形式を使用している.

CRF の学習には，特徴量として，前後 2 トーク ンまでの表層形態素と品詞，品詞細分類を利用し た.また，CRF の実装には CRFsuite [13] を用いた。 BERT と BERT-CRF の実験には，事前学習済みモデ ルとして，東北大学の BERT-base を使用した. バッ チサイズを 32 ，学習率を $1 \times 10^{-5}$ として学習を行 い，検証データを用いて評価し，最も精度が高かっ たエポックのモデルをテストで使用した. 実験は， 10 分割交差検定で評価を行った.
表 1 実験結果

表 2 クラスごとの結果

 & B-CRF & ラベル & 頻度 & CRF &  & B-CRF & ラベル & 頻度 & CRF &  & B-CRF \\

## 4.2 評価手法

実験の評価には，適合率，再現率， $\mathrm{F}$ 值を使用し， ラベルのクラスとスパンが共に一致した場合に，正解とした. Cクラスは，機能表現意味ラベルではな いため，評価の際は除外した。

## 4.3 実験結果

CRF，BERT，BERT-CRF のそれぞれについて，10 交差検定を用いた場合の結果を，表 1 に示す. 実験 の結果，BERT-CRFが，適合率, 再現率, F1 のそれぞ れに対して，最も精度が高い結果となった。CRF と 比較して, BERT, BERT-CRF ではマイクロ平均と マクロ平均の両方で， $\mathrm{F}$ 值の向上がみられた. CRF と比較し，BERT では適合率が少し減少したものの,再現率が値が向上した. また，BERT-CRFでは適合率と再現率が，ともに向上しており，特に再現率
は， $\mathrm{CRF}$ と比較して大きく向上した. 今回使用した データセットは，クラスごとの要素数の偏りが大 きい. そのため, マクロ平均でも評価したところ, BERT-CRF は，適合率，再現率，F1 の全てにおいて 大きく改善しており，本タスクにおいて最も精度の 高いモデルであることがわかった.

10 交差検定を実施した結果における，各クラスで の精度の平均值を表 2 に示す. 各クラスの結果につ いても，ほとんどのクラスで，BERT-CRFを用いた 場合に，精度が高かった. 特に，クラスの要素数が 多い場合には, CRF と比較して BERT, BERT-CRF で $\mathrm{F}$ 值が改善する傾向にあった。一方，要素数が比較的少ない場合には, CRF と比較して BERT の $\mathrm{F}$ 值 が低くなる傾向があったが，BERT-CRF の F 值は，高くなる傾向があった.

## 4.4 考察

CRF と比較して，BERTを使用した実験では，要素数が多いクラスで，F 値が改善する傾向があった.逆に，要素数が少ないクラスでは， $\mathrm{F}$ 值が悪化する 傾向が見られた．BERTでは，チャンクに対するラ ベルをそれぞれ判定しているため，ラベルの遷移を 考慮した推論を行うことが難しく, 学習データ量が 少ないクラスでは $\mathrm{F}$ 值が悪化したと考えられる。ま た，適合率が減少したものの，再現率は改善してお り, CRF で検出できなかった意味ラベルが，検出で きるようになったと考えられる。

BERT-CRF の特徴としては，多くのクラスで $\mathrm{F}$ 値 が，改善していたことがあげられる．BERT の傾向 と同じく, 要素数が多いクラスでは, $\mathrm{F}$ 值が改善し ており，また改善している項目も多かった. CRF と 比較した際に，BERT では，要素数が少ない場合に， $\mathrm{F}$ 値が悪化する傾向がみられた。一方，BERT-CRF では，「付帯-続行」を除き，全てのクラスで $\mathrm{F}$ 值が 改善していた. BERT-CRFでは BERT の埋め込みを 用いることで，CRFでは検出できなかった意味ラべ ルが検出できるようになった．また， CRF 層を用い ることで，ラベルの遷移を学習し，学習データが少 ない場合に BERT で悪化していたクラスについて も, CRF と同程度かそれ以上の精度を達成すること ができたと考えられる.

各手法に共通して，正しく抽出できなかったラべ ルの例として, 同じ助動詞でも, 他の形態素と連結 することで，異なるラベルに変化するラベルなど があった．その例を表 3 に示す. 文末の「です」は 「判断」としてラベルが付与されていることが多い が，「事も無いです」では，一つの機能表現として 「不必要」のラベルが付与されている。 そのため, 各手法で「I-不必要」とラベリングするところを，「B判断」としてラベリングしている.「判断」の学習 データ量が多いのに対して，「不必要」のデータ量 が少ないため, 学習にバイアスが発生し, 正しく抽出できていないと考えられる。

## 5 おわりに

本稿では，機能表現タグ付与コーパスに対し て BERT-CRF を用いた機能表現意味ラベル抽出 を行い，有効性を検証した。実験の結果，BERT， BERT-CRF を用いた手法は， CRF を用いた手法 と比較して，有効であることが分かった. 特に，表 3 ラベリングエラー例

BERT-CRF では，再現率が大きく改善するととも に，学習データ量が少ないクラスについても精度が 改善し，より多くの意味ラベルを抽出できることが 分かった. しかし, 極端にデータ量が少ないクラス では，精度が低くなる場合もあるため，意味的に近 いクラスのデータを援用するなどの方法で，そのよ うなクラスの意味ラベル付与の精度を向上させるこ とも今後，検討する予定である。

## 参考文献

[1] 佐野正裕, 佐藤理史, 宮田玲. 文末述語における機能表現検出と文間接続関係推定への応用. 言語処理学会第 26 回年次大会発表論文集, pp. 1483-1486, 2020.

[2] 亀甲博貴, 松吉俊, 牛久敦, 笹田鉄郎, 村脇有吾, 鶴岡慶雅, 森信介. 将棋解説文への固有表現・モダリティ 情報アノテーション. 自然言語処理, Vol. 28, No. 3 , pp. 847-873, 2021.

[3] 友利涼, 村脇有吾, 松吉俊, 龟甲博貴, 森信介ほか. モ ダリティ表現認識・事象の事実性解析の同時学習.研究報告自然言語処理 (NL), Vol. 2019, No. 13, pp. $1-8,2019$.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapo-
lis, Minnesota, June 2019. Association for Computational Linguistics.

[5] 田川裕輝, 西埜徹, 谷口友紀, 大熊智子. 生成された読影所見の自動評価に向けた固有表現認識とモダリ ティ推定. 言語処理学会 第 26 回年次大会, 2020 .

[6] Fábio Souza, Rodrigo Nogueira, and Roberto Lotufo. Portuguese named entity recognition using bert-crf. arXiv preprint arXiv:1909.10649, 2019.

[7] Yudai Kamioka, Kazuya Narita, Junta Mizuno, Miwa Kanno, and Kentaro Inui. Semantic annotation of Japanese functional expressions and its impact on factuality analysis. In Proceedings of the 9th Linguistic Annotation Workshop, pp. 52-61, 2015.

[8] 松吉俊, 佐藤理史, 宇津呂武仁. 日本語機能表現辞書の編纂. 自然言語処理, Vol. 14, No. 5, pp. 123-146, 2007.

[9] 土屋雅稔, 注連隆夫, 高木俊宏, 内元清貴, 松吉俊,宇津呂武仁, 佐藤理史, 中川聖一. 機械学習を用い た日本語機能表現のチャンキング. 自然言語処理, Vol. 14, No. 1, pp. 111-138, 2007.

[10] 今村賢治, 泉朋子, 菊井玄一郎, 佐藤理史. 述部機能表現の意味ラベルタガー. 言語処理学会第 17 回年次大会発表論文集, pp. 308-311, 2011.

[11] John Lafferty, Andrew McCallum, and Fernando Pereira. Conditional random fields: Probabilistic models for segmenting and labeling sequence data. 2001.

[12] 機能表現タグ付与コーパス, (2022-12 閲 覧）. https://www.cl.ecei.tohoku.ac.jp/Open_ Resources-Japanese_FE_Corpus.html.

[13] Naoaki Okazaki. CRFsuite: a fast implementation of Conditional Random Fields (CRFs), 2007. http://www. chokkan.org/software/crfsuite/.
 田所佑一平博順 大阪工業大学大学院 \{m1m22a21, hirotoshi.taira\}@oit.ac.jp  