# 深層学習を利用した PropBank 形式の 日本語意味役割付与モデル

タロックカラム 1 竹内孔一 2 バトラーアラステア 3
長崎郁 4 パルデシプラシャント 5
1 岡山大学大学院 2 岡山大学学術研究院
3 弘前大学 4 名古屋大学 5 国立国語研究所
poq93z0h@s. okayama-u.ac.jp
takeuc-k@okayama-u.ac.jp

## 概要

本論文では日本語に対して述語項構造シソーラ スの概念フレームを基に PropBank 形式の意味役割 を付与したタグ付きコーパス NPCMJ-PT に対して，複数の深層学習モデルを適用することで，意味役割 ラベルとその範囲 (スパン)を予測する実験を行っ たので報告する. 深層学習で利用するモデルとして BERT の他にスパンを選択するためのモデルを導入 する。また NPCMJ-PT のデータからは意味役割が付与された事例約 53,000 事例 (1 事例 1 述語の意味役割) を利用する. 評価実験において BERT の利用層 の異なりや特徴量を変えることで最も高い精度を出 すモデルについて検討する。

## 1 はじめに

意味役割ラベル付与というタスクは文内の述語と 係り関係にある句に対して意味的な関係を付与す るタスクである。例えば図 1 では「壊す」の述語と 係り関係にある「彼は」「木の扉を」「手で」3つの 句に対して $\operatorname{Arg0}, \mathrm{Arg} 1, \mathrm{Arg}-\mathrm{MNS}$ のラベルを付与 するタスクである.この $\operatorname{Arg0}$ などのラベルはここ では $\operatorname{Arg} 0$ は動作主 (壊す人), $\operatorname{Arg} 1$ は壊される対象, ArgM-MNS は壊す際に使う手段を表しており，これ は述語の概念フレームによって異なる. 図 1 には概念フレームは示していないがここでは壊すは [破壊] という概念 (FID=277) である. これらは述語項構造 シソーラス $(\mathrm{PT})^{1)}$ で公開している.

一方，国立国語研究所では Web 上で公開可能な

1） https://pth.cl.cs.okayama-u.ac.jp/.「壊す」の他の概念フレー ムとして [身体部分の症状 (195)] 「異を壊す」や [消滅 (137)]「計画を壊す」がある。それぞれ概念フレームによって意味役割の意味が異なる.

図 1 「彼は木の扉を手で壊した」の意味役割ラベル

日本語テキストに対して構文木を付与したデータ NPCMJ を作成して公開している2). NPCMJ に対し て述語項構造シソーラスの体系を基に PropBank 形式の意味役割を付与したデータが NPCMJ-PT であり 現在も付与を続けている.

そこで，本論文では NPCMJ-PT に付与されている 意味役割データ (意味役割は 32 種類) に対して，深層学習モデルを適用することで係り関係にある句と その意味役割ラベルを推定する。

## 2 関連研究

意味役割付与の研究は主に英語の PropBank を 利用したデータで研究されており，CoNLL2005 や CoNLL2012 のデータが利用されている $[1,2,3]$. 上述の通り，意味役割は係り関係にある句を取り出す 必要があるため，複数の単語列を文から取り出す必要がある. 文献 [1] にあるように大きく分けて 3 種類の方法がある．1)IOB2 タグで意味役割のラベル と区間をモデル化する手法 (例えば [4])，2) スパン ベースで解く方法 $([2,3]), 3)$ 各フレーズの主辞単語を同定してから解く方法 (例えば [5]) が提案され ている。本論文では 2)のスパンを利用した手法 [3] を参考に日本語意味役割付与モデルについて検討 する。

## 3 スパンに基づく意味役割付与モ デル

2) https://npcmj.ninjal.ac.jp/index.html.

図 2 スパンベクトル「彼は木の扉を手で壊した」の意味役割ラベル

## 3.1 スパン選択モデル

本論文ではスパン選択モデル [3] を基にした深層学習による意味役割付与モデルを構築する. まず入力文である日本語はすべてトークン化された状態で 入力するとし，またどの述語に対する項 (述語と係 り関係にある句) を取り出すか指定することとする。

スパンは文中の対象の述語に対する 1 つの項を 表し, その最初と最後の形態素に対応したトークン 番号を $i, j$ とし, 意味役割のラベルを $l$ としたとき $\langle i, j, l\rangle$ で表す. 各トークンに対する分散表現ベクト ルを $h_{i}, h_{j}$ とすると, 最大のトークン列について全 ての組 $\left[h_{i}, h_{j}\right]$ を作成する. このべクトル組を連結 して1つのべクトルにしたものを本論文ではスパン ベクトルと呼ぶ.

これらのスパンベクトルに対して意味役割が付与 されているものには $\operatorname{Arg} 0$ や $\operatorname{Arg} 1$ など付与し，その 他の部分について $\mathrm{O}$ や述語 $\mathrm{V}$ や $\mathrm{N}(\mathrm{Null})$ タグ, さら に意味役割の句よりも短いものは F(Fragment) など ラベルを設定して，全スパンの組み合わせについて ラベルを用意する ${ }^{3}$. 誤差学習の部分では, 全スパ ンの組に対して正解ラベルとの誤差を計算して，ク ラス分類に基づく誤差でニューラルネットワークの 重みを学習する。

次に，テストデータに対する意味役割付与におい て，各スパンベクトルの意味役割ラベルを推定し た値 (Softmax や Logits を利用)を利用して值が大き いものから順に Greedy で意味役割のスパンとラべ ルを決定する.この処理を Decode と呼ぶ. この際， スパンが重ならないように選択する。また，テスト データに対しては学習中に利用した $\mathrm{F}$ や タグは無

$ は全部で 32 種類，その他 $\mathrm{O}, \mathrm{V}, \mathrm{N}$ と -A, F-Pを含めて学習時は 37 種のタグで学習する.
}

る. 図 2 に最終層の部分の処理について記述する. スパンベクトルには指定する述語を含むかどうかを 知らせる 1 次元のべクトルを連結している.

## 3.2 スパンベクトルの作成

スパンベクトル作成のために様々な深層学習モ デルを利用する。まず文書は BERT を利用してトー クン化を行い，各トークンに対する分散表現べク トルとする. BERT は東北大が作成した Huggin Face の BERT (Small)4)を利用する。この基本モデルを基 に，複数のモデルを作成する．1) Base: BERT の最終出力層のベクトルを利用する。また Decode 時 に softmax の值を利用する. 2) Logits: Decode 時に logits の値を利用する. 3) ExO: Decode 時に O タグ を予測しない. 4) DelO: 学習時に O ラベルを Nに統合. 5) AddF: 学習時に F ラベルを F-A0, F-A1 などよ り詳細に付与する. 6) Enc4: Base モデルの BERT の エンコーダの学習層を最終 4 層に変更. これら 6 種類のモデルを作成して実験を行う。

## 3.3 実験

上記で定義したモデルに対して意味役割付与デー タ (NPCMJ-PT) で学習およびテストを害施する.こ れによりどのモデルが効果的であるか実験的に明ら かにする。

## 3.4 実験設定

NPCMJ-PT から抽出した学習データは 1 述語に対 して関係する意味役割が付与されている形式であ る. そのため同じ文であっても対象とする述語が異 なれば別の 1 件としてデータが作成されている. 1 述語のデータの件数は 5483 件で，これらから意味役割の部分だけ取り出すと全部で 53,867 件である. これを学習，開発，テストデータとして $8: 1: 1$ に分割して利用する。

評価としてスパンと意味役割タグが一致した 部分のみ正解とする。また評価値としては適合率 (Precision), 再現率 (Recall), 調和平均 (F) を利用す る.

## 3.5 実験結果と考察

上記のモデルについてテストデータに対して意味役割付与を行った結果を表 1 に実験結果を記述

表 1 NPCMJ-PT に対する意味役割付与実験

する.

表 1 から，まず Base モデルと比較して softmax で はなくlogitsを利用した場合は $\mathrm{F}$ 値が下がったため softmax を利用した方が良いことが分かる。また副次的に出力している $\mathrm{O}$ タグや $\mathrm{N}$ タグ， $\mathrm{F}$ タグである が, 基本的にはこれらは最終の出力としては利用さ れないタグではあるが，タグそのものは正解の意味役割ラベルから与えられているため, ある種の異な るタスクをモデルに解かせている状態と考えられ る. ExO や DelO などタグを削除する方向では精度 が下がったため, 逆に F タグを細かく設定して学習 させたところ精度の向上が見られた. また，Base に たいして F 値を上回ることができた.

また，一方で BERT から取り出すべクトルを変更 した Enc4 は大きく精度が向上し, 提案したモデル の中で最も高い値をしめした. BERT の最終出力層 だけでなく最終の 4 層部分を利用した方がよいこと がわかる.

また表 1 の結果は英語ので CoNLLを利用した結果より $\mathrm{F}$ 值が低いことが分かる. しかしながら学習データが意味役割の項で約 20 万以上 ${ }^{5 ）}$ ときい ことから，学習データ量による差があると考えら れる。

## 3.6 おわりに

日本語の PropBank 形式の意味役割付与データで ある NPCMJ-PT に対して，スパンに基づく意味役割付与モデルを構築して評価実験を実施した. その結果 $\mathrm{F}$ 值として約 0.62 の精度を得ることができた.意味役割の種類数は 32 である. 英語の結果に比べ て F 值が劣る理由としてデータ量が挙げられるが， NPCMJ-PT も約 5 万例と少なくない意味役割データ 量であるため，より外部知識や深層学習モデルを工夫することにより精度の向上を行う予定である.

## 謝辞

本研究の遂行にあたって JSPS 科研費 JP22k00530 の助成を受けた。

## 参考文献

[1] Zhisong Zhang, Emma Strubell, and Eduard Hovy. Comparing span extraction methods for semantic role labeling. In Proceedings of the 5th Workshop on Structured Prediction for NLP, pp. 67-77, 2021.

[2] Luheng He, Kenton Lee, Omer Levy, and Luke Zettlemoyer. Jointly Predicting Predicates and Arguments in Neural Semantic Role Labeling. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 364-369, 2017.

[3] Hiroki Ouchi, Hiroyuki Shindo, and Yuji Matsumoto. A Span Selection Model for Semantic Role Labeling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1630-1642, 2018.

[4] Luheng He, Kenton Lee, Mike Lewis, and Luke Zettlemoyer. Deep Semantic Role Labeling: What Works and What's Next. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 473-483, 2017.

[5] Zhisong Zhang, Xiang Kong, Zhengzhong Liu, Xuezhe Ma, and Eduard Hovy. A two-step approach for implicit event argument detection. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7479-7485, 2020.

5） https://www.cs.upc.edu/ srlconll/st05/slides/intro.pdf
 タロックカラム 1 竹内孔一 2 バトラーアラステア 3 長崎郁 4 パルデシプラシャント 5 1 岡山大学大学院 2 岡山大学学術研究院 3 弘前大学 4 名古屋大学 5 国立国語研究所 poq93z0h@s. okayama-u.ac.jp takeuc-k@okayama-u.ac.jp  