# 辺編集による文書レベルの関係グラフ構築

牧野晃平 三輪誠 佐々木裕
豊田工業大学
\{sd19446, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 1 はじめに

文献中に記述された情報を抽出して利用する研究 が盛んに行われている $[1,2,3]$. 抽出対象の情報は,表形式や用語ペアと関係の集合などのように，目的 に応じて様々な形式をとる。これらの情報の抽出に はその形式に適した手法が必要だが，それぞれに特化した手法を作成するのは非効率でコストが高い.

情報を表現する形式の一つとして，グラフ構造が ある.グラフ構造は，節点と，節点同士を関連性に 基づいて結びつける辺の集合で表現できる形式で,様々な情報を包括的に表現可能な形式の一つであ る。例えば，表形式であれば，見出しと各セルを節点として，その間を辺で接続して表現できる. この グラフ構造を利用して，文献中から抽出する情報を グラフ構造として扱うことで，様々な情報抽出タス クに利用可能な抽出器が実現できると考えられる。

そこで本研究では, 上記の抽出器作成の第一歩と

して，用語が与えられた上での文を超えた文書レべ ルでの関係分類を対象に，節点が与えられた上での グラフの構築モデルの実現を目指す. 対象の用語間 の関係を，用語を節点・関係を辺としたグラフと捉 えることで対象問題をグラフ構造として扱う。

提案手法では，他のシステムで構築されたグラフ をもとに，辺を徐々に編集する深層学習モデルを実現する. 既存のグラフの辺を徐々に編集すること で，それまでに抽出されている情報をグラフとして 利用し, 文脈情報と周囲のグラフ情報を考慮したグ ラフを構築する。

## 2 関連研究

## 2.1 グラフ畳み込みネットワーク

Kipf らはグラフ構造の表現獲得のためにグラフ 畳み込みネットワーク (Graph Convolutional Network; GCN）を提案した [4]. GCN では，各節点の特徴を

図 1 提案手法の全体像

表すベクトルを用いて，節点の表現を周辺の節点の 情報を用いて更新することで，グラフ構造における 周辺の情報を考慮した各節点の表現を得る。

## 2.2 情報抽出

グラフを抽出する類似のタスクとして，関係抽出や時間関係抽出などがある. これらのタスクで は，入力された文中の用語間の関係性を抽出する. Christopoulou ら [1] は用語を節点・関係を辺とした 文書単位のグラフを作成し，その辺を分類すること で，文間の関係を含む文書単位の関係抽出に取り 組んだ. Nan ら [5] は文書単位で用語や単語の潜在的なグラフを構築することで，関係抽出を行った。 Cheng ら [6] は事象それぞれに対して時刻にあわせ て動的な表現を利用して時間関係抽出を行った.

## 3 グラフの辺編集モデル

本研究では，用語が与えられた上での文を超えた 文書レベルでの関係分類をグラフの構築として定式化する，具体的には，図 1 のように節点が与えられ た上で既存のシステムで抽出したグラフの辺を編集

して，文脈上とグラフ上の両者の観点を考慮に入れ たグラフを構築する. グラフの辺の編集は, 文脈情報とグラフ構造を考慮したグラフの辺分類モデルに よって節点ぺア間の辺のクラスを分類し，その結果 で上書きすることで実現する.

モデルは文脈情報を導入するために事前学習モデ ル Longformer [7]を利用して節点の表現を作成する. また，グラフ上で周辺の節点の情報を導入するため に，節点の情報を接続している辺に沿って伝搬させ る手法である GCNを利用する。

## 3.1 グラフの辺分類モデル

グラフの辺分類モデルとして，グラフの任意の 節点ペア間の辺を分類するモデルを提案する. モ デルは, 入力として文書の情報 $\operatorname{doc}$ と, 節点が $\mathcal{N} \cdot$辺が E のグラフ，編集対象の節点ペア $\left(\mathcal{N}_{i}, \mathcal{N}_{j}\right)$ を 受け取り, 編集対象の節点ペア間の辺のクラス $\hat{\mathscr{E}}_{i j}$ を出力する. ここでは, 文書 doc と節点に対応する用語の情報 $\mathcal{N}$ から各節点の文脈を考慮し た表現を得る EncodeNode(doc, $\mathcal{N})$ と, 得られた節点の表現 $\overline{\mathcal{N}}$ を用いて編集対象の辺の表現 $\overline{\mathscr{E}}$ を作成する EncodeEdge $(\overline{\mathcal{N}}, \mathscr{\mathscr { E }})$, そして節点ペア $\left(\mathcal{N}_{i}, \mathcal{N}_{j}\right)$間の辺の表現 $\overline{\mathscr{E}}_{i j}$ から編集後の辺 $\hat{\mathscr{E}}_{i j}$ を出力する EdgeClassifier( $\left.\overline{\mathscr{E}}_{i j}\right)$ に分けて説明する. これらを合わ せると以下の式で表せる.

$
\begin{gathered}
\overline{\mathcal{N}}=\operatorname{EncodeNode}(\operatorname{doc}, \mathcal{N}) \\
\overline{\mathscr{E}}=\operatorname{EncodeEdge}(\overline{\mathcal{N}}, \mathscr{\mathscr { C }}) \\
\hat{\mathscr{E}}_{i j}=\operatorname{EdgeClassifier}\left(\overline{\mathscr{C}}_{i j}\right)
\end{gathered}
$

各節点の表現を作成する EncodeNode は，事前学習した Longformer [7] から得られたサブワード単位 の表現を用語レベルの表現にまとめるために，サブ ワードの表現の各次元で最大值をとるプーリング （Pool）をして，用語のラベルの表現 $\boldsymbol{v}^{l a b}$ を結合し て表現する.

$
\begin{aligned}
\overline{\mathcal{N}} & =\operatorname{EncodeNode}(\operatorname{doc}, \mathcal{N}) \\
& =\left[\operatorname{Pool}(\text { Longformer }(\operatorname{doc})) ; \boldsymbol{v}^{l a b}\right]
\end{aligned}
$

EncodeEdge( $\overline{\mathcal{N}}, \mathscr{E})$ では, EncodeNode によって得 られた節点の表現 $\overline{\mathcal{N}}$ から，辺の表現 $\overline{\mathscr{E}}$ 作成する. まず，節点の表現を，GCNによって辺に沿って伝搬 させることで，グラフ上での周辺の節点を考慮した 節点の表現 $\overline{\mathcal{N}}^{G}$ を計算する.

$
\overline{\mathcal{N}}^{G}=\operatorname{GCN}(\overline{\mathcal{N}}, \mathscr{E})
$

## Algorithm 1: グラフの編集手順

$\operatorname{Distance}\left(\mathcal{N}, d_{1}, d_{2}\right)$ : 距離が $d_{1}$ 以上 $d_{2}$ 未満の節点 ペア集合 $\mathscr{P}$ 返す関数

Input: doc：文書, $\mathcal{N}$ : 節点の集合, $\mathscr{E} ：$ 辺集合, $d_{\text {max }}$ : 距離の最大值

Output: $\mathscr{E}$ : 辺集合

$\overline{\mathcal{N}} \Leftarrow$ EncodeNode(doc, $\mathcal{N})$

while $d$ in range $\left(\max \left(|\mathcal{N}|, d_{\text {max }}\right)\right)$ do

$\overline{\mathscr{E}} \Leftarrow \operatorname{EncodeEdge}(\overline{\mathcal{N}}, \mathscr{\mathscr { C }})$

if $d=d_{\text {max }}$ then

$\mathscr{P} \Leftarrow \operatorname{Distance}\left(\mathcal{N}, d_{\text {max }}, \infty\right)$

else

$\mathscr{P} \Leftarrow \operatorname{Distance}(\mathcal{N}, d, d+1)$

end if

while $(i, j)$ in $\mathscr{P}$ do

$\mathscr{E}_{i j} \Leftarrow$ EdgeClassifier $\left(\overline{\mathscr{C}}_{i j}\right)$

end while

end while

各辺の表現 $\overline{\mathscr{B}}$ の各要素として, 各節点の組み合わ せ $\left(\mathcal{N}_{i}, \mathcal{N}_{j}\right)$ について，その間の辺の表現ベクトル $\overline{\mathscr{E}}_{i j}$ を計算する。この表現は，グラフから得られた表現 に，分類に有効となるような人手の特徴べクトルと して，隣接節点を表す表現や節点の始点と終点が文書中でどちらが先に出現するかを表す表現 $\boldsymbol{b}_{i j}$ を結合して作成する. 辺の始点と終点となる節点に対す る全結合層をそれぞれ, $\mathrm{FC}^{\text {head }}$ と $\mathrm{FC}^{\text {tail }}$ とすると，以下のように表現できる.

$
\begin{aligned}
\overline{\mathscr{E}} & =\operatorname{EncodeEdge}(\overline{\mathcal{N}}, \mathscr{E}) \\
\overline{\mathscr{C}}_{i j} & =\left[\mathrm{FC}^{\text {head }}\left(\overline{\mathcal{N}}_{i}^{G}\right) \otimes \mathrm{FC}^{\text {tail }}\left(\overline{\mathcal{N}}_{j}^{G}\right) ; \boldsymbol{b}_{i j}\right]
\end{aligned}
$

ただし， $\otimes$ は要素積を示す.

EdgeClassifier $\left(\overline{\mathscr{C}}_{i j}\right)$ では得られた節点間の表現か ら, 節点 $\left(\mathcal{N}_{i}, \mathcal{N}_{j}\right)$ 間の辺 $\mathscr{E}_{i j}$ を分類する. 出力の全結合層 $\mathrm{FC}^{\text {out }}$ を用いて，それぞれのクラスの確率 $\hat{\boldsymbol{p}}_{i j}$ を計算し, 最大の確率のクラスを選択して，辺の 予測値 $\hat{\mathscr{E}}_{i j}$ を出力する.

$
\begin{gathered}
\hat{\mathscr{B}}_{i j}=\operatorname{EdgeClassifier}\left(\overline{\mathscr{E}}_{i j}\right)=\arg \max \hat{\boldsymbol{p}}_{i j} \\
\hat{\boldsymbol{p}}_{i j}=\operatorname{Softmax}\left(\mathrm{FC}^{\text {out }}\left(\overline{\mathscr{C}}_{i j}\right)\right)
\end{gathered}
$

## 3.2 グラフの編集

グラフの構築は，入力されたグラフの節点ペアの 全組み合わせに対して， 3.1 節の辺分類モデルによ る分類結果によって徐々に上書きして行くことで実
現する。編集の順序は，近い関係を先に抽出し，遠 い問題は後に抽出する近傍優先戦略 $[8,9]$ に基づき,節点の元の用語同士が文書内で近いものから編集を 進め，順次，離れた節点同士の編集を行う. 用語の 距離は出現順序に基づいて計算する. 例えば文書中 で $m$ 番目に出現した用語と $m+3$ 番目に出現した用語同士の距離は 3 とする.

具体的な編集方法をアルゴリズム 1 に示した. 距離が近い節点ペアから順番に，同一距離のペアごと にまとめて, 辺分類器による辺のクラス分類を行 い，その出力で上書きをして編集を進める.このよ うに編集を進めることで，すべての辺を独立に編集 する場合では $|\mathcal{N}|^{2}$ 回の編集が必要であるのに比べ て, $|\mathcal{N}|-1$ 回の編集で行うことができ, さらに上限 $d_{\text {max }}$ を設けることで，編集は $d_{\text {max }}$ 回で完了する.

## 3.3 学習

辺分類モデルの学習は, 正しいグラフが抽出で きるように，対数尤度を最大化する. 正解の辺を $\mathscr{E}_{i j}^{g o l d}$, 辺の全クラスを $\mathscr{C}$ とすると, 損失 $\mathscr{L}$ は以下 のように定義できる.

$
\mathscr{L}=-\sum_{i=1}^{|\mathcal{N}|} \sum_{j=1}^{|\mathcal{N}|} \sum_{c \in \mathscr{C}} \mathbb{1}\left[c=\mathscr{E}_{i j}^{\text {gold }}\right] \cdot w_{c} \log \hat{\boldsymbol{p}}_{i j}[c]
$

ただし， $\mathbb{1}[\cdot]$ は，括弧内の条件を満たしたときに 1 ，満たさないときには 0 を返す関数で， $w_{c}$ はクラス ごとの重みである. クラスごとの重み $w_{c}$ は，それ ぞれのクラスの損失の重みを示す.

## 4 実験と考察

## 4.1 実験設定

本実験では無機材料文献からの合成プロセス抽出 のためのコーパス合成手順コーパス [10]を利用し て実験を行う．合成手順コーパスでタグ付けされて いる合成プロセスは，材料や操作，条件などを表す 用語と, 操作の進行や材料の投入, 条件付けといっ たような関係がタグ付けされているコーパスで，各文献に対して一つのグラフを定義することができ る. 訓練データ・開発データ・評価データはそれぞ れ $200 \cdot 15 \cdot 15 て ゙ ，$ 公開されているコーパスと同一 の分割で実験を行う。

評価指標は，全体の $\mathrm{F}$ 值であるマイクロ $\mathrm{F}$ 值と，各クラスの $\mathrm{F}$ 値を平均したマクロ $\mathrm{F}$ 値で評価する。評価は開発データに対して最高のマイクロ $\mathrm{F}$ 值が得表 1 探索するパラメタ

表

表 2 グラフの編集モデルとルールベース抽出器の比較 モデル マイクロ $\mathrm{F}$ マクロ $\mathrm{F}$ ルール十編集 (提案手法) $0.802 \quad \mathbf{0 . 7 8 8}$

られた点での評価データに対する評価値で行う.

作成したルールの抽出結果を編集した提案手法 （ルール＋編集）に対する比較手法として，ルール による抽出 (ルールベース), 辺の全く接続されて いないグラフから編集によって辺を接続していく もの（編集のみ），そして (7) 式において $\overline{\mathcal{N}}^{G}$ の代わ りに $\overline{\mathcal{N}}$ を用いた GCNを利用せずにすべての辺を同時に決定したもの（GCN 無し）の三つを用意した. ルールの詳細は付録 $\mathrm{A}$ に示した. ルールは節点ペア のクラスの組み合わせごとに設定し，最も近いもの 同士で接続したり, 出現した順番に接続したり, 辞書マッチを用いたりした。

表 1 に示したハイパパラメタについては，パラメ タの組み合わせを全探索し, 最適なパラメタとして 下線が引かれたパラメタを選択した. 全探索はどの モデルも十分収束する 130 エポックで学習を行い, モデルの学習が終了したとき，開発データに対して 最も高いマイクロ $\mathrm{F}$ 值を記録したエポックのときの モデルをその試行のモデルとした. パラメタは開発 データに対して最大のマイクロ $\mathrm{F}$ 值を記録したパラ メタを選択した。

事前実験によって損失における $w_{c}$ を $w_{c}=1$ とし て学習した場合では，予測する辺の数のうちのほと んどが負例であることから，モデルが負例しか予測 しなくなってしまったため，正例のクラスの損失が 大きくなるようにした. 学習初期には正例の損失が 大きくなるように係数を掛けておき，学習が進むに つれ負例と同一の重み付けになるように係数をスケ ジューリングした.

## 4.2 実験結果

得られた結果を表 2，ルールベースとルール十編集に対するクラスごとの抽出性能は付録 B に示し

図 2 開発データに対する編集の最大距離 $d_{\text {max }}$ とマイク ロ $\mathrm{F}$ 値の関係

た.まず，提案手法であるルール十編集とルール ベースを比較すると，マイクロ $\mathrm{F}$ 值においては若干下がったものの，マクロ $\mathrm{F}$ 値ではルール＋編集のほ うが約 0.1 ポイントほど高い性能を示した. この結果から，ルールベースの出力を提案手法により編集 することで，クラスごとの性能のばらつきを減らす ことができることがわかった. 一方で，ルールが得意な関係に関しては抽出精度が下がってしまい，全体として，マイクロ $\mathrm{F}$ 值が下がってしまっており， ルールの情報のより有効な利用方法については今後の課題である. 次に, ルール十編集と編集のみを 比較すると，ルール十編集のほうが高い性能を示し ており，ルールベースの抽出器の抽出結果の利用の 有効性を示すことができた. 最後に，ルール十編集 と GCN 無しを比較した場合では，グラフ情報を利用しているルール十編集の方が高い性能を示してお り，グラフ情報の有効性が示すことができた.

## 4.2.1 モデルの編集の最大距離

$d_{\text {max }}$ を変化させ，最大距離とマイクロ $\mathrm{F}$ 值との 関係を確認した. 開発データに対して実験を行った 結果を図 2 に示した. $d_{\text {max }}=1$ はすべての辺を同時 に定めている場合で， $d_{\text {max }}$ が増加していくにつれ て，距離が近いペア同士を独立して予測することに 対応する. 結果より,$d_{\text {max }}=1$ における精度が一番低いことから, 辺の抽出結果を他の辺の抽出に使う ことが有効であることがわかる. また，最大距離が 小さい間は距離が増えるごとに精度があがってい ることから，距離の近い順に編集を進める場合は，距離の近い節点においては，一度にグラフを定め るよりも徐々に定めていくことが，辺の抽出にお いて効果的であることがわかった. 併せて， $d_{\text {max }}$

図 3 ルール+編集の出力グラフ

は， $d_{\text {max }} \geq 10$ で飽和していると読み取れるため, $d_{\text {max }} \geq 10$ では同時に編集を行うことは問題ないと 考えられる。

## 4.2.2 実際の事例

実際に抽出した例を比較して，その抽出の特性 を確認する．グラフを抽出した内の一部を可視化 したものを示す. 図 3 は合成手順コーパスの開発 データ内の内の一例 [11] に対するルール十編集で 抽出した結果である. 得られた結果を見ると，合成手順が「mixed $\lrcorner \rightarrow$ prefired $\lrcorner \rightarrow \cdots$ と操作が進み, $「$ prefired」には温度条件「 $900^{\circ} \mathrm{C} 」$ と時間条件「 $\left.24 \mathrm{~h}\right.\rfloor$ が接続していることがわかる.

## 5 結論

本研究では, 文書レベルでの用語間の関係分類 を，節点が与えられた上でのグラフの構築として定式化し，グラフの辺を編集することで，文脈とグラ フの両者を考慮した辺の抽出をおこなう手法を提案 した. 合成手順コーパスに対する合成プロセスの抽出を用いて評価を行い，ベースラインとしたルール による抽出よりマイクロ $\mathrm{F}$ 值は若干低下したもの の，マクロ $\mathrm{F}$ 值で $10 \%$ の向上が見られた. また，グ ラフ情報の利用，ルールによる抽出結果の利用，辺 の抽出結果の他の辺の抽出への利用が有効であるこ とがわかった. 今後は, 辺の編集モデルの改善を行 うとともに，本研究で取り組んだ辺の編集のみでな く節点も編集可能にすることで，任意のグラフを編集可能とし，グラフで表現可能な情報の抽出に対し て一般に利用可能なモデルの作成を目指す.

## 参考文献

[1] Fenia Christopoulou, Makoto Miwa, and Sophia Ananiadou. Connecting the dots: Document-level neural relation extraction with edge-oriented graphs. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019, pp. 49244935, 2019.

[2] Makoto Miwa and Mohit Bansal. End-to-end relation extraction using LSTMs on sequences and tree structures. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1105-1116, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Patrick Verga, Emma Strubell, and Andrew McCallum. Simultaneously self-attending to all mentions for fullabstract biological relation extraction. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 872884, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[4] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. In International Conference on Learning Representations (ICLR), 2017.

[5] Guoshun Nan, Zhijiang Guo, Ivan Sekulic, and Wei Lu. Reasoning with latent structure refinement for documentlevel relation extraction. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1546-1557, Online, July 2020. Association for Computational Linguistics.

[6] Fei Cheng, Masayuki Asahara, Ichiro Kobayashi, and Sadao Kurohashi. Dynamically updating event representations for temporal relation classification with multicategory learning. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1352-1357, Online, November 2020. Association for Computational Linguistics.

[7] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer. arXiv:2004.05150, 2020.

[8] Makoto Miwa and Yutaka Sasaki. Modeling joint entity and relation extraction with table representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1858-1869, Doha, Qatar, October 2014. Association for Computational Linguistics.

[9] Shuai Ma, Gang Wang, Yansong Feng, and Jinpeng Huai. Easy first relation extraction with information redundancy. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3851-3861, Hong Kong, China, November 2019. Association for Computational Linguistics.
[10] Sheshera Mysore, Zachary Jensen, Edward Kim, Kevin Huang, Haw-Shiuan Chang, Emma Strubell, Jeffrey Flanigan, Andrew McCallum, and Elsa Olivetti. The materials science procedural text corpus: Annotating materials synthesis procedures with shallow semantic structures. In Proceedings of the 13th Linguistic Annotation Workshop, pp. 56-64, Florence, Italy, August 2019. Association for Computational Linguistics.

[11] S.B. Zhang, Y.P. Sun, B.C. Zhao, X.B. Zhu, and W.H. Song. Influence of ni doping on the properties of perovskite molybdates srmo1 - хnixo3 $(0.02 \leq \mathrm{x} \leq 0.08)$. Solid State Communications, Vol. 142, No. 12, pp. 671 - 675, 2007.

## A ルールベースの抽出器

合成手順コーパスの関係を抽出するためのルール ベースの抽出器では, 記述されたルールに従い, ルー ルに適合するものに対して辺を接続する. 辺の種類は OPeration-OPeRation $\cdot$ OPeration-Material ・ その他の辺 の 3 種類に分類してルールを定義する.ルールは節点ぺ アの用語ラベルごとに出現順序と距離に合わせて定義す る. 距離は用語ぺア間に存在する語の数で定義し, 文書 をスペース区切りにすることで単語分割した。

## A. 1 Operation-Operation

Next_Operation : Operation-Operation の辺ラベルは, Next_Operation のみの一種類で, OPeRation の用語が出現した順番に，前から後ろへ NEXT_OPERATION の辺をつ ける.

## A. 2 Operation-Material

SOLVENT_MatERIAL $\cdot$ ATMOSPHERIC_MATERIAL $\cdot$ PARticIPANT_MATERIAL：これらのクラスについては，クラス毎に 辞書を用意し, マッチした辞書に割り当てられたクラス の辺を MATERIAL と最近傍の OPERATION に対する辺を接続する。

ReciPe_Precursor $\cdot$ Recipe_Target : Solvent_Material, ATMOSPHERIC_MATERIAL, PARTICIPANT_MATERIAL の辞書に 該当しない MATERIALをすべて, 実際に訓練データに存在 する辺の数がより多い RECIPE_PRECURSOR のクラスの辺と して最近傍の OPERATION に対して接続する。

## A. 3 その他の関係

PROPERTY_OF : PROPERTY-UNIT を始点とする場合では， PROPERTY-UNIT から文内で最も近傍に存在する MATERIAL に対して PROPERTY_OF の辺を割り当てる. PROPERTY-MISC を始点とする場合では, 文中で PROPERTY-MISC から最も近傍に存在する MATERIAL もしくは NONRECIPE-MATERIAL に 対して接続する。

Condition_OF: すべての CONDITION-Unit と ConditionMisc から最近傍の OPERATION に対して, Condition_OF の 関係を割り当てる。

NUMBER_OF : NUMBER から文内の後方で PROPERTY-UNIT $\cdot$ CONDITION-UnIT ・APpARATUS-UnIT に属する用語の内，最 も近傍に記述されている用語に対して辺を接続する.

AMount_OF : AMOUNT-UNIT と AMount-UnIT から, MATERIAL と NONRECIPE-MATERIAL のうち, 文内で最近傍のも のに対して辺を接続する。

DeSCRIPTOR_OF : MATERIAL-DesCRIPTOR から, 文内で最 も近傍纪存在する MATERIAL もしくは NONRECIPEMATERIAL に対して, DESCRIPTOR_OF の辺を接続する. また, APPARATUS-DeSCRIPTOR からの関係では，SYntHESISAPPARATUS に対してのみ辺を接続する。

ApParatus_Of : (Synthesis-

APPARATUS|ChARACTERIZATION-APPARATUS)-OPERATION の辺では, SyNTHESIS-APPARATUS 及び ChARACTERIZATIONAPPARATUS から，前方で最も近傍に存在する OPERATION に対して辺を接続する. 前方に存在しない場合は, 後方 で最も近傍に存在する OPERATIONに対して辺を接続する.

TYPE_OF : ま ず, PRoPeRTy-TYPE-ProPERTY-UNIT と, APPARATUS-PROPERTY-Type-ApPARATUS-UnIt については,
それぞれ文中で最も近傍に存在する単位に対して関係 を割り当てる. CONDITION-TYPE-CONDITION-UnIT について は, CONDITION-TYPE から文中の前方で最も近傍に存在す る CONDITION-UNIT に関係を割り当てる。

BRAND_OF：Brand から前方で MateriaL・NONRECIPEMaterial $\cdot$ Synthesis-Apparatus $\cdot$ CharacterizationAPPARATUS のクラスの用語の内，文内で最も近傍に存在す るものに対して辺を接続する。

APPARATUS_ATtr_OF:APPARatus-Unit から最近傍 の) Synthesis-Apparatus もしくは CharacterizationAPPARATUS に対して辺を接続する。

COREF_OF：ルールを記述するのは困難であったため， ルールベースでは対象としない

## B クラスごとの抽出性能

ルールベースとルール十編集のクラスごとに算出した 評価值を，評価データに対して算出したものをそれぞれ 表 3 と表 4 に示した。

表 3 ルールベースの抽出器におけるクラス毎の抽出結果

表 4 ルール十編集におけるクラスごとの抽出性能


# 日本語 Wikipedia カテゴリを用いた記事のクラス分類手法の提案

小板橋佳晃
北海道大学
yk-wwm-aa@eis.hokudai .ac.jp
}

吉岡真治
北海道大学
理研 AIP
yoshioka@ist. hokudai.ac.jp
}

う森羅 2020-ML である。本研究では、記事のクラス 分類の他言語への拡張を想定し、日本語 Wikipeida の記事のクラス分類を行なっている。トレーニング データは森羅 2020-ML で提供されるクラス分類済 みの日本語版 Wikipedia の記事のデータを用いた。 ただしこのデータには、マルチラベルのデータが含 まれているが、ノイズになりかねないためシングル ラベルのデータのみを使用した。カテゴリは 2020 年 3 月 1 日取得の Wikipedia カテゴリデータを使用 した。
## 3 Wikipedia カテゴリについて

Wikipedia は、世界最大の百科事典である。その 中で、カテゴリは閲覧性の向上を目的として記事を 分類する役割を果たしている。Wikipedia は誰でも 情報の追加や編集が可能であるため、カテゴリには 以下の 3 つの定義が示されいる。1つ目は「分割を 示すもの」、2つ目は「関連を表すもの」、3つ目は 「ウィキペディアの骨組み」である。この中の分割 を示すカテゴリは、クラス分類に役立つと考えられ る。一方で、関連を表すカテゴリや定義からは外れ たカテゴリも存在するため、カテゴリは記事のクラ ス分類に有益な情報を持つがノイズを多く持つと言 える。

私たちは、これまでカテゴリとカテゴリ間の関係 を分類し、Wikipedia カテゴリオントロジー [4] を構築してきた。この研究においてカテゴリは以下 4 つ に分類した。
- topic：「北海道大学」「トヨタ自動車」のような 具体的な事象を表すカテゴリ

$\cdot$ constrainedTopic：「日本のサッカー」「各年の日本」のような topic の性質を持つカテゴリ

・set：「大学」「企業」といったクラスを表すカテ ゴリ
- constrainedSet：「日本の大学」「各国の企業」の

## ような set の性質を持つカテゴリ

また、我々はこの Wikipedia カテゴリオントロ ジーを用いた記事のクラス分類を試みた [5]。具体的には、記事につくカテゴリから包含関係を満たす 親カテゴリを遡り対応する set カテゴリからクラス を推測する方法を提案した。しかし、図 1 のように 対応する setを調べるためにカテゴリを上位に遡る と複数の set が候補として現れ、複数クラスが推定 されてしまう課題が生じた。

図 1 カテゴリの例

## 4 提案手法

[5] の方法で問題となった対応する Setを決定する際の問題を解決するために、本研究では constrainedSet の set の文字列部分を抽出すること で上位カテゴリに遡らなくても対応する Setを決定する方法を提案する。具体的には、constraindSet の記述パターンに関するこれまでの分析から、 constraindSet は「Aの B」や「AB」のような記述パ ターンをもち、B の部分が Setを表す単語になって いることが多いことが分かっている。

## 4.1 カテゴリの set の抽出

図 2 カテゴリの例

カテゴリの setを抽出すために、カテゴリの 記述パターンを利用する。具体的には、図 2 の constrainedSet のカテゴリの例の通り、「アジアの企業」というカテゴリの上位カテゴリと子カテゴリを 見ると「A の企業」というカテゴリが存在すること がわかる。このように親カテゴリと子カテゴリで後半が一致する文字列を set として抽出した。このパ ターンによる制約部分の除去の手続きを全てのカテ ゴリ ${ }^{1}$ 間の親子関係について適用し、 set の候補を 生成した。この候補の生成は、constrainedTopic の関係についても同様に行われることになるが、後半の set 候補の抽出の際に役に立たない情報として扱わ れることが期待される。

・文字列パターンの照合
- 形態素解析の利用

文字列パターンの照合では、カテゴリの後方から 順次文字列長を増やし親子カテゴリと比較し、同じ 文字列パターンが存在する最長の文字列を set とし て抽出する。また、後方に親子カテゴリと同じ文字列パターンが存在せず、setを抽出できない場合は 前方から順次文字列長を増やし親子カテゴリと比較 し同じ文字列パターンが存在する最長の文字列を力 テゴリから引いた文字列を set として抽出する。こ れは、図 2 の例において「A の企業」というカテゴ リが親子カテゴリに存在しない場合でも前方からの 文字列の一致で「アジアの」という文字列が抽出で き、これをカテゴリから引くことで「企業」という set が抽出できるからである。

形態素解析の利用では、後方から単語を順次増や し親子カテゴリと比較し、同じ文字列が存在する最長の文字列を set として抽出した。また、後方に親子カテゴリと同じ文字列が存在せず、set を抽出で きない場合は前方から単語を順次増やし親子カテゴ リと比較し同じ文字列パターンが存在する最長の文字列をカテゴリから引いた文字列を set として抽出 した。

## 4.2 set 候補の抽出

文字列パターンの照合で抽出した set と形態素解析を利用して抽出した set のそれぞれにおいて、set 候補の抽出を行う。各 set に対して precision を計算 し、実験をした結果 0.86 以上を set 候補とした。

$
\operatorname{prec}(\text { set }, \text { class })=\frac{\text { num }(\text { set } \cap \text { class })}{\operatorname{num}(\text { set })}
$

num $($ set $)$ : 同じ set を持つカテゴリ数 num(set $\cap$ class $)$ : 各クラスごとの同じ setを持つカ テゴリ数

## 4.3 カテゴリのクラス分類

文字列パターンの照合から抽出された set 候補と 形態素解析を利用して抽出された set 候補と両方 を使って抽出した set 候補で全てのカテゴリに対 して、クラス分類を行った。その統計データは表 1 に示す。分類済みが 6 割という結果より、日本語 Wikipedia カテゴリオントロジーでは、set および、 constrainedSet に対応するカテゴリが 68 \%であるた め、その全てが森羅のクラス分類と対応するもので はないことが確認された。具体的には、set 部分が 複数のクラスに対応する (アーチスト：人名 or 公演組織名）場合などが存在した。

表 1 分類、未分類のカテゴリの割合

## 4.4 記事のクラス分類

分類済みのカテゴリを使い記事のクラス分類を行 う。具体的には、記事につく分類済みのカテゴリの 精度 prec(set,class) が最大のものをその記事のクラス とした。また、記事につくカテゴリの中に記事と同名のカテゴリが存在した場合そのカテゴリの親カテ ゴリからクラス分類を行った。これは、その記事の クラスを表すカテゴリは記事よりもそのカテゴリに つくと考えたからである。

## 5 結果

実験は 5-fold の cross-validation で行い、f 值はその 平均をとっている。実験データは, クラス数：196、記事数： 804693 件となっている。文字列パターンの 照合によりクラス分類をした結果の $\mathrm{f}$ 値ごとの分布 を表 2 に、形態素解析の利用によりクラス分類を した結果の $\mathrm{f}$ 値ごとの分布を表 3 に、両方を利用 しクラス分類した結果の $\mathrm{f}$ 值ごとの分布を表 4 に 示す。また、全体での精度は、文字列パターンの照合：0.76、形態素分析の利用：0.69、両方利用：0.71 となった。precisionを重視したカテゴリの活用を行 なったために、一貫して適切な対応するカテゴリが 作成・付与されていない場合などに、極端に recall が低い、場合によっては、対応するカテゴリが存在 しない状況になった。全体での精度を??示す。表 2 文字列パターンの照合を利用

表 3 形態素解析を利用

表 4 文字列パターンの照合を利用

## 6 考察

まず、文字列パターン照合を利用した結果を考察 していく。f 值が高いクラスに関して抽出した setを 見てみると、競走馬名では「の競走馬」「種牝馬」と いう set が抽出され、トンネル名では「州地方のト ンネル」「の道路トンネル」といった set が抽出され ており、クラス名と対応する set が抽出できている ことがわかる。

一方で、 $\mathrm{f}$ 值が低いクラスに関して抽出した set を 見てみると、グループ企業では「企業グループ」と いう setが抽出されており precision は 0.82 である が recall が 0.076 ととても低い。理由は、ページに つくカテゴリに「企業グループ」という setを持つ カテゴリが存在せず、「企業」の set を持つカテゴリ が多いからである。これは、編集者がグループ企業 と企業の区別を意識せずにカテゴリ付けをしてし まっているからであると考えられる。また例外的 に、precision が 0.034 と極端に低く recall も低いクラ

スが存在し、大陸地域名である。このクラスに分類 されている記事を見てみるとノイズと思われるもの がとても多く含まれており、これが原因だと考えら れる。

次に、形態素解析を利用した結果を考察してい く。f 值が高いクラスに関して抽出した setを見てみ ると、学校名では「航空学校」「私立中高一貫校」と いう setが抽出され、音楽名では「曲」「卒業ソング」 という setが抽出されおり、クラス名と対応する set が抽出できていることがわかる。

一方で、 $\mathrm{f}$ 值が低いクラスに関して抽出した setを見 てみると、映像作品名では「スーパー戦隊シリーズ オリジナルビデオ作品」「ビデオ・クラップ集」と いった set は抽出できており、precision は 0.79 であ るが recall が 0.11 ととても低い。カテゴリから set を抽出した段階では、「映像作品」「アニメ作品」と いった set として妥当だと考えられるものが抽出で きているがこれらの precision が低いため set 候補に ならなかった。「映像作品」は、映像作品名以外に 芸術作品_その他や公演名にも多く出てきている。 この 2 つのクラスには、音楽系の映像作品が多く含 まれていた。これらの記事は、両方のクラスに属す ると見なすこともできるため、今後検討が必要で ある。

最後に、文字列パターン照合と形態素解析を利用 したときの違いについて考察していく。実験結果よ り、文字列パターンの照合の方が $\mathrm{f}$ 値が高いクラス が多いことがわかる。precision と recall にも目を向 けると両方とも文字列パターン照合の方が高い値を 示しているが、recall の差が precision に比べて大き なっている。これは、形態素解析では単語ごとに区切って set を抽出しているが文字列パターンの照合 で一文字づつ文字列を区切っているため、単語の途中まで文字列パターンが親子カテゴリと一致してい る場合でも setを抽出できるためである。具体的に、家系名クラスに分類されたカテゴリの数を見ると、文字列パターンの照合では 1097 個、形態素解析の 利用では 637 個となっている。また、映画名クラス に分類されたカテゴリの数を見ると、文字列パター ンの照合では 4175 個、形態素解析の利用では 3051 個となっている。

また、文字列パターンの照合と形態素解析の両者 を使った結果、分類済みのカテゴリが増え recall は 上がった precision が下がってしまった。両者を組み 合わせる際は各々で set 抽出を抽出する際、precision

## を上げる必要がある。

## 7 おわりに

本研究は、30 言語版 Wikipedia の記事のクラス分類を念頭に、日本語 Wikipedia の記事の分類をカテ ゴリを用いて行なった。Wikipedia カテゴリの曖昧 さやトレーニングデータのクラス分類の曖昧さによ り記事のクラス分類がでうまくできないクラスが存在した。また、データが不十分なニッチなクラスも 多くそれが原因でクラス分類ができないものも存在 した。ニッチなクラスについてはトレーニングデー タを増やすことで改善できると考えられる。一方 で、本研究の手法により十分にクラス分類できたク ラスもある。今後は、分類済みの日本語 Wikipedia のカテゴリと記事を使い言語間リンクを使って他言語の Wikipedia 記事の分類を行いたい。また、本研究で使った分類手法を他言でも行うことでさらなる 精度の向上が期待できるため、それも合わせて今後検討していきたい。

## 参考文献

[1] Christian Bizer, Jens Lehmann, Georgi Kobi-larov, Soren Auer, Christian Becker, Richard Cy-ganiak, and Sebastian Hellmann. Dbpedia - acrystallization point for the web of data. In WebSemantics: Science, Services and Agents on theWorld Wide Web, Vol. 7, No. 3, pp. 154 - 165, 2013.

[2] Johannes Hoffart, Fabian M. Suchanek, Klaus Berberich, and Gerhard Weikum. Yago: A spatially and temporally enhanced knowledge base from wikipedia. In A spatially and temporally enhanced knowledge base from Wikipedia. Arti cial Intelligence, Vol. 194, No. O, pp. 28 61, 2013.

[3] Satoshi Sekine, Masako Nomoto, Kouta Nakayama, Asuka Sumida, Koji Matsuda, and Maya Ando. Overview of shinra2020-ml task. In In Proceedings of the NTCIR-15 Conference, 2020.

[4] 中川崇教, 小板橋佳晃, 吉岡真治. Wikipedia オントロ ジーの構築. 人工知能学会研究会資料, Vol.48, No.7, pp.1-5, 2019.

[5] 中川崇教, 小板橋佳晃, 吉岡真治. Wikipedia カテゴリ オントロジーを用いた wikipedia ページのクラス分類. 人工知能学会研究会資料, Vol.4, No.5, pp.1-4, 2020.


# 文脈を考慮した対義語穴埋め

丹羽彩奈
東京工業大学
ayana.niwa at nlp.c.titech.ac.jp
西口佳佑
株式会社サイバーエージェント
nishiguchi_keisuke at cyberagent.co.jp
岡崎直観
東京工業大学
okazaki at c.titech.ac.jp

## 1 はじめに

対義関係（例：賛成一反対）は，与えられた文脈 において意味が反対となる単語（対義語）の関係で ある [1].この対義関係を効果的に利用した修辞技法のひとつに，似た文構造で対照的な意味を持つ単語や句を並列させる対句がある.

（例文）年金に敏感な母も、保険には鈍感です。

上記の例では，保険への関心が低いことを，関心の高い別の話題 (年金) と並置して強調してい る.このように，対義語や対義語を用いた対句は， キャッチコピー [2] や政治演説 [3], 漢詩 [4] などで メッセージを強調するために活用されている.

従来，与えられた単語ペアに対して対義関係を含 む語彙的な意味関係を識別する研究が数多く行われ てきた $[5,6]$. 例えば，構文パターンや意味的近さを 利用して，対義語と同義語を識別する手法が提案さ れている $[7,8]$. しかし，その分類タスクとしての 設計には，モデルが語彙を暗記してしまったり [9],質問応答等の実タスクとの乘離があるという懸念も あった [10]. そこで，さらに挑戦的で害応用に近い タスクとして，ターゲット語（例：下位語）に対して 特定の語彙関係にある単語や単語リスト（例：上位語）を与えられた語彙集合から探し出すタスクが提案された [11]. 対義関係においても，形容詞を否定形にする目的で対義語を予測する研究がある [12]. これに対して，本研究では対義語を文脈を考慮して 予測する新たな穴埋めタスクを提案する.

対義語の穴埋めを行うための最も単純なアプロー チは，対義語辞書を引いて，記載されている単語を 埋めることである．ところが，穴埋めができる対義語は文脈によって変化する。例えば，次に示すよう に母という単一の単語に対しても，父, 妻, 娘など複数の単語が対義語として考えられる。

(A)父は保険で楽をした。母は保険で苦労した。

(B)妻になって、值段が気になった。

母になって、成分が気になった。

(C)娘はエステに行き、母は整体に行く。

また，対義関係には二律相反のペア（素数一非素数）だけではなく，相互の役割などの関係性による もの（生徒一教師），ある基点を挟んだ相対的・対照的な概念を表すもの（明日一昨日）など多様な関係性が含まれる $[13,14,15]$. しかし, 辞書には対義語 ペアのみが収録されており，その文脈情報は収録さ れないことが多い，また，掲載されている対義関係 の種類も限定的である.これに対し，対義語穴埋め タスクでは，文脈情報や多様な対義関係を考慮して 対義語を予測できるモデルが求められる.

近年，モデルを事前学習およびファインチューニ ングするアプローチが多くのタスクで高い性能を収 めている [16,17]. そこで本研究では，代表的な事前学習モデルである BERT を利用し，文脈を考慮し た対義語穴埋めを行う。しかし，モデルをファイン チューニングするための教師データ、すなわち対照的な文脈を持つ対義語ペアを含むテキストの収集 は容易ではない。そこで本研究では，BERT モデル で対義語穴埋めを行うための手法として，(1) 対句 データを用いたドメイン適応，(2) 対義語穴埋めに 特化させるための対照的マスキング，(3) 文の対句構造を捉えさせるための対句位置エンコーディン グ，(4) 対義語辞書を活用した自動アノテーション による疑似教師データ収集を提案する。

実験の結果，提案したファインチューニング手法 により，BERT モデルを文脈を踏まえた対義語穴埋 めタスクへ適応させ，正解の単語をより予測できる

ようになることを確認した．また，文脈を考慮した 対義語穴埋めタスクでは複数の正解が許容されるた め, 唯一の正解による自動評価指標による精度は低 く見えるが，対義語としての適切さや文脈における 流暢さをもつ事例は $85 \%$ 以上を占めることから，提案手法は十分な性能を示していることを報告する。

## 2 提案手法

## 2.1 モデル

概要を図 1 に示したように，位置 $m(1 \leq m \leq n)$ に [MASK] トークン (空欄）を持つ長さ $n$ の系列 $x_{1}, \ldots, x_{n}$ を与えられた時, 穴埋めするトークン $y_{m}$ の条件付き確率を BERT モデル [16] を用いて以下の ようにモデル化する.

$
P\left(y_{m} \mid x_{1}, \ldots, x_{m}, \ldots, x_{n}\right) .
$

入力情報の双方向の文脈で条件づけることによ り，BERT モデルは [MASK] トークンの周辺の文脈 を捉えられる。 その BERT モデルを対句構造を持つ コーパスでファインチューニングすることで，ドメ イン適応により入力テキスト内の文脈と対義語ペア の組み合わせを考慮可能となることが期待される.

BERT モデルを対義語に適応させる際，少量 のコーパスを活用するために二つのアプロー チを取る。一つ目のアプローチとして，テキス ト内に対義関係を持ち得るトークンを [MASK] トークンに置換することでファインチュー ニングのための教師データを作成する. 例え ば，「值段に始まり、味わいに終わる。」というテキ ストから，「[MASK] に [MASK] 、味わいに終わる。」，「値段に始まり、[MASK]に $[\mathrm{MASK}]_{0} 」$ という二件 の学習事例を得る。これらのマスクされるトークン には，対応する句に現れないものを選択する。この マスキングの方法を対照的マスキングと呼ぶ. オリ ジナルの BERT モデルは [MASK] トークンをランダ ムに作成するが，対照的マスキングは，対義語穴埋 めのための教師データを選択的に作成する。

次に，二つ目のアプローチとして，BERT モデル に入力テキスト内の対句構造を考慮させるために位置エンコーディングを拡張する. まず，対句構造を 構成する二つのスパン $[i, j$ ) ([MASK] トークンが含 まれる）と $[k, l)(1 \leq i<j \leq k<l \leq n)$ を含むテキ ストを考える。この時，スパン $[i, j)$ にスパン $[k, l)$ が対応することを教えるために，対句構造に特化し
たインデックスを以下のように定義する.

$
a_{t}= \begin{cases}k+\left.\lfloor\frac{(l-k)(t-i)}{j-i}\right.\rfloor & (a \in[i, j)) \\ t & \text { (otherwise) }\end{cases}
$

インデックス $a_{t}$ は $t \notin[i, j)$ だったときはトークン $x_{t}$ の絶対位置を，そうでない場合は対応するスパ ン $[k, l)$ の絶対位置を与える. 本稿では，この手法 を対句位置エンコーディングと呼ぶ，今回は，オリ ジナルの BERT モデルで用いられている絶対位置の 埋め込み表現と対句位置 $a_{t}$ の埋め込み表現の平均 を取ったものを BERT モデルに入力する.

## 2.2 教師データ

教師データのドメインには，対句が用いられ やすいキャッチコピーを選択した. 既存の作品集 $[18,19,20,21,22]$ から収集した 111,295 件のコー パスを元に，(1) 対句を含まないキャッチコピーの 除外 (2) 対句スパンのアノテーションの 2 つのサブ タスクにより，7,511 件のキャッチコピーからなる 対句コーパスを作成した [23, 24].

## 2.3 疑似教師データ

現状の教師データの学習事例数は, BERT モデル をファインチューニングするには不十分である。そ こで，テキストを自動的にアノテートすることを考 える。具体的には，既存の対義語辞書 [15] に掲載 されている対義語ぺアを含むキャッチコピーを用 いる.このプロセスにより， 2.2 節で説明した対句 コーパスに含まれないキャッチコピーから 1,894 件 を抽出した ${ }^{1)}$. 各キャッチコピーに対して，対義語 を片方ずつ [MASK] トークンに置換することで二件 の学習事例を作成した.この外部知識を活用した データ作成により，対義語の語彙知識を疑似教師 データとして BERT モデルに学習させる。

## 3 実験および実験結果

## 3.1 実験設定

データセット 7,511 件の対句構造を持つキャッ チコピーを学習データ，検証データ，評価データに 分割した上で，[MASK] トークンを含む穴埋め事例 に変換する. 対句構造には二つの対照的な意味を 持つ句が含まれることから，各キャッチコピーか

1）対句コーパスに含まれないキャッチコピーは，コーパス構築の一段階目における厳しい基準でフィルタリングされたた め，実際には対句を含むものが含まれている.

図 1 提案手法の概要

ら二件の学習事例を作成できる。このようにして， 11,923 件の学習データ, 1,496 件の検証データ, 1,247 件の評価データを作成した. この評価データの作成方法を付録 A. 1 に示した。また，疑似教師データと して 3,788 件の学習データを用いる.

ベースライン 今回の実験では，ベースライン手法として辞書を用いた手法と，ファインチューニン グなしの事前学習済み BERT モデルを採用した. 辞書を用いた手法では，各空欄を埋めるべき正解単語 が，対応する句に含まれる単語の対義語として辞書 [15] に含まれるかを調査する。このベースライン は，正解単語がわかっている状態で評価するため,辞書を用いた手法の性能の上限として考えられる。 ファインチューニングなしの事前学習済み BERT モデルでは，対義語穴埋めに特化した学習なしに， BERT モデルが言語モデルとして文脈を考慮して対義語を予測する能力について調査する。また， 3 名 の作業者に対して穴埋めタスクを実施した結果（以後作業者と表記）も評価する．具体的には，各空欄 に対して最大 5 つの可能な回答候補を考えてもらつ た. 3 名の作業者は，本タスクの難易度を考慮し，作家やブロガーなど，作文経験の豊富な方を選ん だ。なお，BERTの事前学習済みモデルには，日本語 Wikipedia で学習された公開モデル2)を用いた。

評価本実験では，マスクされた位置に正しい対義語が予測されたか否かを top-1, top-10 の正解率 で評価する。評価データには， [MASK] トークンが サブワード単位で分割されている事例が含まれる。 しかしながら，作業者はサブワード単位で空欄を埋 めることはできない，そのため，評価データのうち [MASK] トークンがサブワード分割されていない事例を含むサブセット（以後単語単位と呼ぶ）を作成 し，作業者が埋めた単語とモデルが予測した単語を

比較する．また，作業者は必ずしも一つの空欄に 対して5つの回答を思いつくとは限らないないた め, top-1 と top- $n$ の正解率でも評価する. この数値 $n$ は，各事例に対する回答数によって異なる。

## 3.2 実験結果

対義語穴埋めの結果を表 1 に示した. 提案手法 は, 全評価データに対して top-1 正解率で $23.4 \%$, top-10 正解率で $47.9 \%$ ，単語単位では top-1 正解率で 30.4\%, top-10 正解率で $49.1 \%$ を達成した. ファイン チューニングなしの事前学習済み BERT モデルは，提案手法に比べて top-1 正解率が大きく低下してい る.これは，一般的なマスク言語モデルでは，対句構造の文脈を与えられていたとしても，対義語を予測するには不十分であることを示している. 言い換 えれば，提案手法はモデルを対句構造における単語予測タスクに適応させるのに有効であることがわか る.しかしながら，ファインチューニング無しと有 りの場合で top-10・top- $n$ 正解率における性能の差は top-1 に比べると小さい. これは，BERT モデルが事前学習時に文脈に基づき正解単語を正解候補として 予測する能力を獲得していることを示唆している.

教師データでファインチューニングをした場合 は, 特に top-1 正解率が大きく向上した (全評価デー タで+6.1 ポイント，単語単位で+9.3 ポイント). ま た，対照的マスキングにより全ての正解率が，対句位置エンコーディングにより特に top- $10 \cdot$ top- $n$ 正解率が向上した (前者は $+0.8 \sim+3.0$ ポイント, 後者 は+1.5，+0.6ポイント). さらに，疑似教師データの 活用により，特に top-1 の正解単語の向上を確認し た $(+0.8,+3.0$ ポイント $)$. これらの提案手法が性能向上に寄与していることから，BERT モデルに対し て対義語穴埋めに特化させたファインチューニング を行うことが重要であるとわかる.
表 1 対義語穴埋めの正解率

表 2 各指標を満たす 100 件あたりの事例数意味的対照性 文の自然さ・流暢さ

辞書を用いたべースラインでは, 単語単位の top-1 正解率で $9.6 \%$ という結果になった. この正解率の 低さは，辞書に含まれるエントリのカバー率の低さ に起因する. 例えば，評価データに含まれる対義語 の $39.3 \%$ しか辞書に掲載されていなかった。

表 1 は，穴埋めタスクを解いた時に正解率が最小・最大となった作業者の結果も示している. これ を見ると，正解率は作業者ごとに摇れが見られるも のの提案手法よりも高い. しかしながら, 正解率は 最大でも top-1 で $34.5 \%$, top- $n$ で $59.1 \%$ と低く,この タスクの難しさが現れている。一方で，作業者 3 名 の回答を統合し，その中に正解単語が含まれれば正解とする最も緩やかな評価を行うと, top-1 正解率 は $51.8 \%$, top- $n$ 正解率で $66.6 \%$ となった. この top-1 正解率の大幅な向上は, 評価データ内の各空欄を埋 める際に複数の可能な単語が考えられることを示唆 している.この正解単語が複数考えられる事象につ いて調査するため, 正解単語と一致しなかった作業者の回答と提案手法の予測結果の質について, 別の 作業者による主観評価を実施した. 各回答・予測結果の内，意味的対照性と文としての自然さ - 流暢さ を満たす事例数を表 2 に示した. この分析では，作業者の回答と提案手法の予測単語両方が不正解だっ た事例から 100 件ランダムに抽出したものを用い た. なお，作業者の回答は，3名の回答からランダ ムに 1 事例につき 1 件を選択した. この結果, 作業者の回答・提案手法の予測単語ともに，85\%以上の単語が対義語として適切であることがわかった。

以上より，文脈を考慮した対義語穴埋めでは，複数通りの正解単語が存在するため, 単一の正解単語 を用いた自動評価 (正解率) では性能が過小評価さ れてしまうことがわかった. しかし，提案手法によ る予測結果を主観評価したところ，対義語としての 適切さ，文としての自然さ・流暢さとも非常に高い 正解率となっており, 文脈を考慮した対義語を予測 するには十分な性能であることがわかった. また，事例分析の結果を付録 A. 2 に示したように，さらに 性能を向上させるためには単語ペアを「何を対象と して」「どのような観点で対比させるか」を明示的 に与える必要があることもわかった.

## 4 おわりに

本研究では，文脈を踏まえた対義語穴埋めとい う，対義語の予測タスクに取り組んだ. BERT モデ ルを対義語穴埋めに適応させる方法として，対句 データを活用したドメイン適応，対照的マスキン グ，対句位置エンコーディング，疑似教師データの 収集方法を提案した。提案手法は，評価データにお いて，23.4\%の top-1 正解率および 47.9\%の top-10 正解率を達成した. これらの値は低く見えるが，空欄 を埋められる正解単語は複数考えられるため, 単一 の正解単語に基づく自動評価では性能が過小評価さ れてしまう。しかし，主観評価により，提案手法に よる予測結果は，85\%以上の事例が対義語として適切であることがわかった。本研究の結果は，語彙の 意味関係を実用的な単語予測タスクとして扱う研究 をさらに促進させるものである．今後は，言及対象 や対比させるべき観点を考慮した対義語予測および 他の意味関係へのモデルの拡張に取り組みたい.

## 参考文献

[1] Steven Jones, M Lynne Murphy, Carita Paradis, and Caroline Willners. Antonyms in English: Construals, constructions and canonicity. Cambridge University Press, 2012.

[2] Hristo Katrandjiev, Ivo Velinov, and Kalina Radova. Usage of rhetorical figures in advertising slogans. Trakia Journal of Sciences, Vol. 14, No. 03, pp. 267-274, 2016.

[3] John Heritage and David Greatbatch. Generating applause: A study of rhetoric and response at party political conferences. American journal of sociology, Vol. 92, No. 1, pp. 110-157, 1986.

[4] Rui Yan, Cheng-Te Li, Xiaohua Hu, and Ming Zhang. Chinese couplet generation with neural network structures. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2347-2357, 2016.

[5] Oren Barkan, Avi Caciularu, and Ido Dagan. Withinbetween lexical relation classification. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3521-3527, Online, 2020

[6] Vered Shwartz and Ido Dagan. Path-based vs. distributional information in recognizing lexical semantic relations. In Proceedings of the 5th Workshop on Cognitive Aspects of the Lexicon (CogALex - V), pp. 24-29, Osaka, Japan, 2016.

[7] Kim Anh Nguyen, Sabine Schulte im Walde, and Ngoc Thang Vu. Distinguishing antonyms and synonyms in a pattern-based neural network. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 76-85, Valencia, Spain, 2017.

[8] Kim Anh Nguyen, Sabine Schulte im Walde, and Ngoc Thang Vu. Integrating distributional lexical contrast into word embeddings for antonym-synonym distinction. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 454-459, Berlin, Germany, 2016.

[9] Omer Levy, Steffen Remus, Chris Biemann, and Ido Dagan. Do supervised distributional methods really learn lexical inference relations? In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 970-976, Denver, Colorado, 2015.

[10] José Camacho-Collados. Why we have switched from building full-fledged taxonomies to simply detecting hypernymy relations. CoRR, Vol. abs/1703.04178, , 2017.

[11] Jose Camacho-Collados, Claudio Delli Bovi, Luis Espinosa-Anke, Sergio Oramas, Tommaso Pasini, Enrico Santus, Vered Shwartz, Roberto Navigli, and Horacio Saggion. SemEval-2018 task 9: Hypernym discovery. In Proceedings of The 12th International Workshop on Semantic Evaluation, pp. 712-724, New Orleans, Louisiana, 2018.

[12] Laura Rimell, Amandla Mabona, Luana Bulat, and Douwe Kiela. Learning to negate adjectives with bilinear models. In Proceedings of the 15th Conference of the European
Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 71-78, 2017.

[13] Thmas R. Hoffmann. Realms of meaning: An introduction to semantics. Longman, 1993.

[14] Geoffrey Leech. Semantics. Penguin Books, 1976.

[15] 三省堂編修所（編）.反対語対立語辞典. 三省堂, 2017.

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, 2019.

[17] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'AlchéBuc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32, pp. 5753-5763. Curran Associates, Inc., 2019.

[18] 谷山雅計. 広告コピーってこう書くんだ!読本. 株式会社宣伝会議, 2007 .

[19] 仲畑貴志. ホントのことを言うと、よく、しかられ る。勝つコピーのぜんぶ. 株式会社宣伝会議, 2018.

[20] 青田光章, 秋山晶, 東秀紀, ほか. 最新約コピーバイ ブル. 株式会社宣伝会議, 2007.

[21] 梅田悟司. 「言葉にできる」は武器になる。日本経済新聞出版社, 2016.

[22] 宣伝会議賞実行委員会. SKAT.2-SKAT.17. 株式会社宣伝会議, 2003-2018

[23] 丹羽彩奈, 脇本 宏平, 西口 佳佑, 毛利 真崇, 岡崎 直観 .キャッチコピーにおける対句構造の解析. 言語処理学会第 26 回年次大会 (NLP2020), 2020.

[24] 丹羽彩奈, 脇本 宏平, 西口 佳佑, 毛利 真崇, 岡崎 直観 . 単語の対応関係を利用したスパン候補の絞り込み によるキャッチコピーの対句構造解析. 第 34 回人工知能学会全国大会 (JSAI2020), 2020.

## A 付録

## A. 1 評価データの作成方法

評価データ内で空欄とする単語（列）には，2.1 節 で説明した対照的マスキングの対象となった単語

（列）から，以下の基準に基づき選択した.

1. 評価事例一件につき一単語（句は除外）

2. 単語の品詞は名詞, 動詞-自立, 形容詞-自立, 形容動詞のいずれか

3. 企業情報などの外部知識がなければ解けない事例は可能な限り除外

本来は一件のキャッチコピーから前半の句と後半の句をそれぞれマスキングすることで二件の評価事例を作成できる．しかし，クラウドソーシング プロセスの簡略化のため，単語単位ではキャッチコ ピー一件につき評価事例一件のみを使用した。その ため，元々の評価データに比べて小規模になって いる.

## A. 2 事例分析

ベースライン（ファインチューニングなしの BERT モデル), 提案手法, 各作業者による出力・回答例を表 3 に示した。

事例 (A) の（出会い一別れ）のように，対比関係 がわかりやすい単語が存在する場合は，提案手法も 作業者も正解単語を第一候補として出力することが できる。また，予測すべき単語の周辺のみを考慮し ているべースラインの出力と比べると，提案手法は 「別れの曲一出会いの曲」というテキスト内の大域的な構造に着目できていることがわかる.

事例 (B) は，正解単語は予測・回答されていない ものの, 対義語として機能している. この問題で は,「地球」という単語に対して，規模の大きさや 身近さの度合いで対比できる単語を出力する. その 点, 提案手法の予測結果 ・作業者が作成した回答と もに自分の周りにある物や人を中心とした単語が 並んでおり，どれも意味的対照性と文としての自然 さを満たしている。しかし，正解単語はそれらの観点に加えて「物理的・精神的な対比」を持つ「心」 となっている.このような事例に対応するためは，「二つの単語をどのような観点で対比させるのか」 を明確にすることが必要であると考えられる。

また，人間にとっても正解することが難しい他の表 3 対義語穴埋めタスクの出力・回答例

(A) 別れの曲だったのに、[MASK] の曲になった。正解 - - - 出会い

ベースライン 別れ, 最後, 今, 人生, 卒業

提案手法出会い, 憧れ, 人生, 最高, 始まり

作業者 1 出会い, 再会, 初恋, 永遠, 永久

作業者 2 出会い, 始まり, スタート, 開始, 邂逅

作業者 3 出会い, 出逢い

(B) 地球の環境より、まず [MASK] の環境。

正解

ベースライン 宇宙, 水, 地球, 太陽, 植物

提案手法家族, 私, 周り,トイレ, 家

作業者 1 自宅, 家, 自分, 部屋, 職場

作業者 2 自分, 私, 周辺, 室内, 家内

作業者 3 国, 家庭, 町, 街, 周り

(C) $[\mathrm{MASK}]$ 軽さから、忘れる軽さへ。正解

ベースライン゙忘れる,壊れる,思い出す,嬉しい, 積 み重ねる

提案手法忘れる, 思い出す, 覚える, 思い出す,気づかない

作業者 1 持てる, 運べる,重ねられる, 運搬で きる, 探せる

作業者 2 感じる, 受ける, 分かる, 感じ取る, 勘 づく

作業者 3 思い出す, 残る, 驚く

事例として，事例 (C) のような文が挙げられる。こ の事例で正解単語を予測するには，このキャッチコ ピーの言及対象がメガネ製品であるという事前知識 と，その対象に対する推測やイメージを要する. こ のような事例にも対応するため，文の言及対象に関 する追加情報を入力することも重要である.


# 話し言葉を対象とした文末解析と表現文型の同定

柳将吾 佐藤理史 夏目和子 宮田玲 小川浩平
名古屋大学大学院工学研究科
yanagi.shogo@i.mbox.nagoya-u.ac.jp

## 1 はじめに

日本語の文末には、テンス・アスペクト・モダリ ティ・否定などの文法的機能が集中して現れる。た とえば、

(1) 彼は面白い小説を書いていたにちがいありま せん

という文では、動詞「書く」に、「テいる(アスペク ト)」「た(テンス)」、「にちがいない (モダリティ)」「ます(敬体)」が接続し、文末述語を構成している。日本語文において、文末述語の範囲を同定し、その 構成要素を同定することは、文の意味を解釈するた めに不可欠である。

佐野らは、書き言葉を対象に、このような文末解析を実行するシステム Panzerを実現した [1]。Panzer は、与えられた文の文末述語の範囲を決定し、その 範囲を内容語と機能語の列に分解する。これらの要素はいずれも HaoriBricks3 (HB3) [2]の Brick (文を組 み立てるための部品) として出力されるため、解析結果から元の表層文を復元することが可能である。 Panzer は、すでに、書き言葉・話し言葉変換 [3] や、文の平易化 [4] に利用されている。

本論文では、小説の会話文を中心とした話し言葉 に対して、Panzer と同等の機能を提供するシステム Panzer/U と、それを利用した発話文の表現文型の同定について述べる。一般に、話し言葉の解析は、書 き言葉の解析より難しいと考えられている。そのひ とつの理由は、話し言葉に見られるくだけた表現 に起因する。Panzer/Uでは、くだけた表現にも比較的広く対応した「現代話し言葉 UniDic [5]」(以下、 UniDic と略記) を形態素解析に利用する。

## 2 音変化表現と形態素解析

小説の会話文や漫画などでは、話し言葉に現れる 音変化が文字として現れる。これを宮崎ら [6] は音変化表現と呼んでいる。具体例を以下に示す。
(2) 彼にちがいねえ (ちがいない)

(3) 本当に走んのか (走るのか)

例文 (2) は、Juman++でもUniDic/MeCab でも適切 に解析できるが、例文 (3) の解釈は、次のように分 かれる。

(4) a. 走 (走る)/ ん(ぬ) /の (のだ)/か (Juman++) b. 走ん (走る)/の (準体助詞)/か (UniDic)

(4a)のように「走ん」の「ん」を「ぬ」と解釈する のは明らかに誤りであり、(4b) のように「走ん」を 「走る」の音変化表現と解釈するのが適切である。 ここでは 1 例を示したが、UniDic は、音変化表現に 対して比較的頑健である。

音変化表現をUniDic で解析した結果は、おおよ そ、次のように分類できる。

1. 独立した語として認識される 例：書い/てく (助動詞てく)

2. ある語の異形として認識される

例 : すんごい (すごい [終止形-一般])、

3. 活用形として認識される

例 : 走ん/のだ (走る [終止形-撥音便])

4. 正しく解析できない

しかしながら、いずれの場合も、「音変化が起き ている」ことが明示的に出力されるわけではない。 そのため、音変化表現の検出には、 4 節に示すよう な検出規則が必要となる。

## 3 Panzer/U の概要

Panzer/U の構成を図 1 に示す。基本的な構成は Panzer [1] を踏襲している。Panzer/U は、前処理 (形態素解析) の結果として得られる形態素列に対して、文末述語の範囲を決定し、その範囲を HB3 の Brick 列 (内容語と機能語列) に変換する。オリジナルの Panzer では、前処理として、形態素解析と文節解析 (Juman+KNP) を用いているが、Panzer/U の前処理

図 $1 \mathrm{Panuzer/U}$ の構成

は、UniDic/MeCabによる形態素解析のみで、文節境界の決定は、組み込み規則によって行う。以下に、 Panzer/U の実行例を示す。ここで、a が入力、bと c が出力であり、bは内容語、cは機能語列を表す。下線は音変化に関わる Brick [7] を表す。

(5) a. 張り切ってるわね

b. 張り切る

c. テ助動詞る, 終助詞わ, 終助詞ね

（6） a. まさか、遭難じゃないだろなあ

b. 遭難

c. じゃない, だろう, ウ脱落, 終助詞なあ

(7) a.こんなに暗いのに、車にはねられたらどう すんだ！

b. どうする

c. ル脱落, 連体助動詞んだ, 感嘆符

（8） a. おまえ、日本語しゃべれるじゃねえか

b. しゃべれる

c. じゃない, アエ交替, 終助詞か, 句点

HB3 は益岡・田篞文法 [8] とそれに準拠する Juman 体系から発展した羽織文法に基づくため、HB3 の Brick と Juman の形態素の差異は比較的小さい。そ の一方で、UniDic の短単位との差異は、かなり大き い。そのため、Brick 列への変換の過程で、この差異を吸収する必要がある。

短単位列から Brick列への変換は、おおよそ、次 の 3 種類に分類できる。

1. 文脈を考慮しない変換

(a) 1 つの短単位 $\rightarrow$ Brick (列)

例 : 終助詞ね $\rightarrow$ 終助詞ね

(b) 複数の短単位 $\rightarrow$ Brick (列)

例 : 書い + 助動詞た

$\rightarrow$ 書く+夕形

書い + 接続助詞て

$\rightarrow$ 書く+夕系連用テ形
2. 文脈を考慮した変換

例 : (食べ) 終助詞な $\rightarrow$ 終助詞な命令

(食べる) 終助詞な $\rightarrow$ 終助詞な禁止

タイプ (1a) は単純な変換である。タイプ (1b) は単位の差異を吸収する変換で、Panzer/U ではこのタイ プの変換が多数存在する。例に示したような、活用語の直後の助動詞や接続助詞を、活用語尾 (活用形) とする変換は、その典型である。

タイプ (2) の文脈に依存した变換は、短単位 (列) が、複数の変換候補を持つ場合である。たとえば、 HB3 では命令を表す「終助詞な命令」と、禁止を表 す「終助詞な禁止」を区別する。そのため、「終助詞 な」の変換先は、直前の語の活用形を参照しなけれ ば定まらない。

なお、Panzer/U の開発には、『舟を編む』[9]、およ び、『風が強く吹いている』[10] (0 章から 5 章の途中まで) から抜き出した発話文、約 3000 文を開発用 データとして利用した。

## 4 音変化表現の検出

Panzer/U の実装に先立ち、音変化表現を生成する 仕組み (Brick)を HB3 に導入した [7]。HB3 における 音変化表現の扱いには、次の 5 種類がある。

1. 内容語として扱う

例：やっぱし

2. 音変化形 (異形) を作り出すコマンドで扱う

例：ウ脱落, ル脱落, アエ交替

3. 活用形として扱う

例：条件音便形, 条件音便縮約形, 連用ウ音便形

4. 機能語として扱う

例：テ助動詞る,テ縮約接尾辞とく

5. テンス有標 (タ) の拡張として扱う

例：タあ

解析を担う Panzer/U は、入力文に含まれる音変化表現を検出し、表層文字列に復元可能な Brick (列) に変換する必要がある。以下では、2 節に示した 4 つの場合の概要を示し、付録に実装した検出規則の 一覧を示す。なお、文末解析では、文末の機能語と その直前の内容語 (多くは、活用語) を扱うため、実装した検出規則は、これらに関わる音変化を対象と している。

1. 独立した語として認識される場合 この場合 の変換は容易で、あらかじめ用意した変換テーブル で、Brickに変換する。対象となるのは機能語で、具
体例には「てる・てく・とる・とく・ちまう・ちゃ う」などがある。

2. ある語の異形として認識される場合 活用しな い内容語の音変化、および、活用する内容語の語幹 の音変化 ${ }^{1)}$ は、新たな (表記の) 内容語として扱う。 つまり、音変化は明示的に検出しない。それ以外の 語に対しては、検出規則によって音変化を検出し、対応する Brick に変換する。

たとえば、「すげえ」は「すごい」の異形として認定される。しかし、その活用形は「終止形-一般」で あり、活用形だけからは音変化が起きているかどう かはわからない2)。そのため、検出規則を適用して、音変化表現かどうかを決定する。

3. 活用形として認識される場合 活用形「仮定形融合」は、それだけから音変化が起きていること がわかるが、「美しけりゃ」も「美しきゃ」も「仮定形-融合」と認定されるため、どのような音変化が起 きているか一意には決定できない。そのため、検出規則を適用し、音変化表現の種類を同定する。

4. 正しく解析できない UniDicを用いても、すべ ての音変化表現が正しく解析できるわけではない。 いくつかの典型的な誤りに対しては、誤りを修正し て音変化表現として検出したり、音変化が起きてい ない表現に修正したりする。以下に例を示す。

(9) 食べりゃ/あ/いい (あ [感動詞])

$\rightarrow$ 食べる, 条件音便形, ア長音化, バいい

(10) 食べ/て/やん/の (やる [連体形-撥音便]) $\rightarrow$ 食べる, テ助動詞やがる, 連体省略撥音形, 終助詞の

(11) 食べる/ねえ（ない [終止形-一般])

$\rightarrow$ 食べる, 終助詞ねえ

## 5 Panzer/U の性能

以下のデータを用いて、Panzer/U による文末解析 の性能評価を行なった。

開発用データ システム開発に使用した発話文の一部。『舟を編む』[9] の 1 章から 100 文 (D1)。『風が 強く吹いている』[10]の 2 章と 5 章からそれぞれ 100 文 (D2,D3)。

評価用データ『風が強く吹いている』の 7 章から 100 文 (T1)。『氷菓』[11]の 3 章と 5 章からそれぞれ 100 文 (T2, T3)。

これらの文は、出典において引用記号 (鉤括弧) で 囲われた部分に出現し、かつ、文末に述語 (動詞・形容詞・判定詞) が存在する文である。

Panzer/U の出力の正誤判定結果を表 1 に示す。括弧内の数字は、文末に音変化表現が含まれている文数 (内数) を表す。なお、出力の正誤判定は、それ ほど自明ではないため3)、正誤判定が難しい場合は 「?」とした。

この表より、おおむね $90 \%$ の発話文が正しく解析 されていることがわかる。発話文の $23 \%$ (138/600) には文末に音変化表現が含まれているが、それらの 文でも精度が特に低いわけではない。

しかしながら、この結果をもって、音変化表現を 含む文末表現が高い精度で解析できるようになっ たと判断するのは早計である。文末述語に音変化表現を含む 138 文中、97 文は「じゃない・んだ (んで す)・てる」のみを含む文であった。つまり、高い頻度で現れる音変化表現を正しく解析できているだ けで、多くの種類の音変化表現を正しく解析できる かどうかは不明である。そのため、たとえば宮崎ら [6] が示した音変化パターンに基づいて例文集を作成し、これらがどの程度正しく解析できるかを確か める必要がある。

一方、音変化表現を含む文の解析に失敗した原因 のほどんどは、形態素解析の誤りであった。たとえ ば、末尾への促音 (「っ」)の付加の具体例である 「それは、本当ですかっ？」は、UniDic では以下の ように形態素解析され、「すかっ」は副詞と判定さ れる。

(12) それ/は/、/本当/で/すかっ/？

出現頻度が低い音変化表現は、UniDicでも正しく 解析できないことが多いように思われる。このこと からも、多くの種類の音変化表現を含む例文集を作成して、発話文解析ツールの開発や評価に使用する ことが重要となろう。

3）特に、内容語が複合語の場合、どこを文節境界と認定する かが難しい。

## 6 表現文型の同定

Panzer/U の開発目的は、発話文の文末解析の実現 にとどまらない。文末解析結果を利用して、発話文 を『発話文表現文型辞書』[12] の文型に結びつけ、発話意図や話し方の特徴の情報を取得可能とするこ とを最終目標としている。

『発話文表現文型辞書』は、小説の発話文生成を 念頭に、「ある目的 (発話意図) で発話する時、ある 話し方で表すならば、この文型を使う」という情報 を提供する辞書である。この辞書は、発話文生成で の使用を想定して設計されたが、発話文解析におい て、与えられた発話文をこの辞書のエントリに結び つけることができれば、その発話文の発話意図や話 し方特徵が判明する。これを実現すべく、『発話文表現文型辞書』の改定と Panzer/U を利用した表現文型の同定の実現を並行して進めている。

辞書の新しい版では、文末述語を、次のような形式でモデル化する。

(13) 中核要素 + 形式 + 主要部 + 末尾部

ここで、中核要素は、この述語の中核となる部分 (動詞、形容詞、名詞+判定詞)を表す。一方、形式 は、この中核要素の活用型、および、テンス・否定 の有無を、それぞれ以下のようなアルファベット 1 文字で表したものである。

1. 活用型

$\mathrm{V}$ (動詞型)、A (イ形容詞型)、C (判定詞型)

2. テンス・否定

$\mathrm{b}$ (なし)、 $\mathrm{t}$ (テンスあり) $\mathrm{n}$ (否定あり)、 $\mathrm{k}$ (テン ス・否定あり)

末尾部は、文末述語の最後尾に位置する終助詞 (列)を、主要部は、それ以外の要素 (機能語列)を表 す。以下に、具体例を示す。

(14) a. 食べる方がいいよ

b. 食べる, 方がいい, よ

c. 食べる, $\mathrm{Vb}$, 方がいい, よ

d. 食べる, $V b$, 文型_方がいい_よ

(15) a. 行かない方がいいわ

b. 行く,ない,方がいい, わ

c. 行く,Vn, 方がいい, わ

d. 行く,Vn, 文型_方がいい_わ

ここで、a は大力、bは Panzer/U の出力、 $\mathrm{c}$ は文末述語のモデルに沿った分解であり、d が表現文型の同定結果として出力する形式である (一部、情報を省略した)。

Panzer/U の出力から、表現文型を同定するため に、まず、それぞれの表現文型がどのような機能語 (Brick) 列から構成されるかを定義しておく。実際の 同定処理は、Panzer/U の出力を前から見ていき、中核要素と形式に対応する要素 (内容語、判定詞、夕、 ない)を取り除き、残った機能語 Brick列に基づき文型を決定すればよい。

文型「方がいいよ」「方がいいわ」は、いずれも 発話意図「忠告」の文型として辞書に定義されてい る。さらに、前者は、特に話し方特徴を持たないと 定義されているのに対し、後者は「女性的・親しみ」 という話し方特徴を持つと定義されている。表現文型が同定され、辞書のエントリが一意に定まれば4)、 このような情報が得られることになる。

## 参考文献

[1]左野正裕, 佐藤理史, 宮田玲. 文末述語における機能表現検出と文間接続関係推定への応用. 言語処理学会第 26 回年次大会発表論文集, pp. 1483-1486, 2020.

[2]佐藤理史. HaoriBricks3: 日本語文を合成するための ドメイン特化言語. 自然言語処理, Vol. 27, No. 2, pp. $411-444,2020$.

[3]柳将吾, 佐藤理史. ウィキペディアから抽出した人物エ ピソードの話し言葉への変換. 言語処理学会第 26 回年次大会発表論文集, pp. 437-440, 2020.

[4]Taichi Kato, Rei Miyata, and Satoshi Sato. BERT-based simplification of Japanese sentence-ending predicates in descriptive text. In Proceedings of the 13th International Conference on Natural Language Generation, pp. 242-251. Association for Computational Linguistics, 2020.

[5]Unidic,（2021-1 閲覧）.https://unidic.ninjal.ac.jp.

[6]宮崎千明, 佐藤理史. 発話テキストへのキャラクタ性付与のための音変化表現の分類. 自然言語処理, Vol. 26, No. 2, pp. 407-440, 2019.

[7]佐藤理史, 柳将吾, 夏目和子. HaoriBricks 3 による音変化表現の生成. 言語処理学会第 27 回年次大会発表論文集, 2021 (発表予定).

[8]益岡隆志, 田窪行則. 基礎日本語文法-改訂版- くろし お出版, 1992.

[9]三浦しをん. 舟を編む. 光文社, 2011.

[10]三浦しをん. 風が強く吹いている. 新潮社 (新潮文庫), 2009.

[11]米澤穂信. 氷菓. KADOKAWA (角川文庫), 2001.

[12]夏目和子, 佐藤理史. 発話文表現文型辞書の設計と編纂. 言語資源活用ワークショップ 2019 発表論文集, pp. 295-312, 2019.

4）表現文型の同定ができたからといって、かならずしも表現文型辞書のエントリが一意に決定できるわけではない。なぜ なら、同一の文型が複数の表現意図に対して使用できる (定義 されている) からである。

## 付録 音変化表現の検出規則一覧

活用形 $=$ 語幹-一般
1. $\left(\begin{array}{l}\text { 品詞 }=\text { 形容詞 } \\ \text { 後続要素 }=\text { 取立助動詞なる }\end{array}\right) \rightarrow$ 連用形 + ク脱落例：うれしфなる

## 活用形 $=$ 終止形-一般
2. $\left(\begin{array}{l}\text { 表層形末尾 }=え \\ \text { 基本形末 }=\mathrm{O}\end{array}\right) \rightarrow$ オエ交替

例：すげえ
3. $\left(\begin{array}{l}\text { 表層形末尾 }=え \\ \text { 基本形末尾 }=\mathrm{A} い\end{array}\right) \rightarrow$ アエ交替例：うるせえ

4. (表層形末尾 $=$ 亢 $) \rightarrow$ 末尾長音小書化例：うるせえ
5. $\left(\begin{array}{l}\text { 表層形末尾 }=\mathrm{I} い \\ \text { 基本形末尾 }=\mathrm{U}\end{array}\right) \rightarrow$ ウイ交替例：わりい

## 活用形 $=$ 終止形-撥音便
6. $($ 活用型 $=$ 助動詞-又 $) \rightarrow$ 終止音便形例 : 食べん

7. ( 活用型 $\neq$ 助動詞-又) $\rightarrow$ ル撥音化例 : 走んぞ

## 活用形 $=$ 終止形-促音便

8. （基本形末尾 $=$ る） $\rightarrow$ 基本形 + ル音促音化例: 入れっか

9. （基本形末尾 $=い ） \rightarrow$ 基本形 + 个音促音化例：いっか

## 活用形=未然形-撥音便
10. $\rightarrow$ 未然形 + 亏撥音化

例：煽んない

## 活用形 $=$ 連用形 $-一$ 般
11. $\left(\begin{array}{l}\text { 活用型 }=\text { 下一段サ行 } \\ \text { 表層形の末尾 }=し\end{array}\right) \rightarrow$ セシ交替例 : 食べさして

## 活用形 $=$ 連体形-撥音便
12. $\rightarrow$ 儿撥音化

例 : 走んのだ

## 活用形=連用形-促音便
13. $\left(\begin{array}{l}\text { 活用型 }=\text { 上一段 } \\ \text { 後続要素 }=\text { て・た }\end{array}\right) \rightarrow$ イ音促音化例 : おっこってしまう

14. (基本形 $=$ 歩 $\left.\begin{array}{l}\text { 基本形 }=\text { 歩く } \\ \text { 後続要素 }=\text { て・た }\end{array}\right) \rightarrow$ イ音促音化例 : 歩ってしまう

15. $\left(\begin{array}{l}\text { 基本形末尾 }=\text { る } \\ \text { 後続要素の先頭 }=\text { か }\end{array}\right) \rightarrow$ ル促音化例 : 食べっか

## 活用形=連用形-ウ音便
16. $($ 表層形末尾 $=う) \rightarrow$ 連用ウ音便テ形例：もろうて

17. (表層形末尾 $\neq$ う) $\rightarrow$ 連用ウ音便省略テ形例：もろ $\phi \tau$

## 活用形 $=$ 連体形 - 省略
18. $\rightarrow$ ル脱落

例：食べてんだ

## 活用形 $=$ 仮定形 - 融合
19. $\left(\begin{array}{l}\text { 品詞 }=\text { 形容詞 } \\ \text { 表層形末尾 } \neq \emptyset \text { ゃ }\end{array}\right) \rightarrow$ 条件音便縮約形例：美しきゃ
20. $\left(\begin{array}{l}\text { 活用型 }=\text { 助動詞ナイ } \\ \text { 表層形末尾 } \neq \text { りゃ }\end{array}\right) \rightarrow$ 条件音便縮約形例：なきゃ

21. ((上記以外) $) \rightarrow$ 条件音便形例：食べりゃ

## 活用形=意志推量形

22. (表層形末尾 $=$ つ $) \rightarrow$ ウ促音化

例：走ろっか

23. (表層形末尾 $\neq$ う っ) $\rightarrow$ ウ脱落

例：走ろ $\phi$ か

## 副助詞って
24. $\left(\begin{array}{l}\text { 直前の品詞 }=\text { 形容詞 } \\ \text { 直前の活用形 }=\text { 連用形 }\end{array}\right) \rightarrow$ テ形 + テ促音挿入例：あたたかくって

## 助動詞た

25. (表層形 $=$ たあ $) \rightarrow$ タあ 例 : たべちゃったあ

「ない」
26. $\left(\begin{array}{l}\text { 活用形 }=\text { 終止形 }- \text { 一般 } \\ \text { 表層形 }=\text { ね }\end{array}\right) \rightarrow$ 語末長音化 + 工脱落例：いいんじゃね

「っす」
27. $($ 活用型 $=$ 助動詞デス $) \rightarrow$ 助動詞っす


# マスクされた単語の埋め込みと 2 段階クラスタリングを用いた 動詞の意味フレーム推定

山田 康輔 1 笹野遼平 1,2 武田 浩一 1
1 名古屋大学 2 理化学研究所
yamada.kosuke@c.mbox.nagoya-u.ac.jp \{sasano, takedasu\}@i.nagoya-u.ac.jp

## 1 はじめに

本研究では，テキスト中の動詞が喚起する意味 フレームの推定に取り組む。具体的には，FrameNet [1] で定義されているフレームごとにテキスト中の 動詞をクラスタリングすることを目標とする. たと えば，表 1 の (1)〜(4) に示す FrameNet の用例の場合，動詞が喚起するフレームごとに $\{(1)\},\{(2)\},\{(3)$ ， (4)\}の 3 つのクラスタにまとめることが目標となる.動詞の意味フレーム推定では，近年 ELMo [2] や BERT [3] などの文脈化単語埋め込みの有用性が報告 されている．たとえば，SemEval2019 の共通タスク [4] でベースラインを超えた 3 手法 [5, 6, 7] はいずれ もフレーム推定対象動詞の文脈化単語埋め込みを利用したクラスタリングに基づく手法となっている. しかし，これらの手法には 2 つ問題点がある. 1 つ目の問題点は，推定対象となる動詞の表層的 な情報の影響が大きいことである．表 1 の「get」の ように，一部の動詞は文脈により異なるフレームを 喚起する. しかし, 文脈化単語埋め込みは対象単語 の表層的な情報も含むことから，同一の動詞の埋め 込みは類似する傾向がある。このため，クラスタリ ングの結果，同一の動詞の用例が 1 つのクラスタに まとめられることが多い．たとえば，FrameNetから 「get」と「acquire」の用例を抽出し, 事前学習済み の BERTを用いてこれらの文脈化単語埋め込みを 獲得し, t-SNE[8] で 2 次元にマッピングした結果を 図 1 左に示す.「get」が喚起するフレームのうち, Getting フレームが付与された用例の動詞の文脈化単語埋め込みは, 同じく Getting フレームを喚起す る「acquire」の用例の動詞の文脈化単語埋め込みに 近い位置に分布する傾向はあるものの，喚起するフ レーム間の差より動詞間の差の方が大きいことが確認できる.

本研究ではこの問題を解消するため，対象動詞を マスクした文脈化単語埋め込みを利用する手法を提表 1: FrameNet の動詞「get」と「acquire」の用例と各動詞 が喚起するフレーム (括弧内).

図 1: 動詞「get」と「acquire」の動詞 (左) とマスクされた 動詞 (右) の BERT による埋め込みの 2 次元マッピング.番号は表 1 に対応し，■と + は動詞「get」と「acquire」，各色は Arriving, Transition_to_state, Getting フレームを示す.

案する. 図 1 左と同様に，マスクされた動詞の文脈化単語埋め込みを 2 次元にマッピングした結果を図 1 右に示す。マスクを用いた場合は，動詞の表層的 な情報は限定的となり，同一のフレームを喚起する 用例が近い位置に分布することが確認できる。

2つ目の問題点は，全動詞の用例を一度にまとめ てクラスタリングしていることである。この結果，各動詞が喚起するフレームの異なり数は多くても数個程度と限定的であるにも関わらず，1つの動詞の 用例が多くの異なるクラスタに属すると判断され る可能性がある．本研究では，このような事態を避 けるため，まず動詞ごとに用例のクラスタリングを 行った後，動詞横断的にフレーム単位でまとめる 2 段階クラスタリングに基づく手法を提案する。

## 2 提案手法

本研究では，テキスト中の動詞が喚起するフレー 么の推定に，マスクされた単語の埋め込み，および， 2 段階クラスタリングを利用する手法を提案する。

## 2.1 マスクされた単語の埋め込みの利用

提案手法では動詞のフレーム推定に利用する埋め 込みとして, 従来手法で使用された推定対象動詞の 文脈化単語埋め込みに加え，その動詞をマスクした 場合の文脈化単語埋め込みを利用する. 本研究では 以下の 3 種類の文脈化単語埋め込みを考える。
1. $v_{\mathrm{WORD}}$ : 対象の動詞の通常の文脈化単語埋め込み
2. $v_{\text {MASK }}$ : 対象の動詞を “[MASK]” に置き換えた場合の文脈化単語埋め込み
3. $v_{\mathrm{w}+\mathrm{M}}$ : 次式で定義される上記 2 つの加重平均

$
v_{\mathrm{w}+\mathrm{M}}=(1-\alpha) \cdot v_{\mathrm{WORD}}+\alpha \cdot v_{\mathrm{MASK}}
$

$v_{\mathrm{w}+\mathrm{M}}$ は対象の動詞をマスクした場合と，しない場合 の文脈化単語埋め込みの加重平均である. 開発セッ トを用いて重み $\alpha$ を適切に設定することにより，対象の動詞の表層的な情報の重みと周辺文脈から得ら れる情報の重みを適切に考慮した埋め込みが得られ ることを期待している。 $\alpha$ を 0 とした場合は $v_{\text {wORD }}$ と, 1 とした場合は $v_{\text {MASK }}$ と一致する。

## 2.22 段階クラスタリング

提案手法では，1 段階目で動詞ごとに用例のクラ スタリングを行った後，2 段階目で動詞横断的なク ラスタリングを行い，最終的に生成されたクラスタ がそれぞれ 1 つのフレームに対応すると考える. 1 段階目のクラスタリングにおいて，各動詞の用例を 少数のクラスタにまとめることにより，1つの動詞 の用例が多くの異なるクラスタに属することが避け られることを期待している。

図 2 に get」と「acquire」の用例を 2 段階クラス タリングしたときの流れを示す. この例では， 1 段階目のクラスタリングの結果, 「get」の用例は $3 \supset$,「acquire」の用例は 1 つのクラスタにまとめられ，2 段階目のクラスタリングにより，「get」のクラスタ の1つと「acquire」のクラスタがマージされ, 最終的 に3つのクラスタにまとめられている。 以下では,各クラスタリング手法の詳細について説明する.

動詞ごとの用例クラスタリング 1 段階目のクラ スタリングは，各動詞の用例をその動詞が喚起する フレームごとにまとめることを目的とする．クラス タリング対象の用例の動詞は共通であり, 文脈化単語埋め込みとして $v_{\text {WORD }}$ を用いる場合と， $v_{\text {MASK }}$ を用 いる場合で結果に大きな違いはないと考えられるこ とから，1 段階目のクラスタリングでは文脈化単語

図 2: 2 段階クラスタリングの流れ. 左上，左下図はそれ ぞれ「get」と「acquire」を対象とした 1 段階目のクラスタ リング，右図は 2 段階目のクラスタリングを示している.各図における』と+はそれぞれ「get」と「acuquire」の各用例の埋め込みを表す。

埋め込みとして $v_{\text {MASK }}$ のみを用いる.クラスタリン グ手法としては，X-means [9]，または，ユークリッ ド距離に基づく群平均法による階層型クラスタリン グを用いる。ここで，X-means は自動でクラスタ数 を決定する手法であるが，階層型クラスタリングは クラスタリングの終了基準を必要とする. 群平均法 では，クラスタ間距離をクラスタをまたがる全要素 ペアの平均距離により定義し，クラスタ間距離が小 さいクラスタから順にマージするが，本研究ではク ラスタ間距離が閾値 $\theta$ 以下となるクラスタペアがな くなった時点でクラスタリングを終了する。閾値 $\theta$ は全動詞で共有され，十分に大きな値に設定した場合，すべての動詞についてクラスタは 1 つとなる.本研究では， $\theta$ を十分に大きな值から徐々に小さく していき，全動詞のクラスタ数の平均が，開発セッ トにおいて各動詞が喚起するフレーム数の平均と一致する値に設定する。

フレーム意味論では，語と意味フレームを結び付 けたものを語彙項目 (Lexical Unit; LU) と呼ぶ. 1 段階目のクラスタリングにより生成されたクラスタ は，各動詞の用例をそれが喚起するフレームごとに まとめたものであることから，各クラスタはLUに 対応する集合とみなせることができ，本稿では 1 段階目のクラスタリングで生成された各クラスタを疑似 LU (pseudo-LU; pLU) と呼ぶことにする.

動詞横断的クラスタリング 2 段階目のクラスタ リングでは，1 段階目のクラスタリングで生成した pLUを，動詞横断的にそれが喚起するフレームごと にまとめることを目的とする。 まず，pLUごとに各用例の文脈化単語埋め込みの平均を算出し，その 後，算出された平均埋め込みを用いて動詞横断的に
表 2: FrameNetから作成したデータセット

クラスタリングを行う．具体的なクラスタリング手法には，ユークリッド距離に基づく群平均法ある いはウォード法による階層型クラスタリングを用 いる.

クラスタリングは， 2 つの $\mathrm{pLU}$ が同じクラスタに 属する割合 $P_{\mathrm{C}_{1}=\mathrm{C}_{2}}$ が，開発セットにおいて 2 つの $\mathrm{LU}$ が同じフレームに属する割合 $P_{\mathrm{F}_{1}=\mathrm{F}_{2}}$ 以上となっ た時点で終了する. ここで， $P_{\mathrm{F}_{1}=\mathrm{F}_{2}}$ は式 (2) により 算出される. 一方, $P_{\mathrm{C}_{1}=\mathrm{C}_{2}}$ も同様に計算できるが, $\mathrm{pLU}$ の全ペア数はクラスタリングの段階に依らず一定であるのに対し，同じクラスタに属する pLU のぺ ア数はクラスタリングが進むにつれて単調増加し，全体が 1 つのクラスタとなった時点で 1 となる.こ のため, クラスタリングの過程で $P_{\mathrm{F}_{1}=\mathrm{F}_{2}}$ 以上の値と なることが保証される。また，無作為に抽出した 2 つの LU が同じフレームに属する確率はデータサイ ズに依らないことから，このような基準はテスト セットのサイズに依らず有効であると考えられる.

$
p_{\mathrm{F}_{1}=\mathrm{F}_{2}}=\frac{\text { 同じフレームに属する } \mathrm{LU} \text { のペア数 }}{\mathrm{LU} \text { の全ペア数 }}
$

## 3 実験

提案手法の有効性を確認するため，テキスト中の 動詞の意味フレーム推定実験を行った。

## 3.1 実験設定

データセット FrameNet ${ }^{1}$ から，いずれかのフレー ムにおいて 20 以上の用例をもつ LU となっている 動詞，および，該当する LU の用例を抽出し実験に 使用した. LU ごとの用例数は最大 100 件とし, 100 件を越える場合は無作為に 100 件を選択し用いた。抽出された動詞は全部で 1,272 個であり，そのうち 20\%の 255 動詞を開発セットとして，残りの 1,017 動詞をテストセットとして使用した. この際，複数 のフレームを喚起する動詞 2 の割合が開発セットと テストセットで一致するように留意した。なお，開発セットは各種パラメータ，および，文脈化単語埋 め込みとして使用する層の決定に利用した. 表 2 に 作成したデータセットの統計值を示す.

比較モデル 提案手法では， 1 段階目のクラスタ リング法として群平均法による階層型クラスタリン グまたは X-means を，2 段階目のクラスタリング法 としてウォード法または群平均法による階層型ク ラスタリングを用いることから，提案モデルとして これらを組み合わせた計 4 種類のモデルを比較し た.また，1 動詞をそのまま1クラスタとして扱う モデル (1-cluster-per-verb; 1 cpv), 1 動詞を 1 クラスタ (1 cpv')にまとめた上で 2 段階目のクラスタリングを 行うモデルとも比較した.

SemEval2019 の共通タスクのスコアの高かった上位 3 つの先行モデルとの比較も行った. Arefyev ら [5] は，推定対象動詞の BERT の埋め込みを用いて コサイン類似度に基づく群平均法による階層型クラ スタリングをした後，BERTを用いて得た推定対象動詞の言い換え単語による TF-IDFにより特徴量を 生成して，各クラスタを 2 分するクラスタリングを 行っている. Anwar ら [6] は, skip-gram [10] で推定対象動詞の埋め込みと文全体の埋め込みを連結した 表現を用いてマンハッタン距離に基づく群平均法 による階層型クラスタリングを行っている． Ribeiro ら [7] は，推定対象動詞の ELMo の埋め込みを獲得 して Chinese Whispers [11] によるグラフクラスタリ ングを行っている.

2 段階クラスタリングの有用性を確認するため，1 段階でクラスタリングを行うモデルとの比較も行っ た. 1 段階クラスタリングに基づくモデルでは，提案モデルと同様に，文脈化単語埋め込みとして $v_{\mathrm{w}+\mathrm{M}}$ を使用し，重み $\alpha$ は開発セットを用いて調整し， ウォード法または群平均法による階層型クラスタリ ングを用いた. クラスタ数に関しては正解のフレー 数を人手で与え，クラスタ数が正解のフレーム数 と一致した時点でクラスタリングを停止した.

実験設定 評価尺度として，B-Cubed Precision (BCP)，B-Cubed Recall (BCR)，およびその調和平均 である B-Cubed F-score (BCF) と, Purity (PU), Inverse Purity (IPU)，およびその調和平均である F-score (PIF) の 6 つの尺度を利用した. B-Cubed はクラスタ集合 と人手で付与されたフレーム集合の用例の分布に着目した用例単位の評価指標，PU と IPU はそれぞれ クラスタ内のフレームの一貫性と同一フレームによ るクラスタの集中性を評価する指標である。また，文脈化単語埋め込みは, Hugging Face が公開して いる Transformers ${ }^{3}$ に含まれる事前学習済みの BERT

3 https://github.com/huggingface/transformers

} & $1 \mathrm{cpv}$ ' & ウォード法 & 0.8 & 1017 & 164 & $54.8 / 73.1 / 62.7$ & $43.1 / 64.3 / 51.6$ \\

(bert-base-uncased) を利用した。

## 3.2 実験結果

表 3 に FrameNet データセットを用いた実験の結果を示す. SemEval2019 の共通タスクにおいてシス テムの順位付けに使用された BcF で比較した場合， 1 段階目に X-means，2 段階目に群平均法によるクラ スタリングを行う提案モデルが 64.4 となり，全手法 の中で最も高いスコアを達成した．PIFにおいても 最も高いスコアを達成するなど，すべての指標で高 いスコアとなっている。また，2 段階目のクラスタ リングの終了基準に関しても，正解のフレーム数は 393 であるのに対してクラスタ数は 410 であり, 有効に機能していることが確認できる.

マスクされた単語の埋め込みの有用性 全ての 2 段階クラスタリングに基づく手法において $\alpha$ は 0.0 , 1.0 以外の値となっていることから， $v_{\text {WORD }}$ と $v_{\text {MASK }}$ の両方を考慮することが有効であることが確認でき る.また，いずれの手法においても $\alpha$ は 1.0 に近い 值となっていることから，動詞横断的クラスタリン グにおいては $v_{\mathrm{MASK}}$ の方が有用であると考えられる.一方，1 段階クラスタリングに基づく手法における $v_{\mathrm{w}+\mathrm{M}}$ は $\alpha=0.0$ で $v_{\text {WORD }}$ と同じ埋め込みとなってお り，用例全体でクラスタリングする際の $v_{\mathrm{MASK}}$ の有用性は確認できなかった。

2 段階クラスタリングの有用性 2 段階目のクラ スタリング手法として群平均法を用いた場合に全体的に高いスコアとなっており，2 段階クラスタリン グの有用性が確認できる. また， 1 動詞をそのまま 1クラスタとして扱う (1cpv) よりも，1 クラスタに まとめた (1cpv') 後に動詞横断的にクラスタリング を行う 2 段階手法の方が高いスコアとなった. さら
に，1 段階目で $\mathrm{pLU} を$ 生成する際も，1cpv' の後に 群平均法によるクラスタリングを利用するモデルよ りも X-means の後に群平均法によるクラスタリング を利用したモデルが高いスコアとなっており，動詞 ごとの用例クラスタリングも有用であることが確認 できる.

ここで，2 段階目のウォード法によるクラスタリ ングが群平均法によるクラスタリングより全体的に スコアが低いのは， ウォード法がクラスタ内の用例数が増えるほど結合しづらく，全体的にサイズの小 さいクラスタが多くなり，クラスタリング終了条件 がうまく機能せず全体のクラスタ数が実際のフレー ム数より少なくなるためだと考えられる.

## 4 まとめと今後の展望

本研究では，テキスト中の動詞が喚起する意味フ レームの推定において，マスクされた単語の埋め込 みと 2 段階クラスタリングを利用する手法を提案し た.また，FrameNetを用いた評価実験を行い，従来手法より高い精度を達成すること，マスクされた単語の埋め込みおよび 2 段階クラスタリングが有効で あることを示した.

本研究の最終目標はフレーム知識を構築すること であり，このためには動詞の意味フレームを推定す るだけでなく，各フレームが必要とする項の特定， および，項の意味役割の推定が必要となる．今後は 文脈化単語埋め込みをフレーム項の特定，および， その意味役割推定に取り組む予定である。

## 謝辞

本研究の一部は JSPS 科研費 $18 \mathrm{H} 03286$ の助成を受 けたものである.

## 参考文献

[1] Collin F Baker, Charles J Fillmore, and John B Lowe. The berkeley framenet project. In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics (ACL-COLING'98), pp. 86-90, 1998.

[2] Matthew Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACLHLT'18), pp. 2227-2237, 2018.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACLHLT'19), pp. 4171-4186, 2019.

[4] Behrang QasemiZadeh, Miriam R. L. Petruck, Regina Stodden, Laura Kallmeyer, and Marie Candito. SemEval-2019 task 2: Unsupervised lexical frame induction. In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval'19), pp. 16-30, 2019

[5] Nikolay Arefyev, Boris Sheludko, Adis Davletov, Dmitry Kharchev, Alex Nevidomsky, and Alexander Panchenko. Neural GRANNy at SemEval-2019 task 2: A combined approach for better modeling of semantic relationships in semantic frame induction. In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval'19), pp. 31-38, 2019.

[6] Saba Anwar, Dmitry Ustalov, Nikolay Arefyev, Simone Paolo Ponzetto, Chris Biemann, and Alexander Panchenko. HHMM at SemEval-2019 task 2: Unsupervised frame induction using contextualized word embeddings. In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval'19), pp. 125-129, 2019

[7] Eugénio Ribeiro, Vânia Mendonça, Ricardo Ribeiro, David Martins de Matos, Alberto Sardinha, Ana Lúcia Santos, and Luísa Coheur. L2F/INESC-ID at SemEval-2019 task 2: Unsupervised lexical semantic frame induction using contextualized word representations. In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval'19), pp. 130-136, 2019.

[8] Laurens van der Maaten and Geoffrey Hinton. Visualizing data using t-sne. Journal of Machine Learning Research, Vol. 9, pp. 2579-2605, 2008.

[9] Dan Pelleg, Moore, and Andrew W. X-means: Extending k-means with efficient estimation of the number of clusters. In Proceedings of the 17th International Conference on Machine Learning (ICML'O0), pp. 727-734, 2000

[10] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In Advances in Neural Information Processing Systems (NIPS'13), pp. 3111-3119, 2013.

[11] Chris Biemann. Chinese whispers-an efficient graph clustering algorithm and its application to natural language processing problems. In Proceedings of TextGraphs: the First Workshop on Graph Based Methods for Natural Language Processing, pp. 73-80, 2006.


# 事前学習と finetuning の類似性に基づくゼロ照応解析

今野颯人 1 清野舜 2,1 松林優一郎 ${ }^{1,2}$ 大内啓樹 2 乾健太郎 1,2
1 東北大学 2 理化学研究所
\{ryuto, inui\}@ecei.tohoku.ac.jp y.m@tohoku.ac.jp
\{shun.kiyono, hiroki.ouchi\}@riken.jp

## 1 はじめに

日本語や中国語では，述語の項が頻繁に省略され る. ゼロ照応解析 (zero anaphora resolution; ZAR) は そのような項の省略を解析するタスクであり，文の 意味理解のために重要な役割を担っている。図 1 の 日本語における ZAR の例では，「来なかった」とい う述語の主語である「友人」が省略されている。

図 1 日本語におけるゼロ照応解析の例. 省略された項 はゼロ代名詞と呼ばれ， $\phi$ で表される.

この省略の解析にはゼロ代名詞と照応先周辺にあ る文脈的つながりを理解するための常識的知識（照応的知識と呼ぶ）が必要である. 例えば図 1 では,「招待された友人」が「来なかった人」になりやす いといった知識である. 照応的知識を大規模コーパ スから獲得する研究はこれまでにも行われてきた が $[1,2]$, 従来は複数の述語と項のペアで表される イベント間の関係（スクリプト知識）に焦点を絞っ ており，ZARへの効果は限定的であった。

そこで本研究では, この照応的知識獲得の問題に 対して二つの提案を行う。一つは，より広範な文脈表現を扱うための学習方法の提案（知識獲得法の改善）であり，もう一つは，学習した照応的知識を適切に利用する方法の提案 (知識適用法の改善) で ある. 第一に，照応的知識の獲得に焦点を当てた 新たな事前学習タスクである擬似ゼロ代名詞解析 （pseudo zero pronoun resolution; PZERo）を提案する (図 2). PZERO は，生テキストに 2 回以上登場する 名詞句の一つをマスクし，マスクに入る語を文脈か ら選択するタスクである。これは，これまでに照応的知識を必要とするタスクの性能に貢献することが 報告されてきた $[3,4,5]$ 従来の MLM の事前学習方法（cloze タスク [6]）を，より照応関係を直接学習 するように設計し直すもので，広範な文脈表現の間

\author{
生テキスト \\ 男が新入社員を招待したが、新入社員は来なかった。 \\ 擬似ゼロ代名詞解析 (PZERO) \\ 男が新入社員を招待したが、[MASK] は来なかった。
}

図 2 擬似ゼロ代名詞解析（PZERO）の概要

の関係をモデルに与えられる。

第二に，新たな事前学習で獲得した知識を適切に 解析へ適用するため，事前学習とタスク形式をそろ えた ZAR モデル，擬似ゼロ代名詞に基づく項選択 （argument selection as PZero; AS-PZero）モデルを提案する.これにより, 事前学習と fine-tuning の隔り を緩和し, 事前学習で得た照応的知識を ZARへ適用 することを狙う，提案手法の全体像を図 3 に示す。

実験の結果，我々が提案する事前学習タスクとモ デルを組み合わせることで，日本語 ZAR の性能を 大幅に向上させられることがわかった.

## 2 日本語ゼロ照応解析

日本語 ZAR は, 述語の項を同定する述語項構造解析タスクの一部として定式化されている. 述語項構造解析では, ZARに加え, 述語と直接係り受け関係にある項（DEP）も解析対象であり，それぞれの 述語に対してガ格，ヨ格，二格を同定する。また， ゼロ照応は述語とその項（ゼロ代名詞の照応先）と の位置関係によって以下の三つに分類される。

・文内ゼロ（intra）：項が述語と同じ文内にある.

・文間ゼロ（inter）：述語の文より前方にある.
- 外界ゼロ (exophora): 項が文書内に出現しない.本研究では上記三つとDEPを解析対象とする。

## 3 事前学習：擬似ゼロ代名詞解析

## 3.1 定式化とモチベーション

擬似ゼロ代名詞解析（PZeRo）は，文章中に 2 回以上出現する名詞句のうち 1 箇所をマスクした文章

を受け取り，マスクに入る名詞句の主辞（サブワー ド）を入力テキスト中から一つ選択するタスクとし て定式化する. 図 2 の例では， 2 回出現している 「新入社員」が解析対象となる.このタスクの狙い は，同じ文字列の名詞句が照応関係にあるという強 い仮定を置き，マスクされた名詞句を擬似的にゼロ 代名詞とみなすことで, 生文書から得る大量の訓練事例を用いて照応関係を直接事前学習し，ZARに必要な照応的知識を獲得することである.

モデルは，一つのマスクトークン [MASK]を含む 長さ $T$ の系列 $\boldsymbol{X}=\left(\boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{T}\right)$ を入力として受け取 り，[MASK] に該当する名詞句の末尾のトークンを入力系列から選択する.ここで， $x \in \mathbb{R}^{|\mathscr{V}|}$ は one-hot べ クトル，V は語彙である。また，マスクされた名詞句と同じ表層形をもつ名詞句は全て正解とみなす.

## 3.2 擬似データ作成方法

PZERO の訓練事例の作成方法を述べる. まず，生文書から連続した $n$ 個の文を取得し，サブワード系列へと変換する。このとき， MLM の訓練事例作成方法 [6] に従って, 系列の先頭に [CLS], 文の境界に [SEP] を挿入する. また, 系列の長さがモデルの最大系列長 $T_{\text {max }}$ を超えないように系列の先頭部分を 削って調節する. 次に, 最後の文の中から同じ文字列が大力系列中に 2 回以上出現する名詞句を選択 し，これを一つの $[$ MASK] へと置き換える。

## 3.3 事前学習方法

Transformer ベースの MLM [6] をモデルに用いる. まず，入力系列 $\boldsymbol{X}$ を受け取り，各 $\boldsymbol{x}_{t}$ に対応する $D$次元の埋め込み表現 $e_{t} \in \mathbb{R}^{D}$ を入力層から得る.

$
\boldsymbol{e}_{t}=\boldsymbol{e}_{t}^{\text {token }}+\boldsymbol{e}_{t}^{\text {position }}
$

ここで, $\boldsymbol{e}_{t}^{\text {token }} \in \mathbb{R}^{D}$ は各トークンを表す単語埋め 込み表現, $\boldsymbol{e}_{t}^{\text {position }} \in \mathbb{R}^{D}$ は位置を表す位置埋め込み 表現である. 次に，得られた埋め込み表現の系列 $\left(\boldsymbol{e}_{1}, \ldots, \boldsymbol{e}_{T}\right)$ を, transformer 層によって最終隠れ層 の系列 $\boldsymbol{H}=\left(\boldsymbol{h}_{1}, \ldots, \boldsymbol{h}_{T}\right)$ へとエンコードする. その 後, 各最終隠れ層 $\boldsymbol{h}_{t} \in \mathbb{R}^{D}$ について, そのトークン が [MASK] に入るかどうかを表すスコア $s_{t} \in \mathbb{R}$ を， [MASK] の最終隠れ層 $\boldsymbol{h}_{\text {mask }}$ との計算によって得る.

$
s_{t}=\left(\boldsymbol{W}_{1} \boldsymbol{h}_{t}+\boldsymbol{b}_{1}\right)^{\top} \cdot\left(\boldsymbol{W}_{2} \boldsymbol{h}_{\text {mask }}+\boldsymbol{b}_{2}\right) .
$

$\boldsymbol{W}_{1}, \boldsymbol{W}_{2} \in \mathbb{R}^{D \times D}$ と $\boldsymbol{b}_{1}, \boldsymbol{b}_{2} \in \mathbb{R}^{D}$ は学習パラメータで ある.これよりスコア系列 $\boldsymbol{s}=\left(s_{1}, \ldots, s_{T}\right)$ を得る.

図 3 提案手法の概要

訓練では，正解となるトークンのスコアが最大と なるようモデルを学習する．損失関数にはカルバッ ク・ライブラー情報量 $\mathscr{L}=\operatorname{KL}(Y|| \operatorname{softmax}(s))$ を用 いる. $Y \in \mathbb{R}^{T}$ は正解の位置を表す確率分布であり，正解となるトークンが $n$ 個存在する場合，正解の位置には $1 / n$ が，それ以外には 0 が割り当てられる。

## 4 Fine-tuning：ゼロ照応解析モデル

## 4.1 ラベル確率に基づく項選択モデル

我々のベースラインであるラベル確率に基づく項選択（argument selection with label probability; AS）モ デルは，Kurita ら [7] のモデルをべースとしており，事前学習済みモデルの上に分類層を追加したもので ある. モデルは, 系列 $\boldsymbol{X}$ と述語の区間を表す $p_{\text {start }}$, $p_{\text {end }}$ を大として受け取り, 述語の $l$ 格の項となる 単語を $X$ から一つ選択する。ここで, $l$ はガ， ヨ,ニ のいずれかを表す. 事前学習時の入力と同様，入力系列 $\boldsymbol{X}$ は [CLS] と [SEP] を含んだ複数の文から構成 され, 最大系列長は $T_{\text {max }}$ である. 対象述語は常に末尾の文に存在する. また，述語の項が入力系列 $\boldsymbol{X}$ に 存在しない場合にはモデルに [CLS] を選択させる。

まず，入力系列 $X$ を受け取り，各 $\boldsymbol{x}_{t} \in\{0,1\}^{|\mathscr{V}|}$ に 対応する埋め込み表現 $\boldsymbol{e}_{t} \in \mathbb{R}^{D}$ を入力層から得る.

$
\boldsymbol{e}_{t}=\boldsymbol{e}_{t}^{\text {token }}+\boldsymbol{e}_{t}^{\text {position }}+\boldsymbol{e}_{t}^{\text {predicate }}
$

ここで， $\boldsymbol{e}_{t}^{\text {token }}$ と $\boldsymbol{e}_{t}^{\text {position }}$ は（1）式と同様であり, 新 たに導入した $e_{t}^{\text {predicate }} \in \mathbb{R}^{D}$ は, $t$ 番目のトークンが 述語かどうかを表す埋め込み表現である。 入力層の 操作を図 4 に示す. 次に, 各埋め込み表現 $e_{t}$ から最終隠れ層 $\boldsymbol{h}_{t} \in \mathbb{R}^{D}$ を事前学習済みの transformer 層を 用いて得る. その後, 入力系列に対するラベル $l$ の 確率分布 $\boldsymbol{o}_{l}=\left(o_{l, 1}, \ldots o_{l, T}\right) \in \mathbb{R}^{T}$ を分類層から得る.

$
o_{l, t}=\frac{\exp \left(\boldsymbol{w}_{l}^{\top} \boldsymbol{h}_{t}+b_{l}\right)}{\sum_{t} \exp \left(\boldsymbol{w}_{l}^{\top} \boldsymbol{h}_{t}+b_{l}\right)} .
$

ここで， $\boldsymbol{w}_{l} \in \mathbb{R}^{D}$ と $b_{l} \in \mathbb{R}$ はモデルパラメータであ

図 4 AS と AS-PZERO における入力層. AS-PZERO にはクエリフレーズが存在. 対象述語の位置の与え方が異なる.

表 1 NTC 1.5 の評価セットにおける，入力が 1 文のみの

設定での $\mathrm{F}_{1}$ 值.

る．最後に，確率分布 $o_{l}$ に従って，確率が最大とな るトークンを述語の項 $l$ として一つ選択する。

モデルが [CLS]を選択した場合，さらに項を 4 つのカテゴリ $z \in\{$ author, reader, general,none\} へ分類する。ここで，author, reader, general は外界ゼロの細分類を, none は項が存在しないこ とを表す. 各カテゴリに対する確率分布 $o_{l}^{\text {exo }}=$ $\left(o_{l, \text { author }}^{\text {exo }}, o_{l, \text { reader }}^{\text {exx }}, o_{l, \text { general }}^{\text {ex }}, o_{l, \text { none }}^{\text {exx }}\right) \in \mathbb{R}^{4}$ は, 分類層に より [CLS] の最終隠れ層 $\boldsymbol{h}_{1}$ から得る。

$
o_{l, z}^{\operatorname{exo}}=\frac{\exp \left(\boldsymbol{w}_{l, z}^{\top} \boldsymbol{h}_{1}+b_{l, z}\right)}{\sum_{z} \exp \left(\boldsymbol{w}_{l, z}^{\top} \boldsymbol{h}_{1}+b_{l, z}\right)}
$

$\boldsymbol{w}_{l, z} \in \mathbb{R}^{D}$ と $b_{l, z} \in \mathbb{R}$ はモデルパラメータである.

学習時は，項を構成する末尾のトークンに正解ラ ベルを割り当てる，共参照関係によって正解の項が 複数存在する場合は，全ての正解となる項にラベル を割り当てる．また， 3.3 節と同様に，正解を表す 確率分布 $\boldsymbol{Y} \in \mathbb{R}^{T}$ を作成し, 正解となるトークンの 確率が高くなるようにモデルを学習する。

## 4.2 擬似ゼロ代名詞に基づく項選択モデル

AS モデルは，事前学習で得られた（2）式のパラ メータ（ $\left.\boldsymbol{w}_{1}, \boldsymbol{w}_{2}, b_{1}, b_{2}\right)$ を使わず，（4）式により新た なパラメータ $\left(\boldsymbol{w}_{l}, b_{l}\right)$ を用いて学習するため，事前学習によって獲得した照応的知識を効果的に使 えていない可能性がある. 我々が提案する擬似ゼロ 代名詞に基づく項選択（argument selection as PZERO; AS-PZERO）モデルは，PZERO で訓練されたパラメー タを使い，ZARをPZEROとして解析する。具体的に は，ZAR の入力系列 $\boldsymbol{X}$ に [MASK]を含んだフレーズ を挿入し，PZERO と同様の形式で述語の項を解析す る.このモデルは事前学習と finetuning の隔りを緩和する既存研究 $[9,10]$ から着想を得たものである.
AS-PZERO モデルの入力系列を $\boldsymbol{X}^{\prime}$ とする。図 4 に 示すように， $\boldsymbol{X}^{\prime}$ は $\boldsymbol{X}$ の末尾にクエリフレーズを挿入することで得られる. クエリフレーズによって， モデルは [MASK]に該当する単語を入力系列から選択する PZERO と同様の形式で ZAR を解析できる. クエリフレーズは（1）[MASK]，（2）項を表す格助詞 （が・を・に），（3）対象述語から構成される。対象述語を構成するトークン数を $T_{\text {predicate }}$ とすると， $X^{\prime}$ の系列長は $T+2+T_{\text {predicate }}$ である ${ }^{1)}$.

まず，入力系列 $\boldsymbol{X}^{\prime}$ を受け取り，各 $\boldsymbol{x}_{t} \in\{0,1\}^{|V|}$ に対応する埋め込み表現 $\boldsymbol{e}_{t} \in \mathbb{R}^{D}$ を得る。

$
\boldsymbol{e}_{t}=\boldsymbol{e}_{t}^{\text {token }}+\boldsymbol{e}_{t}^{\text {position }}+\boldsymbol{e}_{t}^{\text {addposi }}
$

象述語の位置をモデルへ与えるために新たに用意し たものである. $\boldsymbol{e}_{t}^{\text {addposi }}$ は $1 \leq t \leq T+2$ では $\mathbf{0} \in \mathbb{R}^{D}$ を，それ以外では $\boldsymbol{e}_{T+3+m}^{\text {addposi }}=\boldsymbol{e}_{p_{\text {start }}+m}^{\text {position }}$ をとる. ここで， $m \in \mathbb{N}$ は $0 \leq m<T_{\text {predicate }}$ を満たす. 例えば図 4 で は，“確かめ”と“\#\#る”の2つから構成される対象述語について，それぞれのトークンの位置埋め込み 表現がクエリフレーズのそれぞれのトークンへと加算されている。この操作により，対象述語の位置を モデルへ与えることができる.

埋め込み表現を得た後の計算は 3.3 節と同様であ る. [CLS]トークン $\left(x_{1}\right)$ のスコアが最も高かった 場合，モデルは外界ゼロについて，4.1 節における 式（5）と同様に計算を行う。

## 5 実験設定

PZERo データセット 日本語 Wikipedia を PZERO の 訓練データとして使用した. コーパス中の全名詞句 を解析対象とし，係り受け解析器 Cabocha [11] の解析結果から品詞を用いたルール 2$)$ によって名詞句を 同定した. 入力系列に用いる文数 $n$ の最大值は 4 と した. 事例数は約 1740 万となり，うち約 3000 を開発セット，残りを訓練セットとした。

ZARデータセットNAIST Text Corpus(NTC) 1.5 [12,

1） $\boldsymbol{X}$ は事前に最大系列長 $T_{\max }$ を超えないように調整する.

2）名詞句同定のルールについては付録 A に詳細を示す。
表 2 NTC 1.5 の評価セットにおける，入力が複数文の設定での $F_{1}$ 值.太字の值は各列における最高性能を示す. (h) か ら (k) における $\mathrm{F}_{1}$ の性能向上は，全ての ZAR のカテゴリで統計的に有意差が見られた.

} & \multicolumn{2}{|c|}{ 事前学習 2} & \multicolumn{2}{|c|}{ finetuning } & \multicolumn{4}{|c|}{ ZAR } & \multirow[t]{2}{*}{ DEP } & \multirow[t]{2}{*}{ All } \\

13] を使用した ${ }^{3}$ ．評価スクリプトには Matsubayashi ら [8] と同様のものを使用した.

モデル モデルの実装には Transformer ライ ブラリ[14]を使用し，パラメータ初期值に bert-base-japanese を用いた ${ }^{4)}$. 実験では，5つ の異なるシード値の平均で比較を行った.

## 6 実験結果・分析

実験では（1）PZEROによる事前学習の効果と（2） AS-PZERo による finetuning の効果を調べる. 以下の 2 つ設定で実験を行った.

1. 入力が 1 文のみ: 既存研究の多くはこの設定で 実験を行っている $[8,15,5]$. 既存研究と我々の モデルを同様の設定において比較する．intra と DEP が評価の対象となる.

2. 入力が複数文: 述語を含む文とその前方文が入力となる. intra, inter, exophora, DEPが評価の 対象となる。

入力が 1 文のみ 事前学習済みモデルから finetuning した AS モデルと AS-PZERO モデルの結果を表 1 に 示す. 結果より, 我々のモデルは intra と DEP の両方で既存の最高性能 [5] を大きく上回っており，性能が十分高いことを示している.

入力が複数文 PZEROによる事前学習の効果を調べ るため，3つの事前学習済みモデルを用意する.ま ず，事前学習 1 によって，事前学習済みモデル（モ デル 1）を用意する．そこからさらに，事前学習 2 によって，cloze タスクと PZero，それぞれ同じ更新回数で事前学習する (モデル $2 \& 3$ ). 3 つの事前学習済みモデルから，AS と AS-PZERO でそれぞれ finetuning し，合計 6 つのモデルを用意した. その結果を表 2 に示す.

（1）文脈を与えることで intra と DEP の性能は向上 するか？（f)，（g）のモデルは表 1 の（d），（e）と

3） 使用したデータセットの統計は付録 B に示す.

4）使用したハイパーパラメータは付録 Cに示す.
それぞれ同じモデルであり，入力文の数だけが異な る.これら 4 つのモデルにおける intra と DEP につ いて比較すると，たとえ解析対象が文内のみに限っ たとしても，文脈を与えることで性能を向上させら れることがわかる. これは既存研究 $[16,17]$ の結果 とも一致する。

（2）AS の性能は PZERO による事前学習で向上する か？ PZERO で事前学習したモデル（j）は cloze タ スクで事前学習したモデル（h）よりも ZAR の性能 で上回っており，特に文間ゼロ（inter）で大きな向上を示している $(44.98 \rightarrow 46.37)$. 文間ゼロは項の 候補が多いうえ，統語的手がかりが少なく，解析に 意味的な理解が必要である. 文間ゼロの性能向上 は，モデルが PZERO による事前学習によって照応的知識をより獲得していることを示唆している.

(3) PZERO と AS-PZero の組み合わせで性能は向上するか？ finetuningの方法だけが異なる，モデ ル（j）と（k）を比較する.（k）は全てのカテゴリ で（j）を上回っており，さらにDEP を除いた全て のカテゴリで最も性能が高かった。この結果は, AS-PZERO と PZERO を組み合わせることで事前学習 と finetuning の隔りをうまく緩和でき，事前学習で 獲得した照応的知識を ZARへうまく適用できるこ とを示唆している。

## 7 おわりに

本稿では，日本語における ZAR に取り組んだ。 ZAR に必要な照応的知識を生コーパスから獲得す るための新たな事前学習タスクである PZERO と，事前学習で得た知識をうまく ZAR へ適用するための AS-PZERO モデルを提案した. 実験結果より，両者 を組み合わせることで世界最高性能を達成した。

## 謝辞

本研究は JSPS 科研費 JP19H04425，JP19K12112 の 助成を受けたものです.

## 参考文献

[1]Nathanael Chambers and Dan Jurafsky. Unsupervised Learning of Narrative Schemas and their Participants. In ACL and IJCNLP, pages 602-610, 2009.

[2]Mark Granroth-Wilding and Stephen Clark. What Happens Next? Event Prediction Using a Compositional Neural Network Model. In AAAI, pages 2727-2733, 2016.

[3]Abdulrahman Aloraini and Massimo Poesio. Cross-lingual Zero Pronoun Resolution. In Nicoletta Calzolari, Frédéric Béchet, Philippe Blache, Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Asunción Moreno, Jan Odijk, and Stelios Piperidis, editors, $L R E C$, pages 90-98, 2020.

[4]Linfeng Song, Kun Xu, Yue Zhang, Jianshu Chen, and Dong Yu. ZPR2: Joint zero pronoun recovery and resolution using multi-task learning and BERT. In $A C L$, pages 5429-5434, July 2020.

[5]Ryuto Konno, Yuichiroh Matsubayashi, Shun Kiyono, Hiroki Ouchi, Ryo Takahashi, and Kentaro Inui. An Empirical Study of Contextual Data Augmentation for Japanese Zero Anaphora Resolution. In COLING, pages 4956-4968, December 2020.

[6]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In $N A A C L$, pages 4171-4186, 2019.

[7]Shuhei Kurita, Daisuke Kawahara, and Sadao Kurohashi. Neural Adversarial Training for Semi-supervised Japanese Predicate-argument Structure Analysis. In $A C L$, pages 474484, 2018.

[8]Yuichiroh Matsubayashi and Kentaro Inui. Distance-Free Modeling of Multi-Predicate Interactions in End-to-End Japanese Predicate-Argument Structure Analysis. In COL$I N G$, pages 94-106, 2018.

[9]Zhilin Yang, Zihang Dai, Yiming Yang, Jaime G. Carbonell, Ruslan Salakhutdinov, and Quoc V. Le. XLNet: Generalized Autoregressive Pretraining for Language Understanding. In Hanna M. Wallach, Hugo Larochelle, Alina Beygelzimer, Florence d'Alché-Buc, Emily B. Fox, and Roman Garnett, editors, NeurIPS, pages 5754-5764, 2019.

[10]Suchin Gururangan, Ana Marasovic, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, $A C L$, pages 8342-8360, 2020.

[11]Taku Kudo and Yuji Matsumoto. Japanese Dependency Analysis using Cascaded Chunking. In CoNLL, 2002.

[12]Ryu Iida, Mamoru Komachi, Naoya Inoue, Kentaro Inui, and Yuji Matsumoto. Annotating Predicate-Argument Relations and Anaphoric Relations: Findings from the Building of the NAIST Text Corpus. Natural Language Processing, 17(2):25-50, 2010.

[13]Ryu Iida, Mamoru Komachi, Naoya Inoue, Kentaro Inui, and Yuji Matsumoto. NAIST Text Corpus: Annotating PredicateArgument and Coreference Relations in Japanese. In Handbook of Linguistic Annotation, pages 1177-1196. Springer,
2017.

[14]Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In EMNLP demo, pages 38-45, 2020.

[15]Hikaru Omori and Mamoru Komachi. Multi-Task Learning for Japanese Predicate Argument Structure Analysis. In NAACL, pages 3404-3414, 2019.

[16]Chaoyu Guan, Yuhao Cheng, and Hai Zhao. Semantic Role Labeling with Associated Memory Network. In NAACL, pages 3361-3371, June 2019.

[17]Tomohide Shibata and Sadao Kurohashi. Entity-Centric Joint Modeling of Japanese Coreference Resolution and Predicate Argument Structure Analysis. In ACL, pages 579-589, 2018.

[18]Hirotoshi Taira, Sanae Fujita, and Masaaki Nagata. A Japanese Predicate Argument Structure Analysis using Decision Lists. In EMNLP, pages 523-532, 2008.

[19]Diederik Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In ICLR, 2015.
表 3 NAIST Text Corpus 1.5 の統計情報

## A 名詞句同定のルール

本稿では，PZERO の解析対象をルールによって同定した名詞句とした. 名詞句の同定には，係り受け 解析器である Cabocha [11] で解析を行い, 以下の品詞タグによるルールを用いた。

1. cabocha で文節に区切る.

2. 名詞は存在するが動詞は存在しない文節を選択する。ここで，名詞句の始点を $q_{\text {start }} ＼mathrm{~ 終 点 を ~}$ $q_{\text {end }}$ とする.

3. 文節の終点から始点へと順に単語を見ていき,名詞または名詞性名詞接尾辞に属する単語を 発見した段階で，その単語の位置を $q_{\mathrm{end}}$ と定 める.

4. 文節の始点から終点へと順に単語を見ていき,記号以外の単語を発見した段階で，その単語の 位置を $q_{\text {start }}$ と定める。
5. $q_{\text {start }}$ から $q_{\mathrm{end}}$ までの単語に “始まりの括弧” が 含まれていた場合， $q_{\mathrm{end}}$ をと括弧の一つ前の 単語の位置とする.
6. $q_{\text {start }}$ から $q_{\text {end }}$ までの単語が名詞句候補となる.名詞句の候補が, 記号・英語・数字のみで構成 されていた場合は名詞句候補から除外する。ま た，名詞句候補が“もの”，“こと”，“ため”，“何”，“誰”のいずれかであった場合も名詞句候補から除外する。

## B データセットの統計情報

本稿では，NAIST Text Corpus（NTC） 1.5 [12,13] を使用した．また，Taira らの分割法 [18] に従って，訓練・開発・評価セットを作成した. その統計情報 を表 3 に示す.

## C ハイパーパラメータ

表 4 に実験のハイパーパラメータの設定を示す.表 4 ハイパーパラメータ

 \\


# ニューラル日本語固有表現認識における格フレームの有効性検証

除山宗一
筑波大学情報学群
s1913548@coins.tsukuba.ac.jp

## 1 はじめに

近年, 固有表現認識 (Named Entity Recognition, NER)課題に対して, LSTM やBERT 等, ニューラルネット ワーク（Neural Network，NN）に基づく解析モデルが 多く提案されている $[1,2]$. これらのモデルでは, $\mathrm{NN}$ の特徴であるモデル設計の柔軟さを生かして, 解析対象となる文書以外の外部情報を特徴量として容易に取 り込むことができる．例えば， Luら [3] は解析対象文書の関連画像情報を外部特徴量として取り込むことで NER の性能向上に繋げている.

本研究では, NER 課題で標準的に用いられる Bi-LSTM-CRF モデルに格フレーム情報を外部情報と して取り込むことを考え，その有効性を検証する。例文「太郎が筑波大学へ行く」において, 述語「行く」の ガ格には人間 (PERSON) や組織 (ORGANIZATION)等をあらわす固有表現が現れやすく, また, へ格に は場所（LOCATION）をあらわす固有表現が現れやす い.このように述語と格関係にある要素の中には特定 の固有表現クラスが現れやすいと考えられ，格フレー ムを参照することで, この固有表現の現れやすさに関 する情報を解析モデルで利用する.

Bi-LSTM-CRF に格フレーム情報を取り込むにあた り, 取り込むタイミングとして, LSTM 層よりも前側, 後側およびその両方の 3 パターンが考えられる. そこで， 3 パターンのうちのどれが組み込むタイミン グとして最良であるかも同時に検証する。

## 2 格フレーム情報

## 2.1 京大格フレーム

河原ら [4] は約 100 億文の大規模 Web コーパスから 格フレームを自動構築する手法を提案しており，構築 したものを京大格フレームとして公開している1). 本研究では京大格フレームを外部情報として取り込む.京大格フレームには表 1 のような情報がまとめられ ている. 表 1 は「打つ」の例であり, 述語「打つ」と

1) http://nlp.ist.i.kyoto-u.ac.jp/index.php

\author{
駒田拓也乾孝司 \\ 筑波大学大学院システム情報工学研究科 \\ \{komada@mibel., inui@\}cs.tsukuba.ac.jp
}

関係をもつ項の情報だけでなく, それらの出現頻度が 述語の用法ごとにまとめられている点が特徴である.

## 2.2 格フレーム内平均ベクトル（MVC）

格フレーム情報を NN モデルの特徴量として用いる 場合, その情報をべクトルへ変換する必要がある. 本研究では, 山城ら [5] が提案した MVC (Mean Vector for Caseframe）特徴量を採用する.

MVC は以下のように計算される.

$
\overline{\boldsymbol{\phi}}_{c f_{l}^{p}(c)}=\frac{\sum_{w \in W_{c f_{l}^{p}(c)}} \operatorname{count}\left(c f_{l}^{p}, c, w\right) \cdot \boldsymbol{\phi}_{w}}{\sum_{w \in W_{c f_{l}^{p}(c)}} \operatorname{count}\left(c f_{l}^{p}, c, w\right)}
$

ある述語 $p$ に対する京大格フレーム中の格フレーム群 を $C F_{p}=\left.\{c f_{1}^{p}, c f_{2}^{p}, \ldots, c f_{m}^{p}\right.\}$ としたとき, $l$ 番目の格フ レーム $c f_{l}^{p}$ がもつ格 $c$ に対応する MVC を $\overline{\boldsymbol{\phi}}_{c f_{l}^{p}(c)}$ と する.ここで，格フレーム $c f_{l}^{p}$ にまとめられている格 $c$ の要素となる単語の集合を $W_{c f_{l}^{p}(c)}$ とする.また， $\boldsymbol{\phi}_{w}$ を単語 $w$ の分散表現ベクトル, $\operatorname{count}\left(c f_{l}^{p}, c, w\right)$ を 単語 $w$ が格フレーム $c f_{l}^{p}$ 内の格 $c$ の要素として出現 する頻度とする. MVC は $c f_{l}^{p}$ 内の格 $c$ として出現す る単語の分散表現の重み付き平均で計算される。例え ば，表 1 の「打つ/うつ:動 1」のガ格 MVC は以下のよ うに計算される。

$
\overline{\boldsymbol{\phi}}_{c f_{\text {動 } 1}^{\text {打つ }}(\text { ガ })}=\frac{253 \cdot \phi_{\text {心臓 }}+134 \cdot \phi_{\text {姿 }}+134 \cdot \phi_{\text {声 }}+\ldots}{253+134+134+\ldots}
$

## 3 Bi-LSTM-CRF (ベースライン)

本研究では, 日本語 NER 課題において高い性能が報告されている Misawa ら [6] の, 文字ベース Bi-LSTM-CRF をべースラインモデルとする.

Misawa らのモデルの入力となる各トークンは，解析対象となる文書に含まれる $j$ 番目の文字の分散表現 を $\boldsymbol{c}_{\boldsymbol{j}}, j$ 番目の文字を含む $i$ 番目の単語の分散表現を $\boldsymbol{w}_{\boldsymbol{i}}$ としたとき，それらを繋ぎ合わせた

$
x_{j}=\left[w_{i} ; c_{j}\right]
$

とする．LSTM 層では (4) 式のように，ひとつ前の トークンの出力 $\overrightarrow{\boldsymbol{y}}_{j-1}, \overrightarrow{\boldsymbol{c}}_{j-1}$ と入力 $\boldsymbol{x}_{j}$ を受け, 出力を
表 1 「打つ」の格フレーム例

行う.

$
\overrightarrow{\boldsymbol{y}}_{j}, \overrightarrow{\boldsymbol{c}}_{j}=\operatorname{LSTM}\left(\boldsymbol{x}_{j}, \overrightarrow{\boldsymbol{y}}_{j-1}, \overrightarrow{\boldsymbol{c}}_{j-1}\right)
$

そして, 順方向の LSTM の出力 $\vec{y}_{j}$ と逆方向の LSTM の出力 $\overleftarrow{y}_{j}$ を繋ぎ合わせた

$
\boldsymbol{y}_{j}=\left[\overrightarrow{\boldsymbol{y}}_{j} ; \overleftarrow{\boldsymbol{y}}_{j}\right]
$

が双方向（Bidirectional）LSTM の出力となる. 各 $\boldsymbol{y}_{j}$ は続く $\mathrm{CRF}$ 層に渡され，NEラベルの予測を行う。

## 4 提案手法

## 4.1 提案手法 1 : 前側挿入

1 つ目の提案手法は, LSTM 層の手前で MVC で表現された格フレーム情報を取り込む手法である．具体的には以下の式で示すゲート機構を導入することで，解析対象文書から得られる言語情報と外部情報である 格フレーム情報を組み合わせる。なお，このゲート 機構は $\mathrm{Lu}[3]$ らが提案した Modulation Gate からパラ メータを減らして簡略化したものである.

$
\begin{aligned}
\beta & =\sigma\left(W_{w} \boldsymbol{h}_{j}+U_{w} \boldsymbol{v}_{j}+b_{w}\right) \\
\boldsymbol{m} & =\tanh \left(W_{m} \boldsymbol{h}_{j}+U_{m} \boldsymbol{v}_{j}+\boldsymbol{b}_{m}\right) \\
\hat{\boldsymbol{h}}_{j} & =\beta \cdot \boldsymbol{h}_{j}+(1-\beta) \cdot \boldsymbol{m}
\end{aligned}
$

このゲートにおいて, $\boldsymbol{h}_{j}$ に

$
\boldsymbol{h}_{j}=\boldsymbol{x}_{j}=\left[\boldsymbol{w}_{\boldsymbol{i}} ; \boldsymbol{c}_{\boldsymbol{j}}\right]
$

のように文書由来の単語と文字データを割り当てる. また, 入力文書を格解析した結果, 単語 $\boldsymbol{w}_{i}$ が述語 $p$ と格 $c$ の関係にある場合は, $\boldsymbol{v}_{j}$ に

$
\boldsymbol{v}_{j}=\overline{\boldsymbol{\phi}}_{\boldsymbol{w}_{i}, c f_{l}^{p}(c)}
$

のように格フレーム由来の MVC を割り当てる．格関係にない単語については MVC 情報の代わりにゼロべ クトルを割り当てる.このようにして格フレーム情報 を取り込んだ $\hat{\boldsymbol{h}}_{j}$ を（3）式の代わりにLSTMへの入力 とする. 本稿ではこの提案手法を後述の提案手法と 区別するために「前側挿入」と呼ぶ。ここで MVC を $\overline{\boldsymbol{\phi}}_{\boldsymbol{w}_{i}, c f_{l}^{p}(c)}$ と表記している理由は, $\overline{\boldsymbol{\phi}}_{c f_{l}^{p}(c)}$ が $\boldsymbol{w}_{i}$ に対応 した MVC であることを示すためである．前側挿入モ
デルのその他の構成はベースラインモデルと同じで ある.

## 4.2 提案手法 2 : 後側挿入

2 つ目の提案手法は, LSTM 層の直後に格フレーム 情報を取り込む手法である. 4.1 節で説明したゲート において, $\boldsymbol{h}_{j}$ に

$
\boldsymbol{h}_{j}=\boldsymbol{y}_{j}
$

のように $j$ 番目の LSTM の出力 $\boldsymbol{y}_{j}$ を割り当てる. ま た, 前側挿入の（10）式と同様に $\boldsymbol{v}_{j}$ には MVC を割り 当てる.このようにして格フレーム情報を取り込んだ $\hat{\boldsymbol{h}}_{j}$ を CRF 層へ渡す. 本稿ではこの提案手法を「後側挿入」と呼ぶ.

## 4.3 提案手法 3 : 両側挿入

3 つ目の提案手法は, 前側挿入と後側挿入によって 2 つのゲートを同時に適用する手法である。本稿では この提案手法を「両側挿入」と呼ぶ。両側挿入モデル の概要図を図 1 に示す.

## 5 評価実験

## 5.1 実験設定

実験には, 搪張固有表現タグ付きコーパス (ENEコー パス)[7]を用いた.このコーパスのうち, 出現頻度の 高い 6 つの固有表現クラス (PRODUCT, NUMBER, LOCATION, TIME, ORGANIZATION, PERSON）を 解析対象とした。表 2 に実験データの基本情報を 示す.

本研究では Misawa ら [6] のモデルをベースライン モデルとして採用しているが，彼らの実験とは以下 の点で実験データの設定が異なる． Misawa らは ENE コーパスに収録されているデータの内，新聞記事の みを解析対象にしているが，本研究では全ジャンル のデータを解析対象にしている。また，Misawa ら は 4 つの固有表現クラス（PRODUCT, LOCATION, ORGANIZATION, TIME）を解析対象として選択した が, 本研究では, 格フレーム情報との相性が良いと考

図 1 提案モデル（両側挿入モデル）の概要

表 2 実験データ

えられる PERSON クラスを含めたいため，上記で述 べた 6 つの固有表現クラスを解析対象とした.

モデルパラメータは Misawa ら [6] にならい設定し た。単語分散表現の次元数は 500 , 文字分散表現の次元数は 50 , LSTM のユニット数は 300 , バッチサイズ は 60 とし, 最適化には Adam[8] を用いた。単語, 文字分散表現は, BCCWJ[9] と毎日新聞の記事 11 年分 （1991-2000 年, 2004 年)を用いて GloVe[10] で作成し た. MVC 作成に必要となる単語分散表現も同様の手法を用いた。本実験では，MVC の作成に用いた京大格フレームとの対応をとるため, Misawa らとは違い,分かち書きには Juman $++^{2}$ を用いた。また，格解析に は $\mathrm{KNP}^{3}$ を用いた。

固有表現のチャンク表現には BIO モデル [11]を用 い, 完全一致以外は誤りとして, F1 值で解析結果を 評価した。

## 5.2 実験結果

実験結果を表 3 に示す. 表の各列における最良値を ボールドで示す. 結果より， 4 つのモデルの中では後側挿入が最も高い $\mathrm{F} 1$ 値となった． F1 值に対する文書単位での並べ替えを行う並べ替え検定を行った結果，後側挿入とベースラインモデルの間には有意水準 0.01 で有意な差があることを確認した。このことから, 取 り込み方にもよるが, 日本語 NER 課題に対して格フ レーム情報が有効に作用することが確認できた。一方，前側挿入と両側挿入はベースラインモデルよりも性能 が低くなった．MVC 自体は文脈情報から切り離した 情報であるため, 格フレーム情報を LSTM 層に通過さ せる場合（前側挿入と両側挿入）と通過させない場合 （後側挿入）で，性能差があらわれたと考えられる.

後側挿入での解析結果の例を図 2 および図 3 に示 す.これらはベースラインモデルでは正しく予測でき なかったが，後側挿入では正しく解析できるように なった例である。例えば，図 2 の事例は，漢数字を含 む文字列の例である. ベースラインモデルでは漢数字 が含まれている文字列に対して NUMBER クラスを予測してしまう誤りがあるが, 後側挿入ではそのような 事例の解析が改善されていた。また, 図3のように, ベースラインモデルでは Other クラスと予測する未抽出誤りがあるが，後側挿入ではそのような事例でも改善がみられた。

2) http://nlp.ist.i.kyoto-u.ac.jp/?JUMAN\%2B $\% 2 B$

3) http://nlp.ist.i.kyoto-u.ac.jp/?KNP
表 3 実験結果（各モデルの比較, F1 值）

表 4 MVC 情報の有無に注目した性能比較（ベースラインと後側挿入）

## 5.3 考察

提案手法において，MVC 情報は入力文書中の述語 と格関係をもつ一部の単語のみに付与される。例え ば，例文「北イタリアのラベンナに住むごく普通の市民」における「ラベンナ」は「住む」と二格の関係を もつが，「北イタリア」は格関係をもたない. そこで，評価データ中の事例群を MVC が付与できたものと付与できなかったものに二分割し，ベースラインモデル と後側挿入それぞれの $\mathrm{F} 1$ 值を再評価した。その結果 を表 4 に示す. MVC が付与できた割合を表の最下段 に示している。また，表中の MVC 付与無し，MVC 付与有りのそれぞれの事例について, ベースラインモデ

矢印で示す。

表から，まず，MVC が付与できない事例よりも MVC が付与できる事例の方が， ベースラインモデル，後側挿入共に性能が高いことがわかる．MVC 情報を 組み込んでいる後側挿入だけでなくベースラインモデ ルにおいても性能差が生じていることから，格フレー 么情報が得られるような事例群はそうでない事例群に 比べて解析が容易な事例が集まっていることが示唆さ れる。

また，表中の矢印の向きに注目すると，多くの固有表現クラスでは後側挿入がベースラインモデルよりも 改善されていることがわかるが，MVC 付与率の低い LOCATION クラスでは MVC 付与無し事例群におい て性能が下がっている。この群の事例を観察すると， LOCATION クラスでは，以下の例文の下線部分のよ うに述語と直接的な格関係をもたないため MVC が付与されない事例が目立っていた。このような事例に関 して，MVC 情報の付与方法の改良については今後の 課題である.一死から八角が（省略）出塁したが...

図 2 解析結果の例 1

企画したのは、西陣で織屋を経営する...

経営/けいえい：動1：デ格

図 3 解析結果の例 2
- 2 年前の世界選手権（カナダ・ハミルトン）で、 （省略）を獲得した日本がお家芸の座を守れるか。 ・米国向けの輸出割合が（省略）まで低下している 二方で...

## 6 おわりに

本研究では日本語 NER 課題おける格フレーム情報 の有効性を検証した。評価実験の結果，Bi-LSTM-CRF モデルに格フレーム情報を取り込んだ提案手法（後側挿入）は，格フレーム情報を取り込まない場合に比べ て 1 ポイント以上高い F1 值を示した。

今後は，LSTM 系モデルよりも高い性能が報告され ている BERT 等の Transformer 系モデルをベースライ ンモデルとして同様の検証を実施し，格フレーム情報 の日本語 NER 課題への有効性を評価する予定である.

謝辞本研究の一部は JSPS 科研費 JP18K11982 の 助成を受けたものです。

## 参考文献

[1] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, 2016.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[3] Di Lu, Leonardo Neves, Vitor Carvalho, Ning Zhang, and Heng Ji. Visual attention model for name tagging in multimodal social media. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1990-1999, 2018.

[4] 河原大輔, 黒橋禎夫ほか. 高性能計算環境を用いた web からの大規模格フレーム構築. 情報処理学会研究報告自然言語処理 (NL), Vol. 2006, No. 1 (2006-NL-171), pp. $67-73,2006$

[5] 山城颯太, 西川仁, 徳永健伸. 大規模格フレームによる 解候補削減を用いたニューラルネットゼロ照応解析.自然言語処理, Vol. 26, No. 2, pp. 509-536, 2019.

[6] Shotaro Misawa, Motoki Taniguchi, Yasuhide Miura, and Tomoko Ohkuma. Character-based bidirectional lstm-crf with words and characters for japanese named entity recognition. In Proceedings of the First Workshop on Subword and Character Level Models in NLP, pp. 97-102, 2017.

[7] 橋本泰一, 中村俊一. 拡張固有表現タグ付きコーパス の構築. 言語処理学会 第 16 回年次大会 発表論文集（2010 年 3 月）, pp. 916-919, 2010.

[8] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[9] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written japanese. Language resources and evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[10] Jeffrey Pennington, Richard Socher, and Christopher D Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), pp. 15321543, 2014.

[11] 黒橋禎夫. 改訂版 自然言語処理. 一般財団法人 放送大学教育振興会, 2019.


# 並列構造解析に基づく 複合化された固有表現の曖昧性解消

澤田悠治 ${ }^{1}$ 寺西 裕紀 $^{2}$ 松本 裕治 ${ }^{2}$ 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学先端科学技術研究科
2 理化学研究所 革新知能統合研究センター
\{yuya.sawada.sr7, taro\}@is.naist.jp
\{hiroki.teranishi, yuji.matsumoto \}@riken.jp

## 1 はじめに

固有表現認識は，人名や地名などの専門用語 (固有表現)をテキストから自動的に抽出する自然言語処理のタスクの一つである。近年では，これまでの 科学技術の発展に伴う論文アーカイブの蓄積に伴 い，各分野の論文を解析して，物質や微生物の特徵・専門知識を機械的に獲得する自然言語処理技術 の応用が期待されている. 固有表現認識の手法は，人手による素性設計を必要としないニューラルネッ トワークの導入によって顕著に発展している $[1,2]$ が，対応が困難な固有表現が存在し，専門分野にお ける固有表現認識の精度改善と情報検索・関係抽出 などへの応用のために解決が期待される.

従来の固有表現認識手法で対応が困難な固有表現の一つとして，並列構造による省略を伴う 固有表現が挙げられる. 並列構造を含む固有表現には複数の固有表現が複合化されており, 複数の固有表現の中で重複する単語が省略される.例えば，"Human T and B lymphocytes"では，"Human T lymphocyte"と "Human B lymphocyte"の二つの固有表現が複合されており，それぞれの固有表現で "Human"と “lymphocyte"が省略されている。このよ うな固有表現は，生命科学分野のコーパスの一つ である GENIA Term annotation で全体の 3\%に含まれ ており，既存の手法では一つの固有表現 (“Human T and B lymphocytes") として扱うか, 例外として除去 するなどの処理が行われる.

本研究の目的は, 既存の固有表現認識器とのパイ プライン処理が可能な並列構造の解析手法を提案 し，上述の固有表現を辞書や複合名詞句がアノテー ションされたデータセットを用いずに抽出すること である. 具体的には，固有表現認識器で抽出された固有表現に内包される等位接続詞に対して並列構造 の範囲を同定し，省略された単語を補完する手法を 提案する。本稿では，教師情報を用いない並列構造 の解析器と複合された固有表現の正規化方法につい て説明し，提案手法によって固有表現全体の抽出性能の向上が見られたことを示す. また，提案手法に おいて対応が困難な事例についても示し，今後の課題について整理する。

## 2 関連研究

## 2.1 固有表現認識

固有表現認識の多くの研究は系列ラベリングによ る手法に基づいており，固有表現の範囲は BIO 方式 やBIOES 方式などのラベル方式によって表現され る.このようなラベル方式は，連続した単語列から なる一つの固有表現しか表現できない問題があり，上述の固有表現は複合した固有表現全体や一部分の 固有表現のみが抽出対象とされるか，例外として除外されるなどの処理が行われている。複合した固有表現を不連続な範囲を持つ固有表現とみなして解く 手法として，複数のラベル系列を一本のグラフと表現して出力する手法 [3] や，句構造解析で頻繁に用 いられる Shift-Reduce アルゴリズムに基づいた手法 [4] が提案されている。しかしながら，不連続な固有表現が出現する事例の少なさや並列構造によって 複数の固有表現が入り混じりになる点で，学習が困難になる問題がある。

## 2.2 並列構造解析

並列構造解析では，“and"や“or"といった等位接続詞によって結びつけられた句 (並列句) の範囲を同定 する. 並列構造解析の多くの研究では，同一の並列
構造にある並列句同士が意味的・統語的に類似する 特徴 (類似性) に着目している。黒橋ら [5] は, 文字列や品詞の一致などのルールによって付与された スコアを設けて，並列句の類似度をチャートと動的計画法で算出した. 新保ら [6] は英語の並列構造に おいて, 単語や品詞, 形態情報に基づいた素性の重 みづき線形和を元に類似度を算出した。近年では， ニューラルネットワークによる手法とともに，可換性に着目した研究が発展している. Ficler ら [7] は 外部の構文解析器で抽出された並列句の候補の中 で，ベクトル同士のユークリッド距離 (類似性), 片側の候補を抜いた場合に出力されたべクトルなどを 用いたスコアを算出している. 寺西ら [8] は，それ ぞれの並列句の内部と外部の境界などをべースに したスコアを元に，並列構造を表す木を CKYアル ゴリズムによって構築し, 入れ子状の並列構造や三 つ以上の並列句に対応する手法を提案した. ニュー ラルネットワークによる手法の利点は, 黒橋らと新保らのような人手による素性の設計のコストの問題が削減される点にあり, GENIA Treebank と Penn Treebankにおいても高い性能を示している. しかし ながら, これらのモデルの学習には個々の並列構造 にある並列句の範囲がアノテーションされた大量の データが必要になることから，他分野への応用とい う面を考慮すると，データセットの作成にかかるコ ストの問題が課題として挙げられる.

## 3 提案手法

本研究で用いる手法の概要を図 1 に示す。提案手法は，固有表現認識器と並列構造解析器の二つのモ ジュールで構成されている. 固有表現認識器では複合した固有表現を一つの固有表現として抽出し，並列構造解析器では文中に含まれる名詞句と形容詞句の並列構造の範囲を同定する. これら二つのモ ジュールの解析結果に基づいて, 複合した固有表現 を個々の固有表現へと分解する.

図 1 提案手法の概要図

## 3.1 並列構造解析器

固有表現のアノテーションのみが利用できる状況 を想定し，並列構造の教師情報なしで並列構造の範囲を同定する解析器を使用する [9]. 本研究で構築 する並列構造解析器の実行過程を Algorithm 1 に示 す. 語数 $\mathrm{N}$ で構成される文 $w_{1: N}=\left.\{w_{1}, w_{2}, \ldots, w_{N}\right.\}$ と並列キー $w_{k}$ に対して, 全ての可能な並列構造範囲の組み合わせの中でスコアを計算し，最もスコア の高い組み合わせを並列句の範囲として同定する.複合した固有表現に含まれる並列構造は, “T and B" や “myeloid and lymphoid"のような並列する名詞句や 形容詞句からなるため, 本手法は名詞句と形容詞句 による並列構造を同定の対象とする。また, “-2, -4, -5 and -13"のような三つ以上の並列句からなる並列構造の場合は，等位接続詞の前後にある並列句の範囲 (“-5 and -13") のみを同定する.

まず，文や節などの名詞句と形容詞句以外からな る並列構造を対象外とするための前処理として, 品詞タグを用いたルールに従って並列句の可能性があ る範囲を抽出する. 本手法では, 等位接続詞の前後 で動詞, 前置詞, カンマ(“,”), コロン (“:”), セミ コロン (“; ”). 三点リーダ(“...”) を含まない最長 の範囲を抽出する．例えば，“Antigen complexed with major histocompatibility complex class I or II molecules on the surface of antigen presenting cells ..." という文が 入力された場合は, “major histocompatibility complex class I or II molecules” が並列句の候補の最長範囲と して抽出される。また, “-M1, and -M2"のような等位接続詞と先行する並列句の間に出現するカンマ は，事前に除去してから前処理を行う.
次に, 系列アライメントから並列構造の範囲の候補に対してスコア計算を行い，最大スコアを持つ範囲を並列構造の範囲として同定する. 系列アライメ ントでは，一方の系列を置換・挿入・削除の三つの 編集操作を通して他方の系列へ変換し，これらの変換にかかる一連の操作の中で系列間の対応関係が 求められる. それぞれの編集操作に対してはスコア が割り当てられ, 編集グラフでスコアの総和が最も 高い操作系列が最適なアライメントとして決定さ れる. 本手法は，並列構造のアノテーションを用い ずに範囲を同定するため，最適な並列構造をもつ範囲のスコアが最大になるように，学習済みの言語モ デルを用いてスコアの総和の最大值を算出する. 具体的には，挿入・削除をスキップ，置換をマッチの 操作として定義し, 二つの編集操作に対して学習済 みの言語モデルから得られる単語分散表現を元に したスコアを付与する. マッチの操作に対するスコ アは，対応する単語同士のコサイン類似度に基づい て計算し，スキップの操作に対しては，開発デー 夕 [10]を使用した事前実験によって決定された特定の値を割り当てる．本稿では，スコア計算に用い る学習済み言語モデルとして, 筆者ら [9] の評価実験にて最も高い性能を示した ELMo[11]を採用し， PubMed で入手可能な論文を用いて訓練したモデル を使用する。これらのスコアの算出を，前処理で抽出された範囲の中での全ての組み合わせで実行し，最大のスコアを持つ組み合わせを並列構造の範囲と して同定する．編集グラフのサイズが大きくなるほ どスコアも他の候補に比べて大きくなるため，各編集グラフで算出された最大スコアに対して, 操作系列の長さで正規化したスコアを使用する.

## 3.2 複合化した固有表現の正規化

上述の並列構造解析器と従来法による固有表現認識器の出力を利用して, 複合した固有表現を個別の 固有表現に分解する，具体的には，並列構造を含ん でいる固有表現の中で省略されている単語を識別 し，それぞれの固有表現に結合させる. 省略されて いる単語は, 固有表現認識器で抽出された範囲から 並列構造の範囲を取り除くことで識別できる. 例え ば, 固有表現認識器で “Human T and B lymphocytes” が抽出され, 並列構造解析器で “ $\mathrm{T}$ and B” が同定さ れた場合，“Human” と “lymphocytes” が省略されて いる単語であることが分かる。これらの単語をそれ ぞれの並列句と組み合わせることで，二つの固有表現 ("Human T lymphocyte”, "Human B lymphocyte”) が抽出される.

固有表現認識器には，従来法の使用を想定して BioBERT [12] を固有表現認識タスク向けに fine-tune したモデルを使用する．BioBERT は，PubMed で保管されている生命科学分野の論文のアブストラクト と生物医学とライフサイエンス分野の論文のフルテ キストを訓練コーパスとして BERT [13]を事前学習 した，バイオ分野向けの学習済み言語モデルの一つ である. 固有表現認識モデルへの fine-tune を行う際 は, Lee ら [12] と同様に, BioBERT に Softmax 層を 加え，各サブワードの固有表現ラベルを予測する.複合した固有表現については分解せず，一つの固有表現の事例として抽出されるよう，データセットの fine-tuneを行った.

## 4 評価実験

本稿では, 複合化した固有表現について個々 の固有表現がアノテーションされた GENIA Term annotation [14] を用いて評価実験を行う. GENIA Term annotation では, 11 タイプ1) の等位接続詞の夕 グで複合名詞が分類されており，全体の $97 \%$ が AND と OR のラベルで占められる. 本実験では AND と OR を実験対象の等位接続詞として性能の比較を行 い, 並列構造解析器の前処理で用いる品詞は gold の 品詞を使用した.

## 4.1 評価方法

本実験では，Muis ら [3] の評価方法に基づいて， コーパスの最初の $80 \%$ と $10 \%$ の文を固有表現認識器の訓練及び開発用，残りの 10 \%を評価用のデー タセットとして用いる. 固有表現は DNA, RNA, Protein, cell_line, cell_typeの5タイプを対象とし, DNA と RNA, Protein にあるサブカテゴリは親カ テゴリに統合する。また, GENIA Term annotation に

cell line” のような入れ子になった固有表現が全体 の $10 \%$ に含まれており, 固有表現認識器の学習のた め，訓練データと開発データには入れ子状の固有表現を除去した.

本稿では，全ての固有表現と並列構造を含んだ固有表現に限定した設定で精度・再現率及び $\mathrm{F}$ 值で 性能を比較する．全ての固有表現には BioBERTを

ベースラインとして使用し，並列構造を含んだ固有表現を対象にした評価では, 固有表現認識器の代わ りに全ての連続した範囲にある固有表現を Oracle と して組み合わせたモデルを提案手法の upper bound として使用した。また，複合する固有表現を不連続 な固有表現として抽出する手法の一つである Dai ら [4] の手法で実験した結果についても示す. Dai らの 手法は, 複合した固有表現の中で連続した範囲にあ る固有表現に対して偽陽性を判定できないため，並列構造を含む固有表現のみの評価については再現率 のみを示す.

## 4.2 実験結果

 & F1 \\

BioBERT+ours & 0.764 & 0.652 & 0.703 \\
Dai et al [4] & $\mathbf{0 . 7 9 1}$ & $\mathbf{0 . 7 6 2}$ & $\mathbf{0 . 7 7 6}$ \\

Oracle+ours & 0.625 & $\mathbf{0 . 6 7 8}$ & 0.650 \\
Dai et al [4] & - & 0.644 & - \\

表 1 GENIA Term annotation での実験結果

実験結果を表 1 に示す. 全ての固有表現を対象に した評価について，提案手法はベースラインの性能 を上回ったが，並列構造を含む固有表現のみを対象 にした設定では, Oracle の固有表現と組み合わせた モデルと比べ， 0.28 ポイントの改善の余地が見られ た. Dai らの手法と比較すると, 全ての固有表現に おいて提案手法が近い性能を示し, 複合した固有表現に対しては oracle の固有表現を代わりに使用した 手法が同等の再現率を示した.この結果から，複合化された固有表現の正規化において並列構造解析器 が有効に働いていると考えられる. また, 提案手法 と Dai らの手法にある性能の差の原因として, Dai らの手法が入れ子の固有表現も対象にしている点 や後述の固有表現に対する誤りによる点が挙げら れる.

## 5 今後の課題

提案手法では，三点の特徴をもつ固有表現に対し て抽出が困難になる。一つ目は, 並列構造を含んだ 長い範囲の固有表現である. 評価データセットで生 じた固有表現認識器の誤りの例を図 2 に示す.こ
の例では，正解が “Oct-1"と “Oct-2A"と独立した固有表現であるものの, 認識器では “recombinant Oct-1 and Oct-2A protein"と一つの固有表現として抽出され ている.このような抽出の誤りは，複合された固有表現の出現パターンが類似している点が原因として 考えられる。実際に “PRDII and tetrahexamer binding proteins"では, "PRDII binding protein", "tetrahexamer binding protein"と別々の固有表現として扱われてお り，このような一部のタグで頻出する単語が周辺に あることで，複合した固有表現と誤って認識されて いると考えられる。

## The relationship of the $\mathbf{N$ - Oct proteins to Oct - $\mathbf{1}$ and Oct - 2 A was analyzed by proteolytic \\ clipping bandshift assays and by their reactivity towards antisera raised against recombinant -1] and [Oct - 2A] proteins. \\ $\checkmark$}

図 2 BioBERT におけるエラー例

二つ目は，等位接続詞を含んだ単一の固有表現 である。等位接続詞を含む固有表現には，“Signal transducer and activator of transcription protein"のよう な, "Signal transducer"と “activator of transcription"が 並列構造を持っているにも関わらず一つの固有表現 として扱われる事例が存在する。本手法は，二つの モジュールで出力される範囲に重複がある場合は必 ず複合した固有表現であると仮定しているため，固有表現認識器で正しく予測されても並列構造解析器 が別の固有表現として正規化される. また，このよ うな固有表現には略語 (“STAT") が範囲に加えられ る場合もあり，正規化がより困難になる。抽出され た固有表現が複合されたものか分類する機構との 組み合わせとともに，コーパスの整備が今後必要に なる。

三つ目は，三つ以上の並列句からなる並列構造を 含む固有表現である．複合された固有表現の中には "human interleukin -2, -4, -5 and -13"のような三つ以上 の固有表現 ("human interleukin-2", "human interleukin -4", "human interleukin -5", “human interleukin -13") が 複合されたものも存在し，これらの固有表現の正規化には三つ以上の並列句それぞれの範囲を同定する 必要がある. 本手法の並列構造解析器は等位接続詞 の前後にある並列句しか同定できないため，三つ以上の並列句からなる並列構造への対応も課題として 挙げられる.

## 参考文献

[1] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, San Diego, California, June 2016. Association for Computational Linguistics.

[2] Xuezhe Ma and Eduard Hovy. End-to-end sequence labeling via bi-directional LSTM-CNNs-CRF. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1064-1074, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Aldrian Obaja Muis and Wei Lu. Learning to recognize discontiguous entities. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 75-84, Austin, Texas, November 2016. Association for Computational Linguistics.

[4] Xiang Dai, Sarvnaz Karimi, Ben Hachey, and Cecile Paris. An effective transition-based model for discontinuous NER. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 58605870, Online, July 2020. Association for Computational Linguistics.

[5] Sadao Kurohashi and Makoto Nagao. A syntactic analysis method of long Japanese sentences based on the detection of conjunctive structures. Computational Linguistics, Vol. 20, No. 4, pp. 507-534, 1994.

[6] Masashi Shimbo and Kazuo Hara. A discriminative learning model for coordinate conjunctions. In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), pp. 610-619, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[7] Jessica Ficler and Yoav Goldberg. A neural network for coordination boundary prediction. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 23-32, Austin, Texas, November 2016. Association for Computational Linguistics.

[8] Hiroki Teranishi, Hiroyuki Shindo, and Yuji Matsumoto. Decomposed local models for coordinate structure parsing. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3394-3403, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] Yuya Sawada, Takashi Wada, Takayoshi Shibahara, Hiroki Teranishi, Shuhei Kondo, Hiroyuki Shindo, Taro Watanabe, and Yuji Matsumoto. Coordination boundary identification without labeled data for compound terms disambiguation. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3043-3049, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[10] Jessica Ficler and Yoav Goldberg. Coordination annota- tion extension in the Penn Tree Bank. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 834-842, Berlin, Germany, August 2016. Association for Computational Linguistics.

[11] Matthew Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[12] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, 2019.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[14] J.-D. Kim, T. Ohta, Y. Tateisi, and J. Tsujii. GENIA corpus-a semantically annotated corpus for bio-textmining. Bioinformatics, 2003.