# 業績要因の極性付与を目的とした文の区切り位置推定

高野海斗
成蹊大学
dd186201@cc.seikei.ac.jp
酒井浩之
成蹊大学
h-sakai@st.seikei.ac.jp
中川慧
野村アセットマネジメント株式会社
k-nakagawa@nomura-am.co.jp

## 1 はじめに

近年，機械学習などの手法が注目を集め，様々な 分野への応用研究が活発に行われている. 金融業界 でも人工知能分野の手法や技術を金融市場における 様々な場面に応用することが期待されており，膨大 な金融情報を分析し投資判断を支援する技術にも注目が集まっている $[1,2,3]$.

一般に金融テキストには結果（事実）と評価が混在している。例えば，「今期の $\left.\mathrm{EPS}^{1}\right)$ は 100 円であ り，経営努力が実った.」と「今期の EPS は 100 円 であり，経営陣の見通しの甘さが露呈した.」とい うテキストには，今期の EPS は 100 円であるという 同一の結果を両方とも伝えているものの，評価は正反対の内容を伝えている.このように，金融では同一の結果に対してどのような評価，すなわち極性を 付与するかという点に市場あるいは投資家のセンチ メントが含まれる。また結果を表す情報は財務デー タあるいは経済データが多く，定量的に取得・分析 できるのに対して，評価情報はテキストにのみ存在 する情報である。このように，金融テキストの極性付与は投資意思決定において重要なタスクである.

しかしながら，既存の金融テキストへの極性付与 は，極性語とその極性値が組となった極性辞書を用 いたものが多い [4]. 極性辞書を用いた文への極性付与の問題点としては，文脈を考慮せずに極性値に よるスコア付けが行われる点である．例えば，「コ ロナ感染者数の増加 (2.312) に伴い、売上高は減少 (-1.998)いたしました。のような文の極性は， 0.314 （ポジティブ）となるが，明らかにネガティブな文 である．例に挙げたように，何が増加したかによっ て，「増加」のスコアを変化させるべきだが，一般

的な極性辞書は，そのような問題に対処できない。解決策として，「感染者数の増加 (-1.315)」，「売上の 増加 (3.312)」のように表現を拡張した辞書を作成す ることが挙げられる [5]. しかし，全ての表現を辞書で作成することは困難であり，類似表現に対して も，辞書に登録されていなければ極性を付与できな い問題がある。また，表現を拡張できたとしても，「見込んでいた売上減少はなかったものの、」のう な否定表現などに対応できないことも問題点として 挙げられる。

したがって，これらの問題に対処するために，文脈を考慮した上で文に対して極性付与を行うことが 必要である。しかし，極性辞書を用いた文の極性付与に対して，深層学習モデルなどを用いて文に極性付与を行う場合には，解釈性の問題が残る [6].

そこで，入力文全体に対して極性を付与するので はなく，ポジティブなことが記述されている部分， ネガティブなことが記述されている部分，結果につ いて記載されている部分に分割し，その上で分割し た各部分に対して極性付与を行うことが可能なモデ ルの作成を研究目標とする。文を分割し，極性付与 を行うイメージは以下の通りである。

最終的な研究目標

(+2.5) 収益合計は、投資信託ビジネスや投資顧問ビジネスでの資金流入が運用資産残高の拡大 に寄与し、(+0.5) 引き続きビジネスは堅調だっ たものの、(-25.0) アメリカン・センチュリー・ インベストメンツ関連損益が収益を押し下げま した。

短く分割した各部分に対して，文脈を考慮し極性を 付与することで，文全体に極性付与を行うよりも，解釈性の高い出力を得ることが可能となる.

そのための第一段階として，本研究では，文を分割することが可能であるかの検討を行った．具体的 には, 高野らの研究 [7] で抽出した業績要因文 ${ }^{2}$ に 対して，人手で文を分割するための正解 Tag をアノ テーションし (111 文), 事前学習済みモデルである BERT と BiLSTM モデルを組み合わせたモデルの学習を行い，このモデルを用いることで分割が可能で あることを示した.

## 2 文の区切り位置と定義

本研究では，業績要因文をポジティブな要因が記述されている部分，ネガティブな要因が記述されて いる部分，結果について記載されている部分に分け ることが目的である。まず，本研究で扱う業績要因文は以下のような文を指す。

業績要因文の例

広州においては、年間を通して生産活動に変動 はあったものの、全体としては生産活動が好調 に推移したことから、売上高は前年同期を上回 る状況で推移いたしましたが、償却費及び労務費などの固定費の負担が増加したことにより 利益は前年同期を下回る状況で推移いたしま した。

本研究の目的は，上記のようなテキストを入力と し，以下に示すような分割を行うことが可能なモデ ルを学習させることである.

## 業績要因文の分割例

[B_Cause_Nega] 広州においては、年間を通 して生産活動に変動はあったものの、 [E_Cause_Nega] [B_Cause_Posi] 全体としては 生産活動が好調に推移したことから、 [E_Cause_Posi] [B_Result] 売上高は前年同期 を上回る状況で推移いたしましたが、[E_Result] [B_Cause_Nega] 償却費及び労務費などの固定費 の負担が増加したことにより [E_Cause_Nega] [B_Result $]$ 利益は前年同期を下回る状況で推移 いたしました。[E_Result]

文の区切り位置は，語尾を変更し，接続詞などの 表現を用いることで，文をつなぎ直すことが可能に なる位置とする。例えば，上記の文であれば，「〜

2）企業を分析するにあたり，企業が公開している金融テキス 卜に含まれる業績要因についての記載は，特に重要な情報で あり，これらの文を本研究では業績要因文と呼ぶ [8].変動はあったものの、全体としては〜」は，「〜変動 があった。」，「しかし，全体としては〜」と変更する ことが可能であるため，区切り位置となっており，「〜が増加したことにより利益は〜」は，「〜が増加 した。」，「その結果、利益は〜」と変更することが可能であるため，区切り位置となっている。また，本研究では分割の際に，文の分割した部分が，1.「ポ ジティブな要因が記述されている」，2.「ネガティブ な要因が記述されている」，3.「結果について記載さ れている」のいずれかに分類も行う.

本研究では，学習データを人手にてアノテーショ ンすることで作成する．そのために，まず学習デー タとなる業績要因文に対して Tokenizerを使用し, Token に分割する3). Token に分割した学習データに 対して，人手でアノテーションした例を付録の表 3 に示す.

次に，本研究で使用する Tag について説明する.本研究で使用する Tag は，以下の9つである.

CLS: 文の開始位置

SEP: 文の終了位置

B_Cause_Posi: ポジティブ要因の開始位置 E_Cause_Posi: ポジティブ要因の終了位置 B_Cause_Nega: ネガティブ要因の開始位置 E_Cause_Nega: ネガティブ要因の終了位置 B_Result: 結果についての記載の開始位置 E_Result: 結果についての記載の終了位置 Other: 上記以外

これらの Tag を用いることで，分割位置を推定し，分類も同時に行う.

結果についての記載に関して，ポジティブとネガ ティブを付与しなかったのは，「売上高は○○百万円でした。のような記述において，企業の規模に よって同じ金額でもポジティブ・ネガティブが異な り，判断が難しいためである.

## 3 関連研究

文を分割するための研究は，文の自動要約に関す る分野で研究が行われている。例えば，大野らは，学生のレポートが読みにくくなっている原因の一 つに，修飾節が連なることによる文の長文化を挙げ ており，この長文を機械的に短文に変換する研究を 行っている [9]. この研究では，文の修飾節として 補足節・連体節・副詞節を自動的に判定する方法を

3）本研究では，東北大学の乾研究室が公開している学習済み BERT を使用するため，それに合わせた Tokenizer を使用した.
提案している。また，金融テキストと同様に，長文 が多く出現するテキストとしてニュース原稿があ る.ニュース原稿は，そのまま字幕にすると長すぎ 場合が多い. そこで，自動的に長文を複数の短文に 分割する研究が行われている $[10,11]$.

これらの文分割の先行研究と本研究の大きな違い は, 品詞情報を利用していない点である. 入力とな る文が業績要因文に限定されていることや，大量の 教師なしデータを用いた事前学習済みモデルによ り，同じような文脈で出現する Token に対しては似 たような分散表現が与えられている可能性が高く，人手にて少量の学習データを作成することで，品詞情報を考慮しなくても分割が可能である.

また, 本研究はセンチメント分析の一環でもあ る [12]. 極性付与を行う方法の一つには，1 章でも 述べたように極性辞書を用いた方法があるが，広 く利用されている一般的な極性辞書 (Harvard-IV-4 TagNeg）に含まれるネガティブ表現が，金融の分野 において, 約 4 分の 3 も該当しないことを示した研究もある [13]. したがって, センチメント分析を行 うためには，その目的に特化した極性辞書や極性付与モデルを使用する必要がある. 多くの金融極性辞書は，市場分析を目的に作成されているが，本研究 では，企業の業績状況の分析に特化した極性付与を 可能にすることを最終目標としている.

## 4 使用するデータ

本研究で扱う業績要因文は，高野らの手法 [7] を 用いて，有価証券報告書から抽出したものを使用す る.この業績要因文には，事業セグメントと業績結果文 ${ }^{4}$ が紐づいてる. 本研究では, 人手で作成可能な少量の学習データで学習を行う必要がある. そ こで，学習データを少しでも多様性のあるものにす るために，アノテーションを行う業績要因文の事業 セグメントが一致しないように，ランダムサンプリ ングを行うことで，似たような事業に関する業績要因文が学習データに含まれないようにする工夫をし ている.

ランダムサンプリングした業績要因文に対して， アノテーションを行い，111 文の学習データを作成 した. アノテーションは，付録の表 3 に示したよう に, 分割部分の先頭の Token と最後の Token に対し て，Tag 付けを行った. また，学習データで用意したデータとは別に，評

価を行うためのテストデータを人手にて，20 文作成 した。学習データと似たような業績要因文になるこ とを避けるために, 学習データに使用した業績要因文とは，付与されている事業セグメントが異なる業績要因文を対象にした.

## 5 使用するモデル

本研究では，人手で学習データを作成するため,大量のデータを生成できない. そこで，少量のデー タを Fine Tuning することで良好な結果が得られる ことが報告されている事前学習済み BERTを利用す る [14]. 事前学習済み BERT は, 東北大学の乾研究室が公開しているものを使用した ${ }^{5)}$.

BERT は，Transformer の Encoder 部分を重ねたモ デルであり, Transformer 層が全 12 層ある. 本研究 では，入力層から前半 6 層までのパラメータを固定 した上で，後半 7 層から 12 層のパラメータを Fine Tuning することにした.

## 5.1 Simple BERT Model

事前学習済み BERT に対して，Token に分割した 業績要因文を入力し, BERT の最終層からの各 Token の出力 768 次元に対して, 線形変換を行うことで, Tag の推定を行うシンプルなモデルを Simple BERT Model とする. モデルのイメージ図を付録の図 1 に 示す.

## 5.2 BERT BiLSTM Model

入力文に対して，Tag 付けを行うことで固有表現抽出を行う研究では, 回帰型の深層学習モデルで ある LSTM などが有効であることが多い $[15,16]$. そこで本研究では，事前学習済み BERT に対して， Token に分割した業績要因文を入力し，BERT の最終層からの各 Token の出力を, BiLSTM モデル6)入力し, その出力に対して線形変換を行うことで, Tag の予測を行うモデルを BERT BiLSTM Model と する7). モデルのイメージ図を付録の図 2 に示す.

## 6 モデルの学習

モデルの学習は, $\mathrm{K}$ 分割交差検証法 (K-Fold Cross Validation) で行った. 本研究では $K=10$ とし, 学習データをランダムに 10 分割し， 9 割を訓練デー

表 $1 \mathrm{~K}$ 分割交差検証の結果

タ，1割を検証データとしてモデルを学習させた。 エポック数は 100 回とし，モデルの評価指標は， Macro-F1 と Micro-F1 を計算し，どのエポックのモ デルを保存するかは，Macro-F1 が一番高いものを選択する8). Macro-F1を評価指標に使用した理由は，「Other」の Tag 割合が他の Tag に比べて非常に多い ため，全ての予測を「Other」にすることで，スコア が高くなってしまう評価指標である Accuracy より も，良好なモデルを選択できる可能性が高いからで ある．また， Micro-F1 は，Tag の割合が大きい Tag の影響を受けやすいため，Macro-F1 を評価指標に採用した.

loss を計算するための損失関数は，多クラス分類 であるためクロスエントロピーを使用した。しか し，前述した通り，「Other」の Tag 割合が他の Tag に 比べて非常に多い不均衡なデータであるため，loss の計算では，学習データに付与された Tag の出現頻度によって重み付けを行った。

最適化関数は Adam を使用し, lr（学習率）以外 はデフォルトのまま使用した. $1 \mathrm{l}$ の值は, 出力層 に近い層を大きく設定し，入力層に近い層は小さ く設定した。これは，学習済みモデルである BERT の Transformer 層のパラメータを微調整しつつ，ラ ンダムに初期値を決めている最終層の線形変換や， BiLSTM 層のパラメータを重点的に学習させるため の工夫である．詳細な $\operatorname{lr}$ の値については，付録の表 4 に示す.

モデル学習時の検証データによる各モデルの評価 を平均した結果を表 1 に示す.

## 7 評価

学習したモデルの性能を評価するために，人手で 作成したテストデータを用いて評価を行った. 学習 データを 10 分割して，交差検証を行っていること から，同じ数のモデルが存在するため，各モデルに 対して，テストデータを入力し，各モデルの出力結果の多数決で Token に対する Tag の決定を行った.

評価結果を表 2 に示す。また，BERT BiLSTM Model に業績要因文を入力し得られる結果を付録

8） Macro-F1の值が同一の場合は，エポック数の少ないものを 選択する。

## （A.1）に示す.

## 8 考察

表 1 に示した交差検証の結果と表 2 に示した 評価結果から，シンプルな BERT モデルよりも， BiLSTM 層を追加したモデルの方が良好な結果であ り，Macro-F1 も 0.924 と良好な結果であった。

正しい Tag の推定が行えなかった業績要因文を確認したところ，付録（A.1）に示した「～労務費が 増加したこと等により、」ようなネガティブな分割部分に対して，ポジティブであると誤推定してい た. これは，「増加」という単語がポジティブな分割に出現しやすい傾向があることが原因である．本研究で使用した業績要因文は，業績結果文から抽出 できる数値情報が紐づいているため，「増加」が含 まれているが，業績が前年度から大幅に下がってい る業績要因文を抽出し，学習データを増やすことで 解決できないか，今後検討を行っていきたいと考え ている。また，「減少」が含まれているが，業績が前年度から大幅に上がっている業績要因文など，紐づ いている情報などをうまく活用して，意図的に分類 が難しい学習データを 100 文ほど増やすことで，推定にどのような影響があるのかの分析も行っていき たいと考えている.

## 9 まとめと今後の展望

本研究によって，少量のデータを人手で作成し，事前学習済みモデルを利用したモデルを用いること で，業績要因文の分割が可能であることを示した。業績要因文は，1文でいくつかの要因について記載 されているものが多く，ポジティブなこととネガ ティブなことの両方が記述されている文も多いが，本研究で学習したモデルを用いることで，それらを 分割することが可能である.

本研究で使用した業績要因文は，高野らの研究 [7] で抽出した業績結果文が紐づいたテキストデー タであるため，今後は，これらの業績結果文に含ま れる数値情報を目的変数とし，分割したポジティブ な記述とネガティブな記述を入力とすることで，入力テキストに対して，極性付与を行うモデルの検討 を行っていく予定である。

## 参考文献

[1] 和泉潔, 松井藤五郎. 金融市場における最新情報技術：8. 金融テキストマイニング研究の紹介. 情報処理, Vol. 53, No. 9, pp. 932-937, 2012.

[2] 藏本貴久, 和泉潔, 吉村忍, 石田智也, 中嶋啓浩, 松井藤五郎, 吉田稔, 中川裕志. 新聞記事のテキストマイ ニングによる長期市場動向の分析. 人工知能学会論文誌, Vol. 28, No. 3, pp. 291-296, 2013.

[3] 和泉潔, 坂地泰紀, 伊藤友貴, 伊藤諒. 金融テキストマ イニングの最新技術動向 (特集 ai の金融応用 (実践編)). 証券アナリストジャーナル, Vol. 55 , No. 10, pp. 28-36, 2017.

[4] Tomoki Ito, Hiroki Sakaji, Kota Tsubouchi, Kiyoshi Izumi, and Tatsuo Yamashita. Text-visualizing neural network model: understanding online financial textual data. In Pacific-Asia Conference on Knowledge Discovery and Data Mining, pp. 247-259, 2018.

[5] 今井康太, 酒井浩之, 高野海斗, 北島良三, 未廣徹, 稲垣真太郎, 木村柚里. 債券市場における金融極性辞書の自動構築. 第 25 回金融情報学研究会, pp. 38-43, 2020.

[6] David Gunning and David William Aha. DARPA's explainable artificial intelligence program. AI Magazine, Vol. 40, No. 2, pp. 44-58, 2019.

[7] 高野海斗, 酒井浩之, 北島良三. 有価証券報告書から の事業セグメント付与された業績要因文・業績結果文の抽出. 人工知能学会論文誌, Vol. 34, No. $5, \mathrm{pp}$. 1-22, 2019.

[8] 酒井浩之, 松下和暉, 北島良三. 学習データの自動生成による決算短信からの業績要因文の抽出. 日本知能情報ファジィ学会誌, Vol. 31, No. 2, pp. 653-661, 2019.

[9]博之大野, 宏誠稲積. 修飾節に着目した長文における 短文化への試み. Technical Report 12, 東京医療保健大学, 青山学院大学, 2020.

[10] 福島孝博, 江原暉将, 白井克彦. 短文分割の自動要約 への効果. 自然言語処理, Vol. 6, No. 6, pp. 131-147, 1999.

[11] 江原暉将, 福島孝博, 和田裕二, 白井克彦. 聴覚障害者向け字幕放送のためのニュース文自動短文分割. Technical Report 65(2000-NL-138), 通信・放送機構／ NHK, 通信・放送機構 / 追手門学院大学, 通信・放送機構, 通信・放送機構/早稲田大学, 2000 .

[12] Kumar Ravi and Vadlamani Ravi. A survey on opinion mining and sentiment analysis: Tasks, approaches and applications. Knowledge-Based Systems, Vol. 89, pp. 1446, 2015.

[13] Tim Loughran and Bill Mcdonald. When is a liability not a liability? textual analysis, dictionaries, and $10-\mathrm{Ks}$. The Journal of Finance, Vol. 66, No. 1, pp. 35-65, 2011.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[15] Mike Schuster and Kuldip K. Paliwal. Bidirectional re- current neural networks. IEEE Transactions on Signal Processing, Vol. 45, No. 11, pp. 2673-2681, 1997.

[16] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[17] Alex Graves and Jürgen Schmidhuber. Framewise phoneme classification with bidirectional LSTM networks. In Proceedings. 2005 IEEE International Joint Conference on Neural Networks, 2005., Vol. 4, pp. 2047-2052, 2005.

[18] Alex Graves, Navdeep Jaitly, and Abdel rahman Mohamed. Hybrid speech recognition with deep bidirectional LSTM. In 2013 IEEE Workshop on Automatic Speech Recognition and Understanding, pp. 273-278, 2013.

## A 付録

## A. 1 テストデータの出力結果

$\left[\begin{array}{l}\text { 分割に成功した文一 } \\ \text { ・[B_Cause_Posi] 電線事業につきましては、当 } \\ \text { 事業の主要な市場である建設・電販向けの売 } \\ \text { 上は、公共事業・設備投資の持ち直しがみられ } \\ \text { るものの、[E_Cause_Posi] [B_Cause_Nega] 銅価 } \\ \text { 格が前連結会計年度よりも大幅にダウンして } \\ \text { いる影響で [E_Cause_Nega] [B_Result] 売上高は } \\ \text { 5,741百万円 (前年同期比 9.3\%減)と減少しまし } \\ \text { た。[E_Result] } \\ \text { ・[B_Cause_Posi] 電子デバイスにつきまし } \\ \text { ては、マイコンは堅調に推移しましたが、 } \\ \text { [E_Cause_Posi] [B_Cause_Nega] パワー半導体が } \\ \text { 大きく減少しました。[E_Cause_Nega] }\end{array}\right.$

図 1 Simple BERT Model のイメージ図

図 2 BERT BiLSTM Model のイメージ図

表 4 モデルの各層の学習率


# 大喜利における回答の面白さに関する定量的分析一お題と回答の意味的類似度からの考察一

戎達也
同志社大学 文化情報学部
cgjb0020@mail4.doshisha.ac.jp
}

原 尚幸
同志社大学 文化情報学部
hhara@mail.doshisha.ac.jp

## 1 はじめに

大喜利とは寄席演芸に端を発する芸能の一種であ る。現在では出されたお題に対して面白い回答を出 すという競技としての大喜利が確立されており、趣味として楽しむコミュニティも存在している。

大喜利において評価されるのは、回答がいかに面白いかという点であり、そのためにはお題からどの 程度ズレた回答を出すかが肝心であるとされてい る。このお題からのズレの程度を言語化する際に、大喜利プレイヤーは「お題と回答の距離」という言葉を用いることがある。そして、お題との距離が適切であれば回答が面白くなりやすいという。つま り、お題から飛躍し過ぎた回答は、見ている人から すると意味がわからないため面白くなりづらく、ま た、お題に素直に答え過ぎるのもクイズのようなも のであり、意外性がなく面白くなりづらいというわ けである。本研究では、この回答のお題からの距離 と面白さの関係について、定量的に考察する。

## 2 本研究の目的

大喜利においては、多くの場合お題を言い換えた だけのような回答だとお題と近く、お題と意味が大 きく異なる回答はお題から遠いとされる。そのた め、本研究では BERT[1] を用いてお題と回答の文章 をべクトル表現に落とし込み、そのコサイン類似度 をどれだけお題に近い回答であるかの指標と考元、面白さとの関係を明らかにする。BERTについて は、東北大学の乾・鈴木研究室が公開しているモデ ルを使用した ${ }^{1)}$ 。面白さと発想の飛躍度の関係は、大喜利に限らないユーモアにおける大きな関心事で あり、これを明らかにできれば幅広い分野で応用で きる可能性がある。また、大喜利経験者とそうでな い人との間で、面白い回答が集中している距離が異

なるのかを見ることで、発想の飛躍度と面白さの関係を見る際の面白さの評価が演者と観客のどちらに よるものかを考慮する必要性についても考察する。

## 3 関連研究

大喜利回答の面白さについて自然言語処理を用い て説明する研究として、中川ら [2] がある。中川ら [2] は質問調査で収集した大喜利回答の「お題との 関係性」、「わかりやすさ」、「新しさ」に加えて平均単語難易度、トピックベクトル、Word2Vec で算出 した文章ベクトルのコサイン類似度から面白さを予測する回帰モデルを作成し、同じく質問調査で収集 した「面白さ」の説明を試みるというものであった が、機械的に算出された特徴量の有効性は低かった と述べられている。また、それらの特徴量と各質問項目で強い相関がみられる組み合わせは存在しな かったという。しかしながら、質問調査で収集した 特徴量は客観性を欠いており、これらの特徵量の全 てに面白さとの強い相関が表れているのも「面白い から新しいのであろう」といった考えの影響を受け ている可能性がある。また、中川ら [2] では具体的 にどのような回答が面白くなりやすいのかについて 触れられておらず、面白さと各要素の関係が示され ていない。本研究ではこれらの点を改善し、回答の 面白さと、客観的な手掛かりであるお題との文章類似度の関係を明らかにする。

## 4 分析

## 4.1 アンケートについて

4 つのお題と各 60 答の回答を作成した。それぞ れ 0 点（全く面白くない）から 4 点（とても面白い） の 5 択から回答してもらう形式のアンケート調査を Google フォームを用いて実施した。各回答とお題の 文章類似度がお題からの距離を反映していると考

え、面白さとの関係を明らかにする。

## 4.2 分析手法

笑いのツボ、すなわち採点傾向の特徴を把握する ことで距離と面白さの評価の関係を確認するため に、アンケート協力者ごとの採点を順位データとし て扱い、スピアマンの順位相関係数を 1 から引いた ものを距離として定義し、階層的クラスター分析を 行った。各お題ごとに、ウォード法を用いてアン ケート協力者の採点傾向を 5 つのクラスターに分類 した。また、採点傾向の違いを明らかにするため、 クラスターごとに、各アンケート協力者ごとに標準化した面白さの点数の平均とお題との文章類似度に ついてカーネル分位点回帰を推定し、両者の関係に ついて考察を行った。

## 4.3 分析結果

各お題について先述したクラスター分析を行っ た。 4 つのお題を順に A,B,C,D と呼ぶことにし、そ れぞれのお題ごとに採点傾向を 5 つのクラスターに 分類した。各クラスターに属するアンケート協力者 について、大喜利経験があると回答した人の数、な いと回答した人の数の内訳が以下の表 1 である。お 題ごとに有意水準を $5 \%$ としたカイ二乗検定及び残差分析を行い、有意に多かった値の右側には $\mathbf{\Delta}$ を、少なかった値の右側にはマを書いている。

このように、多くの組み合わせで大喜利経験の有無に有意差がみられ、採点傾向の違いの要因のひと つに経験の有無があることが分かった。

4 つのお題それぞれで、クラスターごとに、BERT で求めた文章類似度と面白さの評価について $5 \%$ 点、 50\%点、95\%点でカーネル分位点回帰曲線を推定し、順にプロットした（図 1-20）。回答の面白さの得点 は、各アンケート協力者ごとに標準化した得点のク ラスターごとの平均を用いている。なお、カーネル 関数には anova 関数を使用した。お題ごとに各クラ スターの特徴を述べる。

図 1 得点傾向 $(A 1)$

図 3 得点傾向 (A3)

図 5 得点傾向 (A5)

お題 A（夏祭りなのに全然盛り上がらなかった理由）での採点傾向のクラスタリングの結果について 述べる。 $A 1$ では $95 \%$ 分位点回帰曲線にお題との文章類似度が 0.67 である「商品が後日届くタイプの屋台ばかりだ」という回答を頂点とする山形が特徴的 な採点傾向がみられる。また、 $50 \%$ 分位点回帰曲線 にも山形がみられ、お題と回答の距離が比較的評価 に影響している様子が表れている。

大喜利経験者の多く属している A2 では 95\%分位点回帰曲線にお題との文章類似度が 0.70 である「デ カい屋台が全てを売っている」を頂点とする大きな 山形が特徴的な採点傾向が表れており、回答が非常 に面白いものになる可能性のある距離が存在する様子が表れている。 $A 3$ でも同じ点を頂点とする山形 がみられるが、その傾向は緩やかである。

$A 4$ では $95 \%$ 分位点回帰曲線にお題との文章類似度が 0.69 である「どの屋台でも「逃げろ」と書いた 紙を渡される」を頂点とする緩やかな山形がみられ るが、全体的には $50 \%$ 分位点回帰曲線において文章類似度が高くなるにつれて評価が下がっていく傾向 が見られ、比較的お題から遠い回答を好む傾向のあ るクラスターであるといえる。

$A 5$ は大喜利経験のない人が多く含まれるクラス ターである。お題との文章類似度が 0.76 である「早朝にやることではない」が最も高い得点となって おり、95\% 分位点回帰曲線にも盛り上がりがみられ る。また、似た盛り上がりは $50 \%$ 分位点回帰曲線に も表れており、平均的に回答が面白くなりやすいお 題からの距離が存在する様子がうかがえる。

図 7 得点傾向 $(B 2)$

図 8 得点傾向 (B3)

図 9 得点傾向 $(B 4)$

図 10 得点傾向 (B5)

お題 B（店主がバカなペットショップ）での採点傾向のクラスタリングの結果について述べる。 $B 1$ に属している 17 名のうち 15 名が大喜利経験がな いと回答している。このクラスターでは回答が面白 くなりやすい適切な距離が存在するというより、む しろ最も得点が低かった「犬をつい癖で蹴ってしま い、後悔している」の存在する文章類似度 0.71 の点 あたりの面白くなりにくい避けるべき距離が存在す

も表れている。

$B 2$ は他のクラスターと比べてお題からの距離の 採点への影響が小さい。このクラスターには大喜利経験者が多く属しており、これは大喜利経験者のほ うがお題と回答の距離の面白さの評価への影響が小 さい可能性を示唆している。

B3 では、お題との文章類似度が 0.71 である「隣 の市にも看板を出している」付近を底とする形で評価が下がる谷型と、お題との文章類似度が 0.77 であ る「鳥のコーナーに chicken と書かれている」付近を 頂点とするように評価が上がる山形を合わせたよう な形がいずれの点での分位点回帰曲線にも表れてお り、特に評価の高い回答や特に評価の低い回答のみ ならず全回答に当てはまる採点傾向が表れている。

$B 4$ でも $B 3$ と似た形状が表れているものの、B3 の時ほどはっきりとした表れ方ではなく、面白さの 評価への距離の影響が小さいことが分かる。

$B 5$ は $B 2$ に似た得点傾向がみられるクラスターで あるが、 $50 \%$ 分位点回帰曲線を見ると $B 2$ よりもお 題から近い回答の評価が低くなっている。

図 11 得点傾向 $(C 1)$

図 12 得点傾向 $(C 2)$

図 13 得点傾向 $(C 3)$

図 14 得点傾向 $(C 4)$

図 15 得点傾向 $(C 5$ )

お題 C（かなり面倒くさい寿司屋）での採点傾向 のクラスタリングの結果について述べる。 1 では、 $95 \%$ 分位点回帰曲線に、お題との文章類似度が 0.71 の「板前がお互いをオリンポス十二神から取った源氏名で呼びあっている」と、 0.77 の「店内でカッパ 寿司のテーマの逆再生を延々と流している」を頂点 とする 2 つの山が連なったような形状がみられる。

C2 には大喜利経験者が多く属している。95\%分位点回帰曲線に、お題との文章類似度が 0.66 である $「 30$ 種類のシャリから選ばされる」と、 0.78 である 「サバ程度でもいちいち解体ショーをやる」を頂点 とする 2 つの山が連なったような形状がみられる。文章類似度が低くても評価されている回答もあるも のの、 $50 \%$ 分位点回帰曲線に表れているように、お 題との文章類似度が高い回答を比較的高く評価する 傾向がある。

C4 は大喜利経験者が多く属している。また、 $5 \%$分位点回帰曲線が、お題との文章類似度が 0.78 であ る「客に仕入れを任せてくる」付近を底とする大き な谷になっており、回答が面白くないものになりや すい避けるべき距離の存在を示唆している。このお 題では $C 2$ と $C 4$ に大喜利経験者が多いが、この二 つのクラスターで採点傾向は大きく異なり、大喜利経験者であるからといって同じような特徴のある採点をするわけではないことが分かる。

$C 5$ は大喜利経験のない人が多いクラスターであ る。 $50 \%$ 分位点回帰曲線では 2 つの山形が連なった ような形状が確認できるが、 $5 \%$ よび $95 \%$ 分位点回帰曲線にはそのような傾向は見られない。

図 16 得点傾向 $(D 1)$

図 17 得点傾向 (D2)

図 18 得点傾向 (D3)

図 19 得点傾向 (D4)

図 20 得点傾向 (D5)

お題 D（美術館に忍び込んだ泥棒が何も盗まずに 帰った理由）の採点についてクラスタリングを行っ た。D1 には、大喜利経験者が多く属している。D3 と同様にお題との文章類似度が最も高い 0.79 であっ た「盗んじゃダメなやつしかなかった」が最高得点 を獲得しているのが特徴的であるが、 $50 \%$ 分位点回帰曲線のとおり、全体的に文章類似度が高い回答に 高得点をつける傾向があるわけではない。

$D 2$ も大喜利経験者が多く属しているクラスター であるが、 $D 1$ と似た特徴が表れることはなかった。 $50 \%$ 分位点回帰曲線にはこのクラスターで最高得点 を獲得している「警備員の早歩きがもう「探す」方向性になってる」が存在する 0.76 付近を頂上とする ふくらみが見られ、回答が面白くなりやすい距離で あると推測される。

$D 4$ は 95\%分位点回帰曲線を見るとお題との文章類似度が 0.70 であった「めちゃくちゃバレていた のか、他の客に「手伝いましょうか？」と声をかけ られた」付近を頂点とする山形が表れている。しか し、その付近は $50 \%$ 点および $5 \%$ 分位点回帰曲線で は評価が下がっている距離であり、リスキーだがか なり面白い回答になる可能性はある距離である。

$D 5$ には、大喜利経験のない人が多く属している。 お題との文章類似度が 0.71 である「閉館後にも楽し める作りになっていて普通に楽しめた」が高く評価 されており、95\%分位点回帰曲線には多少の盛り上 がりもみられるが、 $50 \%$ 分位点回帰曲線を見ると全体的な傾向とはいえないことが分かる。

4 つのお題それぞれについてクラスター分析を

行った結果、どのお題でも大喜利経験の有無の項目 について有意差がみられるクラスターが存在した。 これは経験の有無が採点傾向の違いの要因となって いるということであり、ユーモアに関する分析を行 う際に採点者の属性を考慮する必要があることを示唆している。連続する 2 題の採点を行った協力者が それぞれのお題でどのクラスターに属しているのか のクロス集計表を作成した（表 2-5）。フィッシャー 正確確率検定で多重比較を行い、p 值が $5 \%$ を下回っ た組み合わせとなった値の右側に、多い場合は $\boldsymbol{\Delta} 、$少ない場合はマを書いている。

表 2 お題 A とお題 B の

 & 520 & 15 & 13 \\

表 4 お題 C とお題 D の

表 3 お題 B とお題 C の

} \\

表 5 お題 D とお題 A の

} \\

お題間のクラスターの対応を見たところ、有意差 のある組み合わせが多く確認できた。これは、単な るあるお題での採点傾向の近さであるクラスタリン グの結果が、他のお題においても似たような結果に なるということであり、人それぞれの採点傾向はお 題をまたいでも存在することが分かった。しかしな がら、あるお題で単純な山形の採点傾向がある人が 別のお題でも同様の傾向があるかというと必ずしも そうではなく、お題からの距離と面白さの評価の関係にはお題ごとに違いがあった。

## 5 おわりに

今回の研究では、多くのクラスターにおいて面白 さの評価とお題からの距離に関係が確認され、面白 さについて研究する際の文章類似度の有効性が明ら かにできた。今後は漫才におけるフリからのボケの 飛躍度といったことへの応用可能性も感じられ、今後の自然言語処理を応用したユーモアサイエンスの 研究の発展に期待したい。

## 参考文献

[1]Devlin, J., CHang, M.W., Lee, K and Toutanova K. (2019). Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT 2019, 4171-4186.

[2] 中川裕貴, 村脇有吾, 河原大輔, 黒橋禎夫.(2019). ク ラウドソーシングによる大喜利の面白さの構成要素の分析, 言語処理学会第 25 回年次大会発表論文集,pp.233-236

## A 付録

各回答のお題との文章類似度と、アンケート調査によって得られた面白さの評価の詳細についてまとめた のが、以下の表 6 から 9 である。

表 8 お題 C「かなり面倒くさい寿司屋」

表 9 お題 D「美術館に忍び込んだ泥棒が何も盗まずに帰った理由」


# 議事録の質疑応答の対応関係に基づくクラスタリングによる 議題の抽出

大杉了斗
豊橋技術科学大学
ohsugi.ryoto.dv@tut.jp
}

秋葉友良
豊橋技術科学大学
akiba@cs.tut.jp
}

増山繁
東京理科大学
masuyama@rs.tus.ac.jp

## 1 はじめに

新型コロナウイルス感染症の流行に伴い, 政府や 地方議会の対策をすばやく市民に伝える重要性が高 まっている.しかし, 会議内容を要約して市民に伝え るためには, 長い時間や手間を要する.この問題に対処するため, 2020 年開催のワークショップ NTCIR 15 における QA Lab-PoliInfo タスクのサブタスクとし て, 新たに Topic Detection タスクが設立された.この タスクの目的は, 東京都議会の議事録から議題の一覧を提示することである. [1]

本稿では,このタスクに取り組んだ手法を提案す る. 提案手法は会議の質疑応答の関係に着目し,この 関係を利用しない手法に比べ性能が向上しているこ とを示す.

## 2 タスク概要

Topic Detection タスクの目的は, 議事録 (2.1 節) か ら「議題（トピック）の一覧」を議員ごとに提示す ることである. どのような粒度のトピックを, どのよ うに提示するかについてはタスクで定められておら ず, 出力するトピックの定義は参加者によって異な る. そこで本研究では, 都議会だより (2.2 節) のサブ トピックに着目した. 都議会だよりとは, 議会の活動 を知らせる広報紙のことで, 新聞折り込みや都の施設, 公共機関空口で配布される. そのため, 都議会だ よりのトピックの粒度や提示方法は, タスクの背景 である市民に伝えるということに適していると考え られる.また, 都議会だよりは議会職員により人手で 作成されているため, 信頼性も高い. よって本研究で は, 都議会だよりのサブトピックにできるだけ類似 するトピックのリストを出力するシステムの構築を 目的とする。

コミュニケーションについてのご質問がございました。¥n 都民が誤った情報に惑わされることなく、感染症を正しく恐れ、予防に向けた適切な行動をと るためには、収集した情報に専門家の知見もいただきながら、わかりやすいメ ッセージを発信することが重要です。...

図 1 Topic Detection タスクにおける議事録の例

## 2.1 議事録

Topic Detection タスクにおける議事録1) の例を図 1 に示す. 議事録は会議の発言を書き起こしたもので,会議の日付や会議名に加え, 発話者名と発話内容の ペアのリストが含まれる. 会議は質問者がまとめて 質問をし, 知事や委員会長が各質問に回答するとい う一括質問一括答弁方式がとられている。

## 2.2 都議会だより

都議会だより2) の例を図 2 に示す. 都議会だより は議事録を要約したもので, 内容はメイントピック,議員名, サブトピックと要約の一覧から構成される. サブトピックは図 2 の「新型コロナ対策」と「災害対策」であり,短いフレーズで表現される。

1) https://www.gikai.metro.tokyo.jp/record/proceedings/

2) https://www.gikai.metro.tokyo.jp/newsletter/

## 介護事業者のICT導入支援を 災害時の情報連絡体制の強化を

たきぐち学 (都ファースト)

〔1〕都独自で感染拡大のフェーズに応じた公表基準を定めるべき。〔2〕ウィズコロナの介護のあり方を見据えタブレット等介護事業者の ICT導入の更なる強化を。

福祉保健局長〔1〕第二波に備え都の公表基準を整理。〔2〕補助対象 を全サービス種別に拡大し補助基準額引き上げ等ICT機器導入促進。

図 2 都議会だよりの例

## 3 提案手法

提案手法の処理の流れを図 3 に示す. まずは候補 となるトピックを抽出する (3.1 節). この候補トピッ クは大量に抽出されるため, 似た意味を持つ候補卜 ピックをまとめるためクラスタリングを行う $(3.2$節). クラスタリングは質問からの候補と回答からの 候補を分けて 2 回行う. その後, 互いのクラスタを結合する (3.3 節). 最後に結合したクラスタから最終的 に出力するトピックを選択する (3.4 節).

## 3.1 候補トピック抽出

議事録の質問と回答部分から,候補トピックを抽出する. 図 3 における Step 1 の処理である.トピック は「〜について」という語句の前方に存在する場合 が多いため, 正規表現を使ってこの部分を抽出する。本研究では,以下の正規表現を使用した.

(名詞｜接続助詞以外の助詞 $\mid$ 接頭詞 $\mid$ 自立動詞）+について

正規表現の前半部分は, 品詞にマッチする. 品詞の 特定には $\mathrm{MeCab}$ [2] を用いた. 品詞部分を抽出し, こ のフレーズを候補トピックと定義する. また, 候補を 区別するため, 質問側から抽出された候補は質問候補, 回答側から抽出された候補は回答候補と定義す る. さらに抽出精度を高めるため, 以下のような処理 を行った。
- 抽出位置が文頭以外の場合は不適切なトピック

図 3 提案手法の概略

である可能性が高いため,この候補トピックは 除外する。

・単語の区切りとして「,」が使われる場合があ るため,「,」の前方の単語が名詞の場合は「,」 を「・」に変換して抽出する。

## 3.2 クラスタリング

候補トピックをクラスタリングする，図３にお ける Step 2 の処理である. クラスタリングの際に 候補トピック同士の比較を行う必要があるため, 前処理として候補トピックを事前訓練済み Sentence BERT(SBERT)[3] の埋め込みに変換する. SBERT は, Siamese Network を組み込んだ BERT モデルで, 意味的に近いデータは埋め込み空間での距離が近くなる ように学習されている. そのため, 通常の BERT より も高い精度で埋め込み間の距離を求めることができ る. 本研究では, 事前訓練された日本語用の Sentence BERT モデル [4]を用いた. クラスタリングは質問候

図4 クラスタの結合例

補と回答候補を分けて行う. クラスタリングアルゴ リズムには scikit-learn の階層型クラスタリング [5] を用いた. 結合方法はウォード法, メトリックにはコ サイン距離を用いた. クラスタ数は距離のしきい值 により決定される. 本研究では, 過去の都議会だより のサブトピック数を参考にして, しきい值を 28.0 に 決定した. クラスタ群を区別するため, 質問候補をク ラスタリングしたものを質問クラスタ, 回答候補を 回答クラスタと定義する.

## 3.3 クラスタ結合

質問クラスタと回答クラスタを結合する. 図 3 に おける Step 3 の処理である. 結合の例を図 4 に示す. まず,クラスタ数が少ない側（例では質問側）から，最も類似度が高い反対側のクラスタを参照する. 類似度はクラスタの重心のコサイン類似度を用いる。次に, クラスタ数が多い側（例では回答側）のクラス タと,参照されている反対側のクラスタを結合する. この結合したクラスタは, 結合クラスタと定義する.

## 3.4 候補トピック選択

それぞれの結合クラスタから, 出力トピックを 1 つ選ぶ. 図 3 における Step 4 の処理である. 候補卜 ピックの埋め込みとクラスタの重心とのコサイン類似度を計算し, 類似度が最も高い候補トピックを選択する. 選択した候補トピックは最終的な出力とな りここれを出力トピックと定義する。

## 4 実験方法

## 4.1 評価方法

Topic Detection タスクはオープンタスクであり, 評価は行われない. しかし, 入力データに使用した議事録の都議会だよりは既に発行されているため, 人手 により評価を行った. 各出力トピックに対して, その

図 5 手法の比較

トピックが都議会だよりに含まれていれば正解, 含 まれていなければ不正解を割り当てる. 正解数を力 ウントし, Precision, Recall, F 値を計算する.ここで 正解数をカウントする際, 同じ内容の出力トピック があった場合（具体的には, 複数の出力トピックが 同じ都議会だよりのサブトピックと関連している 場合）は, 1 つとしてカウントする.これはクラスタ リングの目的が重複を除去することであり, 重複を 正解としてカウントすることは適切でないためで ある.

## 4.2 分割なしクラスタリング手法

評価結果の比較のため, 質問, 回答を区別せずにク ラスタリングする手法も実装した. 提案手法との違 いを図 5 に示す. 提案手法では, 候補トピックを質問候補と回答候補に分割して 2 回クラスタリングを実行する. 対してこの手法では, 質問候補と回答候補で 分割せずまとめてからクラスタリングを実行する。

## 5 実験結果

出力例として出力トピックと,それに対応する都議会だよりのサブトピックを表 1 に示す. 出力ト ピックは都議会だよりとの比較のため, 並び替えて いる.

評価結果を表 2 に示す。「分割なし」は 4.2 節の手法で，「分割あり」は 3 節の提案手法を表している.質問と回答を分けてクラスタリングした提案手法で は, 分けずにクラスタリングした手法と比べて $\mathrm{F}$ 值 が 0.44 向上した.
表 1 出力結果の例

 & 大会経費の剩余金 \\

表 2 評価結果

## 6 考察

提案手法による性能向上の理由として考えられ ることは,クラスタの質が向上することが挙げられ る. 分割なしクラスタリングでは, 一度に入力する候補数が増え, 関連性が低い候補トピックまで同一の クラスタに含まれてしまうことがある.このような 候補トピックは重心の値をずらしてしまい, 出力ト ピックの選択に悪影響を与えてしまう. そこで分割 してクラスタリングすることで,このような問題を 避けられていると考えられる。

また, どちらの手法でも $\mathrm{F}$ 値が低くなってしまっ た. Recall に対して Precision が低い值であること から, Precision が F 値を低下させているとわかる. Precision 低下の原因として, 全てのトピックが都議会だよりに掲載されるわけではないということが挙 げられる.これにより正解トピック数が減ることで,正解数も減り, Precision が下がってしまう（Recall は正解数を分母に持つため影響を受けない）. 都議会だよりのトピックに欠けがある点については， Ogawa ら [6] の論文でも言及されている. Precision の 低下は本研究の問題設定によるものであり,これを 解決するためにはネットリポート3)などの別の要約 データを用いる事が必要である.

## 7 関連研究

トピックに関する研究は多く, 例えばトピックモ デルが挙げられる.トピックモデルの実装として LDA[7] が広く使われている. LDA は文書中に存在 する潜在的なトピックを, 単語の確率分布として表現するモデルである.このトピックの表現方法が本研究との大きな違いである. LDA におけるトピック は, 具体的なテキスト表現を持たない. 一方で本研究 のトピックは, 文書中に出現する具体的なテキスト を表現している.このテキストを抽出することが本研究の目的である.

次に, Topic Detection タスクにおける他参加者の研究を紹介する. Ogawa ら [6] は, 本研究と同様に, 都議会だよりのサブトピックのような短いフレーズを 抽出している. 本研究との違いは問題設定で, 議論の 対象となったトピックを全て抽出するという問題設定になっており, 自動的なクラスタリングは行って いない. Hirai ら [8] は, 単語の共起構造と LDAを用 いた手法により，トピックの抽出を行っている。ト ピックの表現は, 本研究と同様に短いフレーズであ る.しかし, 都議会だよりのような具体的なターゲッ トは想定していない. Ibrkチームは, doc2vec による 分散表現と k-means によるクラスタリングにより， トピックを抽出している. 本研究とは, 問題設定とト ピックの定義が大きく異なる. 問題設定は, あらかじ めキーワード（「新型コロナウイルス」など）を設定 しておき, それに関する 20 つの単語集合を求めると いうものである. また,トピックの表現はフレーズで はなく単語集合である。

## 8 おわりに

本研究では, Topic Detection タスクに取り組んだ手法を提案した. 議事録の関係に着目した手法を提案 し, この関係を利用しない手法に比べ性能が向上し ていることも確認した. 今後の課題は, さらに議事録 の特徴に着目し, 議事録上での抽出位置を利用した 手法等を検討したい.

## 謝辞

本研究は JSPS 科研費 $19 K 11980$ の助成を受けた.

## 参考文献

[1]Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, YuzuUchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyoshi Akiba, YasuhiroOgawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, KenjiAraki, Satoshi Sekine, and Noriko Kando. Overview of thentcir-15 qa lab-poliinfo-2 task. In Proceedings of The 15th NTCIRConference, 122020.

[2]Taku Kudo, Nippon Telegraph, and Telephone. Mecab, 2001. https://taku910.github.io/mecab/.

[3]Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 112019.

[4]Sentence embeddings with bert \& xlnet, 2019. https:// github.com/sonoisa/sentence-transformers.

[5]Clustering — scikit-learn, 2007. https://scikit-learn. org/stable/modules/clustering.html.

[6]Yasuhiro Ogawa, Yuta Ikari, Takahiro Komamizu, and Katsuhiko Toyama. Nukl at the ntcir-15 qa lab-poliinfo-2 task. In Proceedings of the 15th NTCIR Conference on Evaluation of Information Access Technologies, 2020.

[7]David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent dirichlet allocation. In Journal of Machine Learning Research 3, 2003.

[8]Yuya HIRAI, Yo AMANO, and Kazuhiro TAKEUCHI. Ntcir15 qa lab-poliinfo2 dialog topic detection based on discussion structure graph. In Proceedings of the 15th NTCIR Conference on Evaluation of Information Access Technologies, 2020.


# 辺編集による文書レベルの関係グラフ構築

牧野晃平 三輪誠 佐々木裕
豊田工業大学
\{sd19446, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 1 はじめに

文献中に記述された情報を抽出して利用する研究 が盛んに行われている $[1,2,3]$. 抽出対象の情報は,表形式や用語ペアと関係の集合などのように，目的 に応じて様々な形式をとる。これらの情報の抽出に はその形式に適した手法が必要だが，それぞれに特化した手法を作成するのは非効率でコストが高い.

情報を表現する形式の一つとして，グラフ構造が ある.グラフ構造は，節点と，節点同士を関連性に 基づいて結びつける辺の集合で表現できる形式で,様々な情報を包括的に表現可能な形式の一つであ る。例えば，表形式であれば，見出しと各セルを節点として，その間を辺で接続して表現できる. この グラフ構造を利用して，文献中から抽出する情報を グラフ構造として扱うことで，様々な情報抽出タス クに利用可能な抽出器が実現できると考えられる。

そこで本研究では, 上記の抽出器作成の第一歩と

して，用語が与えられた上での文を超えた文書レべ ルでの関係分類を対象に，節点が与えられた上での グラフの構築モデルの実現を目指す. 対象の用語間 の関係を，用語を節点・関係を辺としたグラフと捉 えることで対象問題をグラフ構造として扱う。

提案手法では，他のシステムで構築されたグラフ をもとに，辺を徐々に編集する深層学習モデルを実現する. 既存のグラフの辺を徐々に編集すること で，それまでに抽出されている情報をグラフとして 利用し, 文脈情報と周囲のグラフ情報を考慮したグ ラフを構築する。

## 2 関連研究

## 2.1 グラフ畳み込みネットワーク

Kipf らはグラフ構造の表現獲得のためにグラフ 畳み込みネットワーク (Graph Convolutional Network; GCN）を提案した [4]. GCN では，各節点の特徴を

図 1 提案手法の全体像

表すベクトルを用いて，節点の表現を周辺の節点の 情報を用いて更新することで，グラフ構造における 周辺の情報を考慮した各節点の表現を得る。

## 2.2 情報抽出

グラフを抽出する類似のタスクとして，関係抽出や時間関係抽出などがある. これらのタスクで は，入力された文中の用語間の関係性を抽出する. Christopoulou ら [1] は用語を節点・関係を辺とした 文書単位のグラフを作成し，その辺を分類すること で，文間の関係を含む文書単位の関係抽出に取り 組んだ. Nan ら [5] は文書単位で用語や単語の潜在的なグラフを構築することで，関係抽出を行った。 Cheng ら [6] は事象それぞれに対して時刻にあわせ て動的な表現を利用して時間関係抽出を行った.

## 3 グラフの辺編集モデル

本研究では，用語が与えられた上での文を超えた 文書レベルでの関係分類をグラフの構築として定式化する，具体的には，図 1 のように節点が与えられ た上で既存のシステムで抽出したグラフの辺を編集

して，文脈上とグラフ上の両者の観点を考慮に入れ たグラフを構築する. グラフの辺の編集は, 文脈情報とグラフ構造を考慮したグラフの辺分類モデルに よって節点ぺア間の辺のクラスを分類し，その結果 で上書きすることで実現する.

モデルは文脈情報を導入するために事前学習モデ ル Longformer [7]を利用して節点の表現を作成する. また，グラフ上で周辺の節点の情報を導入するため に，節点の情報を接続している辺に沿って伝搬させ る手法である GCNを利用する。

## 3.1 グラフの辺分類モデル

グラフの辺分類モデルとして，グラフの任意の 節点ペア間の辺を分類するモデルを提案する. モ デルは, 入力として文書の情報 $\operatorname{doc}$ と, 節点が $\mathcal{N} \cdot$辺が E のグラフ，編集対象の節点ペア $\left(\mathcal{N}_{i}, \mathcal{N}_{j}\right)$ を 受け取り, 編集対象の節点ペア間の辺のクラス $\hat{\mathscr{E}}_{i j}$ を出力する. ここでは, 文書 doc と節点に対応する用語の情報 $\mathcal{N}$ から各節点の文脈を考慮し た表現を得る EncodeNode(doc, $\mathcal{N})$ と, 得られた節点の表現 $\overline{\mathcal{N}}$ を用いて編集対象の辺の表現 $\overline{\mathscr{E}}$ を作成する EncodeEdge $(\overline{\mathcal{N}}, \mathscr{\mathscr { E }})$, そして節点ペア $\left(\mathcal{N}_{i}, \mathcal{N}_{j}\right)$間の辺の表現 $\overline{\mathscr{E}}_{i j}$ から編集後の辺 $\hat{\mathscr{E}}_{i j}$ を出力する EdgeClassifier( $\left.\overline{\mathscr{E}}_{i j}\right)$ に分けて説明する. これらを合わ せると以下の式で表せる.

$
\begin{gathered}
\overline{\mathcal{N}}=\operatorname{EncodeNode}(\operatorname{doc}, \mathcal{N}) \\
\overline{\mathscr{E}}=\operatorname{EncodeEdge}(\overline{\mathcal{N}}, \mathscr{\mathscr { C }}) \\
\hat{\mathscr{E}}_{i j}=\operatorname{EdgeClassifier}\left(\overline{\mathscr{C}}_{i j}\right)
\end{gathered}
$

各節点の表現を作成する EncodeNode は，事前学習した Longformer [7] から得られたサブワード単位 の表現を用語レベルの表現にまとめるために，サブ ワードの表現の各次元で最大值をとるプーリング （Pool）をして，用語のラベルの表現 $\boldsymbol{v}^{l a b}$ を結合し て表現する.

$
\begin{aligned}
\overline{\mathcal{N}} & =\operatorname{EncodeNode}(\operatorname{doc}, \mathcal{N}) \\
& =\left[\operatorname{Pool}(\text { Longformer }(\operatorname{doc})) ; \boldsymbol{v}^{l a b}\right]
\end{aligned}
$

EncodeEdge( $\overline{\mathcal{N}}, \mathscr{E})$ では, EncodeNode によって得 られた節点の表現 $\overline{\mathcal{N}}$ から，辺の表現 $\overline{\mathscr{E}}$ 作成する. まず，節点の表現を，GCNによって辺に沿って伝搬 させることで，グラフ上での周辺の節点を考慮した 節点の表現 $\overline{\mathcal{N}}^{G}$ を計算する.

$
\overline{\mathcal{N}}^{G}=\operatorname{GCN}(\overline{\mathcal{N}}, \mathscr{E})
$

## Algorithm 1: グラフの編集手順

$\operatorname{Distance}\left(\mathcal{N}, d_{1}, d_{2}\right)$ : 距離が $d_{1}$ 以上 $d_{2}$ 未満の節点 ペア集合 $\mathscr{P}$ 返す関数

Input: doc：文書, $\mathcal{N}$ : 節点の集合, $\mathscr{E} ：$ 辺集合, $d_{\text {max }}$ : 距離の最大值

Output: $\mathscr{E}$ : 辺集合

$\overline{\mathcal{N}} \Leftarrow$ EncodeNode(doc, $\mathcal{N})$

while $d$ in range $\left(\max \left(|\mathcal{N}|, d_{\text {max }}\right)\right)$ do

$\overline{\mathscr{E}} \Leftarrow \operatorname{EncodeEdge}(\overline{\mathcal{N}}, \mathscr{\mathscr { C }})$

if $d=d_{\text {max }}$ then

$\mathscr{P} \Leftarrow \operatorname{Distance}\left(\mathcal{N}, d_{\text {max }}, \infty\right)$

else

$\mathscr{P} \Leftarrow \operatorname{Distance}(\mathcal{N}, d, d+1)$

end if

while $(i, j)$ in $\mathscr{P}$ do

$\mathscr{E}_{i j} \Leftarrow$ EdgeClassifier $\left(\overline{\mathscr{C}}_{i j}\right)$

end while

end while

各辺の表現 $\overline{\mathscr{B}}$ の各要素として, 各節点の組み合わ せ $\left(\mathcal{N}_{i}, \mathcal{N}_{j}\right)$ について，その間の辺の表現ベクトル $\overline{\mathscr{E}}_{i j}$ を計算する。この表現は，グラフから得られた表現 に，分類に有効となるような人手の特徴べクトルと して，隣接節点を表す表現や節点の始点と終点が文書中でどちらが先に出現するかを表す表現 $\boldsymbol{b}_{i j}$ を結合して作成する. 辺の始点と終点となる節点に対す る全結合層をそれぞれ, $\mathrm{FC}^{\text {head }}$ と $\mathrm{FC}^{\text {tail }}$ とすると，以下のように表現できる.

$
\begin{aligned}
\overline{\mathscr{E}} & =\operatorname{EncodeEdge}(\overline{\mathcal{N}}, \mathscr{E}) \\
\overline{\mathscr{C}}_{i j} & =\left[\mathrm{FC}^{\text {head }}\left(\overline{\mathcal{N}}_{i}^{G}\right) \otimes \mathrm{FC}^{\text {tail }}\left(\overline{\mathcal{N}}_{j}^{G}\right) ; \boldsymbol{b}_{i j}\right]
\end{aligned}
$

ただし， $\otimes$ は要素積を示す.

EdgeClassifier $\left(\overline{\mathscr{C}}_{i j}\right)$ では得られた節点間の表現か ら, 節点 $\left(\mathcal{N}_{i}, \mathcal{N}_{j}\right)$ 間の辺 $\mathscr{E}_{i j}$ を分類する. 出力の全結合層 $\mathrm{FC}^{\text {out }}$ を用いて，それぞれのクラスの確率 $\hat{\boldsymbol{p}}_{i j}$ を計算し, 最大の確率のクラスを選択して，辺の 予測値 $\hat{\mathscr{E}}_{i j}$ を出力する.

$
\begin{gathered}
\hat{\mathscr{B}}_{i j}=\operatorname{EdgeClassifier}\left(\overline{\mathscr{E}}_{i j}\right)=\arg \max \hat{\boldsymbol{p}}_{i j} \\
\hat{\boldsymbol{p}}_{i j}=\operatorname{Softmax}\left(\mathrm{FC}^{\text {out }}\left(\overline{\mathscr{C}}_{i j}\right)\right)
\end{gathered}
$

## 3.2 グラフの編集

グラフの構築は，入力されたグラフの節点ペアの 全組み合わせに対して， 3.1 節の辺分類モデルによ る分類結果によって徐々に上書きして行くことで実
現する。編集の順序は，近い関係を先に抽出し，遠 い問題は後に抽出する近傍優先戦略 $[8,9]$ に基づき,節点の元の用語同士が文書内で近いものから編集を 進め，順次，離れた節点同士の編集を行う. 用語の 距離は出現順序に基づいて計算する. 例えば文書中 で $m$ 番目に出現した用語と $m+3$ 番目に出現した用語同士の距離は 3 とする.

具体的な編集方法をアルゴリズム 1 に示した. 距離が近い節点ペアから順番に，同一距離のペアごと にまとめて, 辺分類器による辺のクラス分類を行 い，その出力で上書きをして編集を進める.このよ うに編集を進めることで，すべての辺を独立に編集 する場合では $|\mathcal{N}|^{2}$ 回の編集が必要であるのに比べ て, $|\mathcal{N}|-1$ 回の編集で行うことができ, さらに上限 $d_{\text {max }}$ を設けることで，編集は $d_{\text {max }}$ 回で完了する.

## 3.3 学習

辺分類モデルの学習は, 正しいグラフが抽出で きるように，対数尤度を最大化する. 正解の辺を $\mathscr{E}_{i j}^{g o l d}$, 辺の全クラスを $\mathscr{C}$ とすると, 損失 $\mathscr{L}$ は以下 のように定義できる.

$
\mathscr{L}=-\sum_{i=1}^{|\mathcal{N}|} \sum_{j=1}^{|\mathcal{N}|} \sum_{c \in \mathscr{C}} \mathbb{1}\left[c=\mathscr{E}_{i j}^{\text {gold }}\right] \cdot w_{c} \log \hat{\boldsymbol{p}}_{i j}[c]
$

ただし， $\mathbb{1}[\cdot]$ は，括弧内の条件を満たしたときに 1 ，満たさないときには 0 を返す関数で， $w_{c}$ はクラス ごとの重みである. クラスごとの重み $w_{c}$ は，それ ぞれのクラスの損失の重みを示す.

## 4 実験と考察

## 4.1 実験設定

本実験では無機材料文献からの合成プロセス抽出 のためのコーパス合成手順コーパス [10]を利用し て実験を行う．合成手順コーパスでタグ付けされて いる合成プロセスは，材料や操作，条件などを表す 用語と, 操作の進行や材料の投入, 条件付けといっ たような関係がタグ付けされているコーパスで，各文献に対して一つのグラフを定義することができ る. 訓練データ・開発データ・評価データはそれぞ れ $200 \cdot 15 \cdot 15 て ゙ ，$ 公開されているコーパスと同一 の分割で実験を行う。

評価指標は，全体の $\mathrm{F}$ 值であるマイクロ $\mathrm{F}$ 值と，各クラスの $\mathrm{F}$ 値を平均したマクロ $\mathrm{F}$ 値で評価する。評価は開発データに対して最高のマイクロ $\mathrm{F}$ 值が得表 1 探索するパラメタ

表

表 2 グラフの編集モデルとルールベース抽出器の比較 モデル マイクロ $\mathrm{F}$ マクロ $\mathrm{F}$ ルール十編集 (提案手法) $0.802 \quad \mathbf{0 . 7 8 8}$

られた点での評価データに対する評価値で行う.

作成したルールの抽出結果を編集した提案手法 （ルール＋編集）に対する比較手法として，ルール による抽出 (ルールベース), 辺の全く接続されて いないグラフから編集によって辺を接続していく もの（編集のみ），そして (7) 式において $\overline{\mathcal{N}}^{G}$ の代わ りに $\overline{\mathcal{N}}$ を用いた GCNを利用せずにすべての辺を同時に決定したもの（GCN 無し）の三つを用意した. ルールの詳細は付録 $\mathrm{A}$ に示した. ルールは節点ペア のクラスの組み合わせごとに設定し，最も近いもの 同士で接続したり, 出現した順番に接続したり, 辞書マッチを用いたりした。

表 1 に示したハイパパラメタについては，パラメ タの組み合わせを全探索し, 最適なパラメタとして 下線が引かれたパラメタを選択した. 全探索はどの モデルも十分収束する 130 エポックで学習を行い, モデルの学習が終了したとき，開発データに対して 最も高いマイクロ $\mathrm{F}$ 值を記録したエポックのときの モデルをその試行のモデルとした. パラメタは開発 データに対して最大のマイクロ $\mathrm{F}$ 值を記録したパラ メタを選択した。

事前実験によって損失における $w_{c}$ を $w_{c}=1$ とし て学習した場合では，予測する辺の数のうちのほと んどが負例であることから，モデルが負例しか予測 しなくなってしまったため，正例のクラスの損失が 大きくなるようにした. 学習初期には正例の損失が 大きくなるように係数を掛けておき，学習が進むに つれ負例と同一の重み付けになるように係数をスケ ジューリングした.

## 4.2 実験結果

得られた結果を表 2，ルールベースとルール十編集に対するクラスごとの抽出性能は付録 B に示し

図 2 開発データに対する編集の最大距離 $d_{\text {max }}$ とマイク ロ $\mathrm{F}$ 値の関係

た.まず，提案手法であるルール十編集とルール ベースを比較すると，マイクロ $\mathrm{F}$ 值においては若干下がったものの，マクロ $\mathrm{F}$ 値ではルール＋編集のほ うが約 0.1 ポイントほど高い性能を示した. この結果から，ルールベースの出力を提案手法により編集 することで，クラスごとの性能のばらつきを減らす ことができることがわかった. 一方で，ルールが得意な関係に関しては抽出精度が下がってしまい，全体として，マイクロ $\mathrm{F}$ 值が下がってしまっており， ルールの情報のより有効な利用方法については今後の課題である. 次に, ルール十編集と編集のみを 比較すると，ルール十編集のほうが高い性能を示し ており，ルールベースの抽出器の抽出結果の利用の 有効性を示すことができた. 最後に，ルール十編集 と GCN 無しを比較した場合では，グラフ情報を利用しているルール十編集の方が高い性能を示してお り，グラフ情報の有効性が示すことができた.

## 4.2.1 モデルの編集の最大距離

$d_{\text {max }}$ を変化させ，最大距離とマイクロ $\mathrm{F}$ 值との 関係を確認した. 開発データに対して実験を行った 結果を図 2 に示した. $d_{\text {max }}=1$ はすべての辺を同時 に定めている場合で， $d_{\text {max }}$ が増加していくにつれ て，距離が近いペア同士を独立して予測することに 対応する. 結果より,$d_{\text {max }}=1$ における精度が一番低いことから, 辺の抽出結果を他の辺の抽出に使う ことが有効であることがわかる. また，最大距離が 小さい間は距離が増えるごとに精度があがってい ることから，距離の近い順に編集を進める場合は，距離の近い節点においては，一度にグラフを定め るよりも徐々に定めていくことが，辺の抽出にお いて効果的であることがわかった. 併せて， $d_{\text {max }}$

図 3 ルール+編集の出力グラフ

は， $d_{\text {max }} \geq 10$ で飽和していると読み取れるため, $d_{\text {max }} \geq 10$ では同時に編集を行うことは問題ないと 考えられる。

## 4.2.2 実際の事例

実際に抽出した例を比較して，その抽出の特性 を確認する．グラフを抽出した内の一部を可視化 したものを示す. 図 3 は合成手順コーパスの開発 データ内の内の一例 [11] に対するルール十編集で 抽出した結果である. 得られた結果を見ると，合成手順が「mixed $\lrcorner \rightarrow$ prefired $\lrcorner \rightarrow \cdots$ と操作が進み, $「$ prefired」には温度条件「 $900^{\circ} \mathrm{C} 」$ と時間条件「 $\left.24 \mathrm{~h}\right.\rfloor$ が接続していることがわかる.

## 5 結論

本研究では, 文書レベルでの用語間の関係分類 を，節点が与えられた上でのグラフの構築として定式化し，グラフの辺を編集することで，文脈とグラ フの両者を考慮した辺の抽出をおこなう手法を提案 した. 合成手順コーパスに対する合成プロセスの抽出を用いて評価を行い，ベースラインとしたルール による抽出よりマイクロ $\mathrm{F}$ 值は若干低下したもの の，マクロ $\mathrm{F}$ 值で $10 \%$ の向上が見られた. また，グ ラフ情報の利用，ルールによる抽出結果の利用，辺 の抽出結果の他の辺の抽出への利用が有効であるこ とがわかった. 今後は, 辺の編集モデルの改善を行 うとともに，本研究で取り組んだ辺の編集のみでな く節点も編集可能にすることで，任意のグラフを編集可能とし，グラフで表現可能な情報の抽出に対し て一般に利用可能なモデルの作成を目指す.

## 参考文献

[1] Fenia Christopoulou, Makoto Miwa, and Sophia Ananiadou. Connecting the dots: Document-level neural relation extraction with edge-oriented graphs. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019, pp. 49244935, 2019.

[2] Makoto Miwa and Mohit Bansal. End-to-end relation extraction using LSTMs on sequences and tree structures. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1105-1116, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Patrick Verga, Emma Strubell, and Andrew McCallum. Simultaneously self-attending to all mentions for fullabstract biological relation extraction. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 872884, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[4] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. In International Conference on Learning Representations (ICLR), 2017.

[5] Guoshun Nan, Zhijiang Guo, Ivan Sekulic, and Wei Lu. Reasoning with latent structure refinement for documentlevel relation extraction. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1546-1557, Online, July 2020. Association for Computational Linguistics.

[6] Fei Cheng, Masayuki Asahara, Ichiro Kobayashi, and Sadao Kurohashi. Dynamically updating event representations for temporal relation classification with multicategory learning. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1352-1357, Online, November 2020. Association for Computational Linguistics.

[7] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer. arXiv:2004.05150, 2020.

[8] Makoto Miwa and Yutaka Sasaki. Modeling joint entity and relation extraction with table representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1858-1869, Doha, Qatar, October 2014. Association for Computational Linguistics.

[9] Shuai Ma, Gang Wang, Yansong Feng, and Jinpeng Huai. Easy first relation extraction with information redundancy. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3851-3861, Hong Kong, China, November 2019. Association for Computational Linguistics.
[10] Sheshera Mysore, Zachary Jensen, Edward Kim, Kevin Huang, Haw-Shiuan Chang, Emma Strubell, Jeffrey Flanigan, Andrew McCallum, and Elsa Olivetti. The materials science procedural text corpus: Annotating materials synthesis procedures with shallow semantic structures. In Proceedings of the 13th Linguistic Annotation Workshop, pp. 56-64, Florence, Italy, August 2019. Association for Computational Linguistics.

[11] S.B. Zhang, Y.P. Sun, B.C. Zhao, X.B. Zhu, and W.H. Song. Influence of ni doping on the properties of perovskite molybdates srmo1 - хnixo3 $(0.02 \leq \mathrm{x} \leq 0.08)$. Solid State Communications, Vol. 142, No. 12, pp. 671 - 675, 2007.

## A ルールベースの抽出器

合成手順コーパスの関係を抽出するためのルール ベースの抽出器では, 記述されたルールに従い, ルー ルに適合するものに対して辺を接続する. 辺の種類は OPeration-OPeRation $\cdot$ OPeration-Material ・ その他の辺 の 3 種類に分類してルールを定義する.ルールは節点ぺ アの用語ラベルごとに出現順序と距離に合わせて定義す る. 距離は用語ぺア間に存在する語の数で定義し, 文書 をスペース区切りにすることで単語分割した。

## A. 1 Operation-Operation

Next_Operation : Operation-Operation の辺ラベルは, Next_Operation のみの一種類で, OPeRation の用語が出現した順番に，前から後ろへ NEXT_OPERATION の辺をつ ける.

## A. 2 Operation-Material

SOLVENT_MatERIAL $\cdot$ ATMOSPHERIC_MATERIAL $\cdot$ PARticIPANT_MATERIAL：これらのクラスについては，クラス毎に 辞書を用意し, マッチした辞書に割り当てられたクラス の辺を MATERIAL と最近傍の OPERATION に対する辺を接続する。

ReciPe_Precursor $\cdot$ Recipe_Target : Solvent_Material, ATMOSPHERIC_MATERIAL, PARTICIPANT_MATERIAL の辞書に 該当しない MATERIALをすべて, 実際に訓練データに存在 する辺の数がより多い RECIPE_PRECURSOR のクラスの辺と して最近傍の OPERATION に対して接続する。

## A. 3 その他の関係

PROPERTY_OF : PROPERTY-UNIT を始点とする場合では， PROPERTY-UNIT から文内で最も近傍に存在する MATERIAL に対して PROPERTY_OF の辺を割り当てる. PROPERTY-MISC を始点とする場合では, 文中で PROPERTY-MISC から最も近傍に存在する MATERIAL もしくは NONRECIPE-MATERIAL に 対して接続する。

Condition_OF: すべての CONDITION-Unit と ConditionMisc から最近傍の OPERATION に対して, Condition_OF の 関係を割り当てる。

NUMBER_OF : NUMBER から文内の後方で PROPERTY-UNIT $\cdot$ CONDITION-UnIT ・APpARATUS-UnIT に属する用語の内，最 も近傍に記述されている用語に対して辺を接続する.

AMount_OF : AMOUNT-UNIT と AMount-UnIT から, MATERIAL と NONRECIPE-MATERIAL のうち, 文内で最近傍のも のに対して辺を接続する。

DeSCRIPTOR_OF : MATERIAL-DesCRIPTOR から, 文内で最 も近傍纪存在する MATERIAL もしくは NONRECIPEMATERIAL に対して, DESCRIPTOR_OF の辺を接続する. また, APPARATUS-DeSCRIPTOR からの関係では，SYntHESISAPPARATUS に対してのみ辺を接続する。

ApParatus_Of : (Synthesis-

APPARATUS|ChARACTERIZATION-APPARATUS)-OPERATION の辺では, SyNTHESIS-APPARATUS 及び ChARACTERIZATIONAPPARATUS から，前方で最も近傍に存在する OPERATION に対して辺を接続する. 前方に存在しない場合は, 後方 で最も近傍に存在する OPERATIONに対して辺を接続する.

TYPE_OF : ま ず, PRoPeRTy-TYPE-ProPERTY-UNIT と, APPARATUS-PROPERTY-Type-ApPARATUS-UnIt については,
それぞれ文中で最も近傍に存在する単位に対して関係 を割り当てる. CONDITION-TYPE-CONDITION-UnIT について は, CONDITION-TYPE から文中の前方で最も近傍に存在す る CONDITION-UNIT に関係を割り当てる。

BRAND_OF：Brand から前方で MateriaL・NONRECIPEMaterial $\cdot$ Synthesis-Apparatus $\cdot$ CharacterizationAPPARATUS のクラスの用語の内，文内で最も近傍に存在す るものに対して辺を接続する。

APPARATUS_ATtr_OF:APPARatus-Unit から最近傍 の) Synthesis-Apparatus もしくは CharacterizationAPPARATUS に対して辺を接続する。

COREF_OF：ルールを記述するのは困難であったため， ルールベースでは対象としない

## B クラスごとの抽出性能

ルールベースとルール十編集のクラスごとに算出した 評価值を，評価データに対して算出したものをそれぞれ 表 3 と表 4 に示した。

表 3 ルールベースの抽出器におけるクラス毎の抽出結果

表 4 ルール十編集におけるクラスごとの抽出性能


# 日本語 Wikipedia カテゴリを用いた記事のクラス分類手法の提案

小板橋佳晃
北海道大学
yk-wwm-aa@eis.hokudai .ac.jp
}

吉岡真治
北海道大学
理研 AIP
yoshioka@ist. hokudai.ac.jp
}

う森羅 2020-ML である。本研究では、記事のクラス 分類の他言語への拡張を想定し、日本語 Wikipeida の記事のクラス分類を行なっている。トレーニング データは森羅 2020-ML で提供されるクラス分類済 みの日本語版 Wikipedia の記事のデータを用いた。 ただしこのデータには、マルチラベルのデータが含 まれているが、ノイズになりかねないためシングル ラベルのデータのみを使用した。カテゴリは 2020 年 3 月 1 日取得の Wikipedia カテゴリデータを使用 した。
## 3 Wikipedia カテゴリについて

Wikipedia は、世界最大の百科事典である。その 中で、カテゴリは閲覧性の向上を目的として記事を 分類する役割を果たしている。Wikipedia は誰でも 情報の追加や編集が可能であるため、カテゴリには 以下の 3 つの定義が示されいる。1つ目は「分割を 示すもの」、2つ目は「関連を表すもの」、3つ目は 「ウィキペディアの骨組み」である。この中の分割 を示すカテゴリは、クラス分類に役立つと考えられ る。一方で、関連を表すカテゴリや定義からは外れ たカテゴリも存在するため、カテゴリは記事のクラ ス分類に有益な情報を持つがノイズを多く持つと言 える。

私たちは、これまでカテゴリとカテゴリ間の関係 を分類し、Wikipedia カテゴリオントロジー [4] を構築してきた。この研究においてカテゴリは以下 4 つ に分類した。
- topic：「北海道大学」「トヨタ自動車」のような 具体的な事象を表すカテゴリ

$\cdot$ constrainedTopic：「日本のサッカー」「各年の日本」のような topic の性質を持つカテゴリ

・set：「大学」「企業」といったクラスを表すカテ ゴリ
- constrainedSet：「日本の大学」「各国の企業」の

## ような set の性質を持つカテゴリ

また、我々はこの Wikipedia カテゴリオントロ ジーを用いた記事のクラス分類を試みた [5]。具体的には、記事につくカテゴリから包含関係を満たす 親カテゴリを遡り対応する set カテゴリからクラス を推測する方法を提案した。しかし、図 1 のように 対応する setを調べるためにカテゴリを上位に遡る と複数の set が候補として現れ、複数クラスが推定 されてしまう課題が生じた。

図 1 カテゴリの例

## 4 提案手法

[5] の方法で問題となった対応する Setを決定する際の問題を解決するために、本研究では constrainedSet の set の文字列部分を抽出すること で上位カテゴリに遡らなくても対応する Setを決定する方法を提案する。具体的には、constraindSet の記述パターンに関するこれまでの分析から、 constraindSet は「Aの B」や「AB」のような記述パ ターンをもち、B の部分が Setを表す単語になって いることが多いことが分かっている。

## 4.1 カテゴリの set の抽出

図 2 カテゴリの例

カテゴリの setを抽出すために、カテゴリの 記述パターンを利用する。具体的には、図 2 の constrainedSet のカテゴリの例の通り、「アジアの企業」というカテゴリの上位カテゴリと子カテゴリを 見ると「A の企業」というカテゴリが存在すること がわかる。このように親カテゴリと子カテゴリで後半が一致する文字列を set として抽出した。このパ ターンによる制約部分の除去の手続きを全てのカテ ゴリ ${ }^{1}$ 間の親子関係について適用し、 set の候補を 生成した。この候補の生成は、constrainedTopic の関係についても同様に行われることになるが、後半の set 候補の抽出の際に役に立たない情報として扱わ れることが期待される。

・文字列パターンの照合
- 形態素解析の利用

文字列パターンの照合では、カテゴリの後方から 順次文字列長を増やし親子カテゴリと比較し、同じ 文字列パターンが存在する最長の文字列を set とし て抽出する。また、後方に親子カテゴリと同じ文字列パターンが存在せず、setを抽出できない場合は 前方から順次文字列長を増やし親子カテゴリと比較 し同じ文字列パターンが存在する最長の文字列を力 テゴリから引いた文字列を set として抽出する。こ れは、図 2 の例において「A の企業」というカテゴ リが親子カテゴリに存在しない場合でも前方からの 文字列の一致で「アジアの」という文字列が抽出で き、これをカテゴリから引くことで「企業」という set が抽出できるからである。

形態素解析の利用では、後方から単語を順次増や し親子カテゴリと比較し、同じ文字列が存在する最長の文字列を set として抽出した。また、後方に親子カテゴリと同じ文字列が存在せず、set を抽出で きない場合は前方から単語を順次増やし親子カテゴ リと比較し同じ文字列パターンが存在する最長の文字列をカテゴリから引いた文字列を set として抽出 した。

## 4.2 set 候補の抽出

文字列パターンの照合で抽出した set と形態素解析を利用して抽出した set のそれぞれにおいて、set 候補の抽出を行う。各 set に対して precision を計算 し、実験をした結果 0.86 以上を set 候補とした。

$
\operatorname{prec}(\text { set }, \text { class })=\frac{\text { num }(\text { set } \cap \text { class })}{\operatorname{num}(\text { set })}
$

num $($ set $)$ : 同じ set を持つカテゴリ数 num(set $\cap$ class $)$ : 各クラスごとの同じ setを持つカ テゴリ数

## 4.3 カテゴリのクラス分類

文字列パターンの照合から抽出された set 候補と 形態素解析を利用して抽出された set 候補と両方 を使って抽出した set 候補で全てのカテゴリに対 して、クラス分類を行った。その統計データは表 1 に示す。分類済みが 6 割という結果より、日本語 Wikipedia カテゴリオントロジーでは、set および、 constrainedSet に対応するカテゴリが 68 \%であるた め、その全てが森羅のクラス分類と対応するもので はないことが確認された。具体的には、set 部分が 複数のクラスに対応する (アーチスト：人名 or 公演組織名）場合などが存在した。

表 1 分類、未分類のカテゴリの割合

## 4.4 記事のクラス分類

分類済みのカテゴリを使い記事のクラス分類を行 う。具体的には、記事につく分類済みのカテゴリの 精度 prec(set,class) が最大のものをその記事のクラス とした。また、記事につくカテゴリの中に記事と同名のカテゴリが存在した場合そのカテゴリの親カテ ゴリからクラス分類を行った。これは、その記事の クラスを表すカテゴリは記事よりもそのカテゴリに つくと考えたからである。

## 5 結果

実験は 5-fold の cross-validation で行い、f 值はその 平均をとっている。実験データは, クラス数：196、記事数： 804693 件となっている。文字列パターンの 照合によりクラス分類をした結果の $\mathrm{f}$ 値ごとの分布 を表 2 に、形態素解析の利用によりクラス分類を した結果の $\mathrm{f}$ 値ごとの分布を表 3 に、両方を利用 しクラス分類した結果の $\mathrm{f}$ 值ごとの分布を表 4 に 示す。また、全体での精度は、文字列パターンの照合：0.76、形態素分析の利用：0.69、両方利用：0.71 となった。precisionを重視したカテゴリの活用を行 なったために、一貫して適切な対応するカテゴリが 作成・付与されていない場合などに、極端に recall が低い、場合によっては、対応するカテゴリが存在 しない状況になった。全体での精度を??示す。表 2 文字列パターンの照合を利用

表 3 形態素解析を利用

表 4 文字列パターンの照合を利用

## 6 考察

まず、文字列パターン照合を利用した結果を考察 していく。f 值が高いクラスに関して抽出した setを 見てみると、競走馬名では「の競走馬」「種牝馬」と いう set が抽出され、トンネル名では「州地方のト ンネル」「の道路トンネル」といった set が抽出され ており、クラス名と対応する set が抽出できている ことがわかる。

一方で、 $\mathrm{f}$ 值が低いクラスに関して抽出した set を 見てみると、グループ企業では「企業グループ」と いう setが抽出されており precision は 0.82 である が recall が 0.076 ととても低い。理由は、ページに つくカテゴリに「企業グループ」という setを持つ カテゴリが存在せず、「企業」の set を持つカテゴリ が多いからである。これは、編集者がグループ企業 と企業の区別を意識せずにカテゴリ付けをしてし まっているからであると考えられる。また例外的 に、precision が 0.034 と極端に低く recall も低いクラ

スが存在し、大陸地域名である。このクラスに分類 されている記事を見てみるとノイズと思われるもの がとても多く含まれており、これが原因だと考えら れる。

次に、形態素解析を利用した結果を考察してい く。f 值が高いクラスに関して抽出した setを見てみ ると、学校名では「航空学校」「私立中高一貫校」と いう setが抽出され、音楽名では「曲」「卒業ソング」 という setが抽出されおり、クラス名と対応する set が抽出できていることがわかる。

一方で、 $\mathrm{f}$ 值が低いクラスに関して抽出した setを見 てみると、映像作品名では「スーパー戦隊シリーズ オリジナルビデオ作品」「ビデオ・クラップ集」と いった set は抽出できており、precision は 0.79 であ るが recall が 0.11 ととても低い。カテゴリから set を抽出した段階では、「映像作品」「アニメ作品」と いった set として妥当だと考えられるものが抽出で きているがこれらの precision が低いため set 候補に ならなかった。「映像作品」は、映像作品名以外に 芸術作品_その他や公演名にも多く出てきている。 この 2 つのクラスには、音楽系の映像作品が多く含 まれていた。これらの記事は、両方のクラスに属す ると見なすこともできるため、今後検討が必要で ある。

最後に、文字列パターン照合と形態素解析を利用 したときの違いについて考察していく。実験結果よ り、文字列パターンの照合の方が $\mathrm{f}$ 値が高いクラス が多いことがわかる。precision と recall にも目を向 けると両方とも文字列パターン照合の方が高い値を 示しているが、recall の差が precision に比べて大き なっている。これは、形態素解析では単語ごとに区切って set を抽出しているが文字列パターンの照合 で一文字づつ文字列を区切っているため、単語の途中まで文字列パターンが親子カテゴリと一致してい る場合でも setを抽出できるためである。具体的に、家系名クラスに分類されたカテゴリの数を見ると、文字列パターンの照合では 1097 個、形態素解析の 利用では 637 個となっている。また、映画名クラス に分類されたカテゴリの数を見ると、文字列パター ンの照合では 4175 個、形態素解析の利用では 3051 個となっている。

また、文字列パターンの照合と形態素解析の両者 を使った結果、分類済みのカテゴリが増え recall は 上がった precision が下がってしまった。両者を組み 合わせる際は各々で set 抽出を抽出する際、precision

## を上げる必要がある。

## 7 おわりに

本研究は、30 言語版 Wikipedia の記事のクラス分類を念頭に、日本語 Wikipedia の記事の分類をカテ ゴリを用いて行なった。Wikipedia カテゴリの曖昧 さやトレーニングデータのクラス分類の曖昧さによ り記事のクラス分類がでうまくできないクラスが存在した。また、データが不十分なニッチなクラスも 多くそれが原因でクラス分類ができないものも存在 した。ニッチなクラスについてはトレーニングデー タを増やすことで改善できると考えられる。一方 で、本研究の手法により十分にクラス分類できたク ラスもある。今後は、分類済みの日本語 Wikipedia のカテゴリと記事を使い言語間リンクを使って他言語の Wikipedia 記事の分類を行いたい。また、本研究で使った分類手法を他言でも行うことでさらなる 精度の向上が期待できるため、それも合わせて今後検討していきたい。

## 参考文献

[1] Christian Bizer, Jens Lehmann, Georgi Kobi-larov, Soren Auer, Christian Becker, Richard Cy-ganiak, and Sebastian Hellmann. Dbpedia - acrystallization point for the web of data. In WebSemantics: Science, Services and Agents on theWorld Wide Web, Vol. 7, No. 3, pp. 154 - 165, 2013.

[2] Johannes Hoffart, Fabian M. Suchanek, Klaus Berberich, and Gerhard Weikum. Yago: A spatially and temporally enhanced knowledge base from wikipedia. In A spatially and temporally enhanced knowledge base from Wikipedia. Arti cial Intelligence, Vol. 194, No. O, pp. 28 61, 2013.

[3] Satoshi Sekine, Masako Nomoto, Kouta Nakayama, Asuka Sumida, Koji Matsuda, and Maya Ando. Overview of shinra2020-ml task. In In Proceedings of the NTCIR-15 Conference, 2020.

[4] 中川崇教, 小板橋佳晃, 吉岡真治. Wikipedia オントロ ジーの構築. 人工知能学会研究会資料, Vol.48, No.7, pp.1-5, 2019.

[5] 中川崇教, 小板橋佳晃, 吉岡真治. Wikipedia カテゴリ オントロジーを用いた wikipedia ページのクラス分類. 人工知能学会研究会資料, Vol.4, No.5, pp.1-4, 2020.


# 文脈を考慮した対義語穴埋め

丹羽彩奈
東京工業大学
ayana.niwa at nlp.c.titech.ac.jp
西口佳佑
株式会社サイバーエージェント
nishiguchi_keisuke at cyberagent.co.jp
岡崎直観
東京工業大学
okazaki at c.titech.ac.jp

## 1 はじめに

対義関係（例：賛成一反対）は，与えられた文脈 において意味が反対となる単語（対義語）の関係で ある [1].この対義関係を効果的に利用した修辞技法のひとつに，似た文構造で対照的な意味を持つ単語や句を並列させる対句がある.

（例文）年金に敏感な母も、保険には鈍感です。

上記の例では，保険への関心が低いことを，関心の高い別の話題 (年金) と並置して強調してい る.このように，対義語や対義語を用いた対句は， キャッチコピー [2] や政治演説 [3], 漢詩 [4] などで メッセージを強調するために活用されている.

従来，与えられた単語ペアに対して対義関係を含 む語彙的な意味関係を識別する研究が数多く行われ てきた $[5,6]$. 例えば，構文パターンや意味的近さを 利用して，対義語と同義語を識別する手法が提案さ れている $[7,8]$. しかし，その分類タスクとしての 設計には，モデルが語彙を暗記してしまったり [9],質問応答等の実タスクとの乘離があるという懸念も あった [10]. そこで，さらに挑戦的で害応用に近い タスクとして，ターゲット語（例：下位語）に対して 特定の語彙関係にある単語や単語リスト（例：上位語）を与えられた語彙集合から探し出すタスクが提案された [11]. 対義関係においても，形容詞を否定形にする目的で対義語を予測する研究がある [12]. これに対して，本研究では対義語を文脈を考慮して 予測する新たな穴埋めタスクを提案する.

対義語の穴埋めを行うための最も単純なアプロー チは，対義語辞書を引いて，記載されている単語を 埋めることである．ところが，穴埋めができる対義語は文脈によって変化する。例えば，次に示すよう に母という単一の単語に対しても，父, 妻, 娘など複数の単語が対義語として考えられる。

(A)父は保険で楽をした。母は保険で苦労した。

(B)妻になって、值段が気になった。

母になって、成分が気になった。

(C)娘はエステに行き、母は整体に行く。

また，対義関係には二律相反のペア（素数一非素数）だけではなく，相互の役割などの関係性による もの（生徒一教師），ある基点を挟んだ相対的・対照的な概念を表すもの（明日一昨日）など多様な関係性が含まれる $[13,14,15]$. しかし, 辞書には対義語 ペアのみが収録されており，その文脈情報は収録さ れないことが多い，また，掲載されている対義関係 の種類も限定的である.これに対し，対義語穴埋め タスクでは，文脈情報や多様な対義関係を考慮して 対義語を予測できるモデルが求められる.

近年，モデルを事前学習およびファインチューニ ングするアプローチが多くのタスクで高い性能を収 めている [16,17]. そこで本研究では，代表的な事前学習モデルである BERT を利用し，文脈を考慮し た対義語穴埋めを行う。しかし，モデルをファイン チューニングするための教師データ、すなわち対照的な文脈を持つ対義語ペアを含むテキストの収集 は容易ではない。そこで本研究では，BERT モデル で対義語穴埋めを行うための手法として，(1) 対句 データを用いたドメイン適応，(2) 対義語穴埋めに 特化させるための対照的マスキング，(3) 文の対句構造を捉えさせるための対句位置エンコーディン グ，(4) 対義語辞書を活用した自動アノテーション による疑似教師データ収集を提案する。

実験の結果，提案したファインチューニング手法 により，BERT モデルを文脈を踏まえた対義語穴埋 めタスクへ適応させ，正解の単語をより予測できる

ようになることを確認した．また，文脈を考慮した 対義語穴埋めタスクでは複数の正解が許容されるた め, 唯一の正解による自動評価指標による精度は低 く見えるが，対義語としての適切さや文脈における 流暢さをもつ事例は $85 \%$ 以上を占めることから，提案手法は十分な性能を示していることを報告する。

## 2 提案手法

## 2.1 モデル

概要を図 1 に示したように，位置 $m(1 \leq m \leq n)$ に [MASK] トークン (空欄）を持つ長さ $n$ の系列 $x_{1}, \ldots, x_{n}$ を与えられた時, 穴埋めするトークン $y_{m}$ の条件付き確率を BERT モデル [16] を用いて以下の ようにモデル化する.

$
P\left(y_{m} \mid x_{1}, \ldots, x_{m}, \ldots, x_{n}\right) .
$

入力情報の双方向の文脈で条件づけることによ り，BERT モデルは [MASK] トークンの周辺の文脈 を捉えられる。 その BERT モデルを対句構造を持つ コーパスでファインチューニングすることで，ドメ イン適応により入力テキスト内の文脈と対義語ペア の組み合わせを考慮可能となることが期待される.

BERT モデルを対義語に適応させる際，少量 のコーパスを活用するために二つのアプロー チを取る。一つ目のアプローチとして，テキス ト内に対義関係を持ち得るトークンを [MASK] トークンに置換することでファインチュー ニングのための教師データを作成する. 例え ば，「值段に始まり、味わいに終わる。」というテキ ストから，「[MASK] に [MASK] 、味わいに終わる。」，「値段に始まり、[MASK]に $[\mathrm{MASK}]_{0} 」$ という二件 の学習事例を得る。これらのマスクされるトークン には，対応する句に現れないものを選択する。この マスキングの方法を対照的マスキングと呼ぶ. オリ ジナルの BERT モデルは [MASK] トークンをランダ ムに作成するが，対照的マスキングは，対義語穴埋 めのための教師データを選択的に作成する。

次に，二つ目のアプローチとして，BERT モデル に入力テキスト内の対句構造を考慮させるために位置エンコーディングを拡張する. まず，対句構造を 構成する二つのスパン $[i, j$ ) ([MASK] トークンが含 まれる）と $[k, l)(1 \leq i<j \leq k<l \leq n)$ を含むテキ ストを考える。この時，スパン $[i, j)$ にスパン $[k, l)$ が対応することを教えるために，対句構造に特化し
たインデックスを以下のように定義する.

$
a_{t}= \begin{cases}k+\left.\lfloor\frac{(l-k)(t-i)}{j-i}\right.\rfloor & (a \in[i, j)) \\ t & \text { (otherwise) }\end{cases}
$

インデックス $a_{t}$ は $t \notin[i, j)$ だったときはトークン $x_{t}$ の絶対位置を，そうでない場合は対応するスパ ン $[k, l)$ の絶対位置を与える. 本稿では，この手法 を対句位置エンコーディングと呼ぶ，今回は，オリ ジナルの BERT モデルで用いられている絶対位置の 埋め込み表現と対句位置 $a_{t}$ の埋め込み表現の平均 を取ったものを BERT モデルに入力する.

## 2.2 教師データ

教師データのドメインには，対句が用いられ やすいキャッチコピーを選択した. 既存の作品集 $[18,19,20,21,22]$ から収集した 111,295 件のコー パスを元に，(1) 対句を含まないキャッチコピーの 除外 (2) 対句スパンのアノテーションの 2 つのサブ タスクにより，7,511 件のキャッチコピーからなる 対句コーパスを作成した [23, 24].

## 2.3 疑似教師データ

現状の教師データの学習事例数は, BERT モデル をファインチューニングするには不十分である。そ こで，テキストを自動的にアノテートすることを考 える。具体的には，既存の対義語辞書 [15] に掲載 されている対義語ぺアを含むキャッチコピーを用 いる.このプロセスにより， 2.2 節で説明した対句 コーパスに含まれないキャッチコピーから 1,894 件 を抽出した ${ }^{1)}$. 各キャッチコピーに対して，対義語 を片方ずつ [MASK] トークンに置換することで二件 の学習事例を作成した.この外部知識を活用した データ作成により，対義語の語彙知識を疑似教師 データとして BERT モデルに学習させる。

## 3 実験および実験結果

## 3.1 実験設定

データセット 7,511 件の対句構造を持つキャッ チコピーを学習データ，検証データ，評価データに 分割した上で，[MASK] トークンを含む穴埋め事例 に変換する. 対句構造には二つの対照的な意味を 持つ句が含まれることから，各キャッチコピーか

1）対句コーパスに含まれないキャッチコピーは，コーパス構築の一段階目における厳しい基準でフィルタリングされたた め，実際には対句を含むものが含まれている.

図 1 提案手法の概要

ら二件の学習事例を作成できる。このようにして， 11,923 件の学習データ, 1,496 件の検証データ, 1,247 件の評価データを作成した. この評価データの作成方法を付録 A. 1 に示した。また，疑似教師データと して 3,788 件の学習データを用いる.

ベースライン 今回の実験では，ベースライン手法として辞書を用いた手法と，ファインチューニン グなしの事前学習済み BERT モデルを採用した. 辞書を用いた手法では，各空欄を埋めるべき正解単語 が，対応する句に含まれる単語の対義語として辞書 [15] に含まれるかを調査する。このベースライン は，正解単語がわかっている状態で評価するため,辞書を用いた手法の性能の上限として考えられる。 ファインチューニングなしの事前学習済み BERT モデルでは，対義語穴埋めに特化した学習なしに， BERT モデルが言語モデルとして文脈を考慮して対義語を予測する能力について調査する。また， 3 名 の作業者に対して穴埋めタスクを実施した結果（以後作業者と表記）も評価する．具体的には，各空欄 に対して最大 5 つの可能な回答候補を考えてもらつ た. 3 名の作業者は，本タスクの難易度を考慮し，作家やブロガーなど，作文経験の豊富な方を選ん だ。なお，BERTの事前学習済みモデルには，日本語 Wikipedia で学習された公開モデル2)を用いた。

評価本実験では，マスクされた位置に正しい対義語が予測されたか否かを top-1, top-10 の正解率 で評価する。評価データには， [MASK] トークンが サブワード単位で分割されている事例が含まれる。 しかしながら，作業者はサブワード単位で空欄を埋 めることはできない，そのため，評価データのうち [MASK] トークンがサブワード分割されていない事例を含むサブセット（以後単語単位と呼ぶ）を作成 し，作業者が埋めた単語とモデルが予測した単語を

比較する．また，作業者は必ずしも一つの空欄に 対して5つの回答を思いつくとは限らないないた め, top-1 と top- $n$ の正解率でも評価する. この数値 $n$ は，各事例に対する回答数によって異なる。

## 3.2 実験結果

対義語穴埋めの結果を表 1 に示した. 提案手法 は, 全評価データに対して top-1 正解率で $23.4 \%$, top-10 正解率で $47.9 \%$ ，単語単位では top-1 正解率で 30.4\%, top-10 正解率で $49.1 \%$ を達成した. ファイン チューニングなしの事前学習済み BERT モデルは，提案手法に比べて top-1 正解率が大きく低下してい る.これは，一般的なマスク言語モデルでは，対句構造の文脈を与えられていたとしても，対義語を予測するには不十分であることを示している. 言い換 えれば，提案手法はモデルを対句構造における単語予測タスクに適応させるのに有効であることがわか る.しかしながら，ファインチューニング無しと有 りの場合で top-10・top- $n$ 正解率における性能の差は top-1 に比べると小さい. これは，BERT モデルが事前学習時に文脈に基づき正解単語を正解候補として 予測する能力を獲得していることを示唆している.

教師データでファインチューニングをした場合 は, 特に top-1 正解率が大きく向上した (全評価デー タで+6.1 ポイント，単語単位で+9.3 ポイント). ま た，対照的マスキングにより全ての正解率が，対句位置エンコーディングにより特に top- $10 \cdot$ top- $n$ 正解率が向上した (前者は $+0.8 \sim+3.0$ ポイント, 後者 は+1.5，+0.6ポイント). さらに，疑似教師データの 活用により，特に top-1 の正解単語の向上を確認し た $(+0.8,+3.0$ ポイント $)$. これらの提案手法が性能向上に寄与していることから，BERT モデルに対し て対義語穴埋めに特化させたファインチューニング を行うことが重要であるとわかる.
表 1 対義語穴埋めの正解率

表 2 各指標を満たす 100 件あたりの事例数意味的対照性 文の自然さ・流暢さ

辞書を用いたべースラインでは, 単語単位の top-1 正解率で $9.6 \%$ という結果になった. この正解率の 低さは，辞書に含まれるエントリのカバー率の低さ に起因する. 例えば，評価データに含まれる対義語 の $39.3 \%$ しか辞書に掲載されていなかった。

表 1 は，穴埋めタスクを解いた時に正解率が最小・最大となった作業者の結果も示している. これ を見ると，正解率は作業者ごとに摇れが見られるも のの提案手法よりも高い. しかしながら, 正解率は 最大でも top-1 で $34.5 \%$, top- $n$ で $59.1 \%$ と低く,この タスクの難しさが現れている。一方で，作業者 3 名 の回答を統合し，その中に正解単語が含まれれば正解とする最も緩やかな評価を行うと, top-1 正解率 は $51.8 \%$, top- $n$ 正解率で $66.6 \%$ となった. この top-1 正解率の大幅な向上は, 評価データ内の各空欄を埋 める際に複数の可能な単語が考えられることを示唆 している.この正解単語が複数考えられる事象につ いて調査するため, 正解単語と一致しなかった作業者の回答と提案手法の予測結果の質について, 別の 作業者による主観評価を実施した. 各回答・予測結果の内，意味的対照性と文としての自然さ - 流暢さ を満たす事例数を表 2 に示した. この分析では，作業者の回答と提案手法の予測単語両方が不正解だっ た事例から 100 件ランダムに抽出したものを用い た. なお，作業者の回答は，3名の回答からランダ ムに 1 事例につき 1 件を選択した. この結果, 作業者の回答・提案手法の予測単語ともに，85\%以上の単語が対義語として適切であることがわかった。

以上より，文脈を考慮した対義語穴埋めでは，複数通りの正解単語が存在するため, 単一の正解単語 を用いた自動評価 (正解率) では性能が過小評価さ れてしまうことがわかった. しかし，提案手法によ る予測結果を主観評価したところ，対義語としての 適切さ，文としての自然さ・流暢さとも非常に高い 正解率となっており, 文脈を考慮した対義語を予測 するには十分な性能であることがわかった. また，事例分析の結果を付録 A. 2 に示したように，さらに 性能を向上させるためには単語ペアを「何を対象と して」「どのような観点で対比させるか」を明示的 に与える必要があることもわかった.

## 4 おわりに

本研究では，文脈を踏まえた対義語穴埋めとい う，対義語の予測タスクに取り組んだ. BERT モデ ルを対義語穴埋めに適応させる方法として，対句 データを活用したドメイン適応，対照的マスキン グ，対句位置エンコーディング，疑似教師データの 収集方法を提案した。提案手法は，評価データにお いて，23.4\%の top-1 正解率および 47.9\%の top-10 正解率を達成した. これらの値は低く見えるが，空欄 を埋められる正解単語は複数考えられるため, 単一 の正解単語に基づく自動評価では性能が過小評価さ れてしまう。しかし，主観評価により，提案手法に よる予測結果は，85\%以上の事例が対義語として適切であることがわかった。本研究の結果は，語彙の 意味関係を実用的な単語予測タスクとして扱う研究 をさらに促進させるものである．今後は，言及対象 や対比させるべき観点を考慮した対義語予測および 他の意味関係へのモデルの拡張に取り組みたい.

## 参考文献

[1] Steven Jones, M Lynne Murphy, Carita Paradis, and Caroline Willners. Antonyms in English: Construals, constructions and canonicity. Cambridge University Press, 2012.

[2] Hristo Katrandjiev, Ivo Velinov, and Kalina Radova. Usage of rhetorical figures in advertising slogans. Trakia Journal of Sciences, Vol. 14, No. 03, pp. 267-274, 2016.

[3] John Heritage and David Greatbatch. Generating applause: A study of rhetoric and response at party political conferences. American journal of sociology, Vol. 92, No. 1, pp. 110-157, 1986.

[4] Rui Yan, Cheng-Te Li, Xiaohua Hu, and Ming Zhang. Chinese couplet generation with neural network structures. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2347-2357, 2016.

[5] Oren Barkan, Avi Caciularu, and Ido Dagan. Withinbetween lexical relation classification. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3521-3527, Online, 2020

[6] Vered Shwartz and Ido Dagan. Path-based vs. distributional information in recognizing lexical semantic relations. In Proceedings of the 5th Workshop on Cognitive Aspects of the Lexicon (CogALex - V), pp. 24-29, Osaka, Japan, 2016.

[7] Kim Anh Nguyen, Sabine Schulte im Walde, and Ngoc Thang Vu. Distinguishing antonyms and synonyms in a pattern-based neural network. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 76-85, Valencia, Spain, 2017.

[8] Kim Anh Nguyen, Sabine Schulte im Walde, and Ngoc Thang Vu. Integrating distributional lexical contrast into word embeddings for antonym-synonym distinction. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 454-459, Berlin, Germany, 2016.

[9] Omer Levy, Steffen Remus, Chris Biemann, and Ido Dagan. Do supervised distributional methods really learn lexical inference relations? In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 970-976, Denver, Colorado, 2015.

[10] José Camacho-Collados. Why we have switched from building full-fledged taxonomies to simply detecting hypernymy relations. CoRR, Vol. abs/1703.04178, , 2017.

[11] Jose Camacho-Collados, Claudio Delli Bovi, Luis Espinosa-Anke, Sergio Oramas, Tommaso Pasini, Enrico Santus, Vered Shwartz, Roberto Navigli, and Horacio Saggion. SemEval-2018 task 9: Hypernym discovery. In Proceedings of The 12th International Workshop on Semantic Evaluation, pp. 712-724, New Orleans, Louisiana, 2018.

[12] Laura Rimell, Amandla Mabona, Luana Bulat, and Douwe Kiela. Learning to negate adjectives with bilinear models. In Proceedings of the 15th Conference of the European
Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 71-78, 2017.

[13] Thmas R. Hoffmann. Realms of meaning: An introduction to semantics. Longman, 1993.

[14] Geoffrey Leech. Semantics. Penguin Books, 1976.

[15] 三省堂編修所（編）.反対語対立語辞典. 三省堂, 2017.

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, 2019.

[17] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'AlchéBuc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32, pp. 5753-5763. Curran Associates, Inc., 2019.

[18] 谷山雅計. 広告コピーってこう書くんだ!読本. 株式会社宣伝会議, 2007 .

[19] 仲畑貴志. ホントのことを言うと、よく、しかられ る。勝つコピーのぜんぶ. 株式会社宣伝会議, 2018.

[20] 青田光章, 秋山晶, 東秀紀, ほか. 最新約コピーバイ ブル. 株式会社宣伝会議, 2007.

[21] 梅田悟司. 「言葉にできる」は武器になる。日本経済新聞出版社, 2016.

[22] 宣伝会議賞実行委員会. SKAT.2-SKAT.17. 株式会社宣伝会議, 2003-2018

[23] 丹羽彩奈, 脇本 宏平, 西口 佳佑, 毛利 真崇, 岡崎 直観 .キャッチコピーにおける対句構造の解析. 言語処理学会第 26 回年次大会 (NLP2020), 2020.

[24] 丹羽彩奈, 脇本 宏平, 西口 佳佑, 毛利 真崇, 岡崎 直観 . 単語の対応関係を利用したスパン候補の絞り込み によるキャッチコピーの対句構造解析. 第 34 回人工知能学会全国大会 (JSAI2020), 2020.

## A 付録

## A. 1 評価データの作成方法

評価データ内で空欄とする単語（列）には，2.1 節 で説明した対照的マスキングの対象となった単語

（列）から，以下の基準に基づき選択した.

1. 評価事例一件につき一単語（句は除外）

2. 単語の品詞は名詞, 動詞-自立, 形容詞-自立, 形容動詞のいずれか

3. 企業情報などの外部知識がなければ解けない事例は可能な限り除外

本来は一件のキャッチコピーから前半の句と後半の句をそれぞれマスキングすることで二件の評価事例を作成できる．しかし，クラウドソーシング プロセスの簡略化のため，単語単位ではキャッチコ ピー一件につき評価事例一件のみを使用した。その ため，元々の評価データに比べて小規模になって いる.

## A. 2 事例分析

ベースライン（ファインチューニングなしの BERT モデル), 提案手法, 各作業者による出力・回答例を表 3 に示した。

事例 (A) の（出会い一別れ）のように，対比関係 がわかりやすい単語が存在する場合は，提案手法も 作業者も正解単語を第一候補として出力することが できる。また，予測すべき単語の周辺のみを考慮し ているべースラインの出力と比べると，提案手法は 「別れの曲一出会いの曲」というテキスト内の大域的な構造に着目できていることがわかる.

事例 (B) は，正解単語は予測・回答されていない ものの, 対義語として機能している. この問題で は,「地球」という単語に対して，規模の大きさや 身近さの度合いで対比できる単語を出力する. その 点, 提案手法の予測結果 ・作業者が作成した回答と もに自分の周りにある物や人を中心とした単語が 並んでおり，どれも意味的対照性と文としての自然 さを満たしている。しかし，正解単語はそれらの観点に加えて「物理的・精神的な対比」を持つ「心」 となっている.このような事例に対応するためは，「二つの単語をどのような観点で対比させるのか」 を明確にすることが必要であると考えられる。

また，人間にとっても正解することが難しい他の表 3 対義語穴埋めタスクの出力・回答例

(A) 別れの曲だったのに、[MASK] の曲になった。正解 - - - 出会い

ベースライン 別れ, 最後, 今, 人生, 卒業

提案手法出会い, 憧れ, 人生, 最高, 始まり

作業者 1 出会い, 再会, 初恋, 永遠, 永久

作業者 2 出会い, 始まり, スタート, 開始, 邂逅

作業者 3 出会い, 出逢い

(B) 地球の環境より、まず [MASK] の環境。

正解

ベースライン 宇宙, 水, 地球, 太陽, 植物

提案手法家族, 私, 周り,トイレ, 家

作業者 1 自宅, 家, 自分, 部屋, 職場

作業者 2 自分, 私, 周辺, 室内, 家内

作業者 3 国, 家庭, 町, 街, 周り

(C) $[\mathrm{MASK}]$ 軽さから、忘れる軽さへ。正解

ベースライン゙忘れる,壊れる,思い出す,嬉しい, 積 み重ねる

提案手法忘れる, 思い出す, 覚える, 思い出す,気づかない

作業者 1 持てる, 運べる,重ねられる, 運搬で きる, 探せる

作業者 2 感じる, 受ける, 分かる, 感じ取る, 勘 づく

作業者 3 思い出す, 残る, 驚く

事例として，事例 (C) のような文が挙げられる。こ の事例で正解単語を予測するには，このキャッチコ ピーの言及対象がメガネ製品であるという事前知識 と，その対象に対する推測やイメージを要する. こ のような事例にも対応するため，文の言及対象に関 する追加情報を入力することも重要である.


# 話し言葉を対象とした文末解析と表現文型の同定

柳将吾 佐藤理史 夏目和子 宮田玲 小川浩平
名古屋大学大学院工学研究科
yanagi.shogo@i.mbox.nagoya-u.ac.jp

## 1 はじめに

日本語の文末には、テンス・アスペクト・モダリ ティ・否定などの文法的機能が集中して現れる。た とえば、

(1) 彼は面白い小説を書いていたにちがいありま せん

という文では、動詞「書く」に、「テいる(アスペク ト)」「た(テンス)」、「にちがいない (モダリティ)」「ます(敬体)」が接続し、文末述語を構成している。日本語文において、文末述語の範囲を同定し、その 構成要素を同定することは、文の意味を解釈するた めに不可欠である。

佐野らは、書き言葉を対象に、このような文末解析を実行するシステム Panzerを実現した [1]。Panzer は、与えられた文の文末述語の範囲を決定し、その 範囲を内容語と機能語の列に分解する。これらの要素はいずれも HaoriBricks3 (HB3) [2]の Brick (文を組 み立てるための部品) として出力されるため、解析結果から元の表層文を復元することが可能である。 Panzer は、すでに、書き言葉・話し言葉変換 [3] や、文の平易化 [4] に利用されている。

本論文では、小説の会話文を中心とした話し言葉 に対して、Panzer と同等の機能を提供するシステム Panzer/U と、それを利用した発話文の表現文型の同定について述べる。一般に、話し言葉の解析は、書 き言葉の解析より難しいと考えられている。そのひ とつの理由は、話し言葉に見られるくだけた表現 に起因する。Panzer/Uでは、くだけた表現にも比較的広く対応した「現代話し言葉 UniDic [5]」(以下、 UniDic と略記) を形態素解析に利用する。

## 2 音変化表現と形態素解析

小説の会話文や漫画などでは、話し言葉に現れる 音変化が文字として現れる。これを宮崎ら [6] は音変化表現と呼んでいる。具体例を以下に示す。
(2) 彼にちがいねえ (ちがいない)

(3) 本当に走んのか (走るのか)

例文 (2) は、Juman++でもUniDic/MeCab でも適切 に解析できるが、例文 (3) の解釈は、次のように分 かれる。

(4) a. 走 (走る)/ ん(ぬ) /の (のだ)/か (Juman++) b. 走ん (走る)/の (準体助詞)/か (UniDic)

(4a)のように「走ん」の「ん」を「ぬ」と解釈する のは明らかに誤りであり、(4b) のように「走ん」を 「走る」の音変化表現と解釈するのが適切である。 ここでは 1 例を示したが、UniDic は、音変化表現に 対して比較的頑健である。

音変化表現をUniDic で解析した結果は、おおよ そ、次のように分類できる。

1. 独立した語として認識される 例：書い/てく (助動詞てく)

2. ある語の異形として認識される

例 : すんごい (すごい [終止形-一般])、

3. 活用形として認識される

例 : 走ん/のだ (走る [終止形-撥音便])

4. 正しく解析できない

しかしながら、いずれの場合も、「音変化が起き ている」ことが明示的に出力されるわけではない。 そのため、音変化表現の検出には、 4 節に示すよう な検出規則が必要となる。

## 3 Panzer/U の概要

Panzer/U の構成を図 1 に示す。基本的な構成は Panzer [1] を踏襲している。Panzer/U は、前処理 (形態素解析) の結果として得られる形態素列に対して、文末述語の範囲を決定し、その範囲を HB3 の Brick 列 (内容語と機能語列) に変換する。オリジナルの Panzer では、前処理として、形態素解析と文節解析 (Juman+KNP) を用いているが、Panzer/U の前処理

図 $1 \mathrm{Panuzer/U}$ の構成

は、UniDic/MeCabによる形態素解析のみで、文節境界の決定は、組み込み規則によって行う。以下に、 Panzer/U の実行例を示す。ここで、a が入力、bと c が出力であり、bは内容語、cは機能語列を表す。下線は音変化に関わる Brick [7] を表す。

(5) a. 張り切ってるわね

b. 張り切る

c. テ助動詞る, 終助詞わ, 終助詞ね

（6） a. まさか、遭難じゃないだろなあ

b. 遭難

c. じゃない, だろう, ウ脱落, 終助詞なあ

(7) a.こんなに暗いのに、車にはねられたらどう すんだ！

b. どうする

c. ル脱落, 連体助動詞んだ, 感嘆符

（8） a. おまえ、日本語しゃべれるじゃねえか

b. しゃべれる

c. じゃない, アエ交替, 終助詞か, 句点

HB3 は益岡・田篞文法 [8] とそれに準拠する Juman 体系から発展した羽織文法に基づくため、HB3 の Brick と Juman の形態素の差異は比較的小さい。そ の一方で、UniDic の短単位との差異は、かなり大き い。そのため、Brick 列への変換の過程で、この差異を吸収する必要がある。

短単位列から Brick列への変換は、おおよそ、次 の 3 種類に分類できる。

1. 文脈を考慮しない変換

(a) 1 つの短単位 $\rightarrow$ Brick (列)

例 : 終助詞ね $\rightarrow$ 終助詞ね

(b) 複数の短単位 $\rightarrow$ Brick (列)

例 : 書い + 助動詞た

$\rightarrow$ 書く+夕形

書い + 接続助詞て

$\rightarrow$ 書く+夕系連用テ形
2. 文脈を考慮した変換

例 : (食べ) 終助詞な $\rightarrow$ 終助詞な命令

(食べる) 終助詞な $\rightarrow$ 終助詞な禁止

タイプ (1a) は単純な変換である。タイプ (1b) は単位の差異を吸収する変換で、Panzer/U ではこのタイ プの変換が多数存在する。例に示したような、活用語の直後の助動詞や接続助詞を、活用語尾 (活用形) とする変換は、その典型である。

タイプ (2) の文脈に依存した变換は、短単位 (列) が、複数の変換候補を持つ場合である。たとえば、 HB3 では命令を表す「終助詞な命令」と、禁止を表 す「終助詞な禁止」を区別する。そのため、「終助詞 な」の変換先は、直前の語の活用形を参照しなけれ ば定まらない。

なお、Panzer/U の開発には、『舟を編む』[9]、およ び、『風が強く吹いている』[10] (0 章から 5 章の途中まで) から抜き出した発話文、約 3000 文を開発用 データとして利用した。

## 4 音変化表現の検出

Panzer/U の実装に先立ち、音変化表現を生成する 仕組み (Brick)を HB3 に導入した [7]。HB3 における 音変化表現の扱いには、次の 5 種類がある。

1. 内容語として扱う

例：やっぱし

2. 音変化形 (異形) を作り出すコマンドで扱う

例：ウ脱落, ル脱落, アエ交替

3. 活用形として扱う

例：条件音便形, 条件音便縮約形, 連用ウ音便形

4. 機能語として扱う

例：テ助動詞る,テ縮約接尾辞とく

5. テンス有標 (タ) の拡張として扱う

例：タあ

解析を担う Panzer/U は、入力文に含まれる音変化表現を検出し、表層文字列に復元可能な Brick (列) に変換する必要がある。以下では、2 節に示した 4 つの場合の概要を示し、付録に実装した検出規則の 一覧を示す。なお、文末解析では、文末の機能語と その直前の内容語 (多くは、活用語) を扱うため、実装した検出規則は、これらに関わる音変化を対象と している。

1. 独立した語として認識される場合 この場合 の変換は容易で、あらかじめ用意した変換テーブル で、Brickに変換する。対象となるのは機能語で、具
体例には「てる・てく・とる・とく・ちまう・ちゃ う」などがある。

2. ある語の異形として認識される場合 活用しな い内容語の音変化、および、活用する内容語の語幹 の音変化 ${ }^{1)}$ は、新たな (表記の) 内容語として扱う。 つまり、音変化は明示的に検出しない。それ以外の 語に対しては、検出規則によって音変化を検出し、対応する Brick に変換する。

たとえば、「すげえ」は「すごい」の異形として認定される。しかし、その活用形は「終止形-一般」で あり、活用形だけからは音変化が起きているかどう かはわからない2)。そのため、検出規則を適用して、音変化表現かどうかを決定する。

3. 活用形として認識される場合 活用形「仮定形融合」は、それだけから音変化が起きていること がわかるが、「美しけりゃ」も「美しきゃ」も「仮定形-融合」と認定されるため、どのような音変化が起 きているか一意には決定できない。そのため、検出規則を適用し、音変化表現の種類を同定する。

4. 正しく解析できない UniDicを用いても、すべ ての音変化表現が正しく解析できるわけではない。 いくつかの典型的な誤りに対しては、誤りを修正し て音変化表現として検出したり、音変化が起きてい ない表現に修正したりする。以下に例を示す。

(9) 食べりゃ/あ/いい (あ [感動詞])

$\rightarrow$ 食べる, 条件音便形, ア長音化, バいい

(10) 食べ/て/やん/の (やる [連体形-撥音便]) $\rightarrow$ 食べる, テ助動詞やがる, 連体省略撥音形, 終助詞の

(11) 食べる/ねえ（ない [終止形-一般])

$\rightarrow$ 食べる, 終助詞ねえ

## 5 Panzer/U の性能

以下のデータを用いて、Panzer/U による文末解析 の性能評価を行なった。

開発用データ システム開発に使用した発話文の一部。『舟を編む』[9] の 1 章から 100 文 (D1)。『風が 強く吹いている』[10]の 2 章と 5 章からそれぞれ 100 文 (D2,D3)。

評価用データ『風が強く吹いている』の 7 章から 100 文 (T1)。『氷菓』[11]の 3 章と 5 章からそれぞれ 100 文 (T2, T3)。

これらの文は、出典において引用記号 (鉤括弧) で 囲われた部分に出現し、かつ、文末に述語 (動詞・形容詞・判定詞) が存在する文である。

Panzer/U の出力の正誤判定結果を表 1 に示す。括弧内の数字は、文末に音変化表現が含まれている文数 (内数) を表す。なお、出力の正誤判定は、それ ほど自明ではないため3)、正誤判定が難しい場合は 「?」とした。

この表より、おおむね $90 \%$ の発話文が正しく解析 されていることがわかる。発話文の $23 \%$ (138/600) には文末に音変化表現が含まれているが、それらの 文でも精度が特に低いわけではない。

しかしながら、この結果をもって、音変化表現を 含む文末表現が高い精度で解析できるようになっ たと判断するのは早計である。文末述語に音変化表現を含む 138 文中、97 文は「じゃない・んだ (んで す)・てる」のみを含む文であった。つまり、高い頻度で現れる音変化表現を正しく解析できているだ けで、多くの種類の音変化表現を正しく解析できる かどうかは不明である。そのため、たとえば宮崎ら [6] が示した音変化パターンに基づいて例文集を作成し、これらがどの程度正しく解析できるかを確か める必要がある。

一方、音変化表現を含む文の解析に失敗した原因 のほどんどは、形態素解析の誤りであった。たとえ ば、末尾への促音 (「っ」)の付加の具体例である 「それは、本当ですかっ？」は、UniDic では以下の ように形態素解析され、「すかっ」は副詞と判定さ れる。

(12) それ/は/、/本当/で/すかっ/？

出現頻度が低い音変化表現は、UniDicでも正しく 解析できないことが多いように思われる。このこと からも、多くの種類の音変化表現を含む例文集を作成して、発話文解析ツールの開発や評価に使用する ことが重要となろう。

3）特に、内容語が複合語の場合、どこを文節境界と認定する かが難しい。

## 6 表現文型の同定

Panzer/U の開発目的は、発話文の文末解析の実現 にとどまらない。文末解析結果を利用して、発話文 を『発話文表現文型辞書』[12] の文型に結びつけ、発話意図や話し方の特徴の情報を取得可能とするこ とを最終目標としている。

『発話文表現文型辞書』は、小説の発話文生成を 念頭に、「ある目的 (発話意図) で発話する時、ある 話し方で表すならば、この文型を使う」という情報 を提供する辞書である。この辞書は、発話文生成で の使用を想定して設計されたが、発話文解析におい て、与えられた発話文をこの辞書のエントリに結び つけることができれば、その発話文の発話意図や話 し方特徵が判明する。これを実現すべく、『発話文表現文型辞書』の改定と Panzer/U を利用した表現文型の同定の実現を並行して進めている。

辞書の新しい版では、文末述語を、次のような形式でモデル化する。

(13) 中核要素 + 形式 + 主要部 + 末尾部

ここで、中核要素は、この述語の中核となる部分 (動詞、形容詞、名詞+判定詞)を表す。一方、形式 は、この中核要素の活用型、および、テンス・否定 の有無を、それぞれ以下のようなアルファベット 1 文字で表したものである。

1. 活用型

$\mathrm{V}$ (動詞型)、A (イ形容詞型)、C (判定詞型)

2. テンス・否定

$\mathrm{b}$ (なし)、 $\mathrm{t}$ (テンスあり) $\mathrm{n}$ (否定あり)、 $\mathrm{k}$ (テン ス・否定あり)

末尾部は、文末述語の最後尾に位置する終助詞 (列)を、主要部は、それ以外の要素 (機能語列)を表 す。以下に、具体例を示す。

(14) a. 食べる方がいいよ

b. 食べる, 方がいい, よ

c. 食べる, $\mathrm{Vb}$, 方がいい, よ

d. 食べる, $V b$, 文型_方がいい_よ

(15) a. 行かない方がいいわ

b. 行く,ない,方がいい, わ

c. 行く,Vn, 方がいい, わ

d. 行く,Vn, 文型_方がいい_わ

ここで、a は大力、bは Panzer/U の出力、 $\mathrm{c}$ は文末述語のモデルに沿った分解であり、d が表現文型の同定結果として出力する形式である (一部、情報を省略した)。

Panzer/U の出力から、表現文型を同定するため に、まず、それぞれの表現文型がどのような機能語 (Brick) 列から構成されるかを定義しておく。実際の 同定処理は、Panzer/U の出力を前から見ていき、中核要素と形式に対応する要素 (内容語、判定詞、夕、 ない)を取り除き、残った機能語 Brick列に基づき文型を決定すればよい。

文型「方がいいよ」「方がいいわ」は、いずれも 発話意図「忠告」の文型として辞書に定義されてい る。さらに、前者は、特に話し方特徴を持たないと 定義されているのに対し、後者は「女性的・親しみ」 という話し方特徴を持つと定義されている。表現文型が同定され、辞書のエントリが一意に定まれば4)、 このような情報が得られることになる。

## 参考文献

[1]左野正裕, 佐藤理史, 宮田玲. 文末述語における機能表現検出と文間接続関係推定への応用. 言語処理学会第 26 回年次大会発表論文集, pp. 1483-1486, 2020.

[2]佐藤理史. HaoriBricks3: 日本語文を合成するための ドメイン特化言語. 自然言語処理, Vol. 27, No. 2, pp. $411-444,2020$.

[3]柳将吾, 佐藤理史. ウィキペディアから抽出した人物エ ピソードの話し言葉への変換. 言語処理学会第 26 回年次大会発表論文集, pp. 437-440, 2020.

[4]Taichi Kato, Rei Miyata, and Satoshi Sato. BERT-based simplification of Japanese sentence-ending predicates in descriptive text. In Proceedings of the 13th International Conference on Natural Language Generation, pp. 242-251. Association for Computational Linguistics, 2020.

[5]Unidic,（2021-1 閲覧）.https://unidic.ninjal.ac.jp.

[6]宮崎千明, 佐藤理史. 発話テキストへのキャラクタ性付与のための音変化表現の分類. 自然言語処理, Vol. 26, No. 2, pp. 407-440, 2019.

[7]佐藤理史, 柳将吾, 夏目和子. HaoriBricks 3 による音変化表現の生成. 言語処理学会第 27 回年次大会発表論文集, 2021 (発表予定).

[8]益岡隆志, 田窪行則. 基礎日本語文法-改訂版- くろし お出版, 1992.

[9]三浦しをん. 舟を編む. 光文社, 2011.

[10]三浦しをん. 風が強く吹いている. 新潮社 (新潮文庫), 2009.

[11]米澤穂信. 氷菓. KADOKAWA (角川文庫), 2001.

[12]夏目和子, 佐藤理史. 発話文表現文型辞書の設計と編纂. 言語資源活用ワークショップ 2019 発表論文集, pp. 295-312, 2019.

4）表現文型の同定ができたからといって、かならずしも表現文型辞書のエントリが一意に決定できるわけではない。なぜ なら、同一の文型が複数の表現意図に対して使用できる (定義 されている) からである。

## 付録 音変化表現の検出規則一覧

活用形 $=$ 語幹-一般
1. $\left(\begin{array}{l}\text { 品詞 }=\text { 形容詞 } \\ \text { 後続要素 }=\text { 取立助動詞なる }\end{array}\right) \rightarrow$ 連用形 + ク脱落例：うれしфなる

## 活用形 $=$ 終止形-一般
2. $\left(\begin{array}{l}\text { 表層形末尾 }=え \\ \text { 基本形末 }=\mathrm{O}\end{array}\right) \rightarrow$ オエ交替

例：すげえ
3. $\left(\begin{array}{l}\text { 表層形末尾 }=え \\ \text { 基本形末尾 }=\mathrm{A} い\end{array}\right) \rightarrow$ アエ交替例：うるせえ

4. (表層形末尾 $=$ 亢 $) \rightarrow$ 末尾長音小書化例：うるせえ
5. $\left(\begin{array}{l}\text { 表層形末尾 }=\mathrm{I} い \\ \text { 基本形末尾 }=\mathrm{U}\end{array}\right) \rightarrow$ ウイ交替例：わりい

## 活用形 $=$ 終止形-撥音便
6. $($ 活用型 $=$ 助動詞-又 $) \rightarrow$ 終止音便形例 : 食べん

7. ( 活用型 $\neq$ 助動詞-又) $\rightarrow$ ル撥音化例 : 走んぞ

## 活用形 $=$ 終止形-促音便

8. （基本形末尾 $=$ る） $\rightarrow$ 基本形 + ル音促音化例: 入れっか

9. （基本形末尾 $=い ） \rightarrow$ 基本形 + 个音促音化例：いっか

## 活用形=未然形-撥音便
10. $\rightarrow$ 未然形 + 亏撥音化

例：煽んない

## 活用形 $=$ 連用形 $-一$ 般
11. $\left(\begin{array}{l}\text { 活用型 }=\text { 下一段サ行 } \\ \text { 表層形の末尾 }=し\end{array}\right) \rightarrow$ セシ交替例 : 食べさして

## 活用形 $=$ 連体形-撥音便
12. $\rightarrow$ 儿撥音化

例 : 走んのだ

## 活用形=連用形-促音便
13. $\left(\begin{array}{l}\text { 活用型 }=\text { 上一段 } \\ \text { 後続要素 }=\text { て・た }\end{array}\right) \rightarrow$ イ音促音化例 : おっこってしまう

14. (基本形 $=$ 歩 $\left.\begin{array}{l}\text { 基本形 }=\text { 歩く } \\ \text { 後続要素 }=\text { て・た }\end{array}\right) \rightarrow$ イ音促音化例 : 歩ってしまう

15. $\left(\begin{array}{l}\text { 基本形末尾 }=\text { る } \\ \text { 後続要素の先頭 }=\text { か }\end{array}\right) \rightarrow$ ル促音化例 : 食べっか

## 活用形=連用形-ウ音便
16. $($ 表層形末尾 $=う) \rightarrow$ 連用ウ音便テ形例：もろうて

17. (表層形末尾 $\neq$ う) $\rightarrow$ 連用ウ音便省略テ形例：もろ $\phi \tau$

## 活用形 $=$ 連体形 - 省略
18. $\rightarrow$ ル脱落

例：食べてんだ

## 活用形 $=$ 仮定形 - 融合
19. $\left(\begin{array}{l}\text { 品詞 }=\text { 形容詞 } \\ \text { 表層形末尾 } \neq \emptyset \text { ゃ }\end{array}\right) \rightarrow$ 条件音便縮約形例：美しきゃ
20. $\left(\begin{array}{l}\text { 活用型 }=\text { 助動詞ナイ } \\ \text { 表層形末尾 } \neq \text { りゃ }\end{array}\right) \rightarrow$ 条件音便縮約形例：なきゃ

21. ((上記以外) $) \rightarrow$ 条件音便形例：食べりゃ

## 活用形=意志推量形

22. (表層形末尾 $=$ つ $) \rightarrow$ ウ促音化

例：走ろっか

23. (表層形末尾 $\neq$ う っ) $\rightarrow$ ウ脱落

例：走ろ $\phi$ か

## 副助詞って
24. $\left(\begin{array}{l}\text { 直前の品詞 }=\text { 形容詞 } \\ \text { 直前の活用形 }=\text { 連用形 }\end{array}\right) \rightarrow$ テ形 + テ促音挿入例：あたたかくって

## 助動詞た

25. (表層形 $=$ たあ $) \rightarrow$ タあ 例 : たべちゃったあ

「ない」
26. $\left(\begin{array}{l}\text { 活用形 }=\text { 終止形 }- \text { 一般 } \\ \text { 表層形 }=\text { ね }\end{array}\right) \rightarrow$ 語末長音化 + 工脱落例：いいんじゃね

「っす」
27. $($ 活用型 $=$ 助動詞デス $) \rightarrow$ 助動詞っす


# マスクされた単語の埋め込みと 2 段階クラスタリングを用いた 動詞の意味フレーム推定

山田 康輔 1 笹野遼平 1,2 武田 浩一 1
1 名古屋大学 2 理化学研究所
yamada.kosuke@c.mbox.nagoya-u.ac.jp \{sasano, takedasu\}@i.nagoya-u.ac.jp

## 1 はじめに

本研究では，テキスト中の動詞が喚起する意味 フレームの推定に取り組む。具体的には，FrameNet [1] で定義されているフレームごとにテキスト中の 動詞をクラスタリングすることを目標とする. たと えば，表 1 の (1)〜(4) に示す FrameNet の用例の場合，動詞が喚起するフレームごとに $\{(1)\},\{(2)\},\{(3)$ ， (4)\}の 3 つのクラスタにまとめることが目標となる.動詞の意味フレーム推定では，近年 ELMo [2] や BERT [3] などの文脈化単語埋め込みの有用性が報告 されている．たとえば，SemEval2019 の共通タスク [4] でベースラインを超えた 3 手法 [5, 6, 7] はいずれ もフレーム推定対象動詞の文脈化単語埋め込みを利用したクラスタリングに基づく手法となっている. しかし，これらの手法には 2 つ問題点がある. 1 つ目の問題点は，推定対象となる動詞の表層的 な情報の影響が大きいことである．表 1 の「get」の ように，一部の動詞は文脈により異なるフレームを 喚起する. しかし, 文脈化単語埋め込みは対象単語 の表層的な情報も含むことから，同一の動詞の埋め 込みは類似する傾向がある。このため，クラスタリ ングの結果，同一の動詞の用例が 1 つのクラスタに まとめられることが多い．たとえば，FrameNetから 「get」と「acquire」の用例を抽出し, 事前学習済み の BERTを用いてこれらの文脈化単語埋め込みを 獲得し, t-SNE[8] で 2 次元にマッピングした結果を 図 1 左に示す.「get」が喚起するフレームのうち, Getting フレームが付与された用例の動詞の文脈化単語埋め込みは, 同じく Getting フレームを喚起す る「acquire」の用例の動詞の文脈化単語埋め込みに 近い位置に分布する傾向はあるものの，喚起するフ レーム間の差より動詞間の差の方が大きいことが確認できる.

本研究ではこの問題を解消するため，対象動詞を マスクした文脈化単語埋め込みを利用する手法を提表 1: FrameNet の動詞「get」と「acquire」の用例と各動詞 が喚起するフレーム (括弧内).

図 1: 動詞「get」と「acquire」の動詞 (左) とマスクされた 動詞 (右) の BERT による埋め込みの 2 次元マッピング.番号は表 1 に対応し，■と + は動詞「get」と「acquire」，各色は Arriving, Transition_to_state, Getting フレームを示す.

案する. 図 1 左と同様に，マスクされた動詞の文脈化単語埋め込みを 2 次元にマッピングした結果を図 1 右に示す。マスクを用いた場合は，動詞の表層的 な情報は限定的となり，同一のフレームを喚起する 用例が近い位置に分布することが確認できる。

2つ目の問題点は，全動詞の用例を一度にまとめ てクラスタリングしていることである。この結果，各動詞が喚起するフレームの異なり数は多くても数個程度と限定的であるにも関わらず，1つの動詞の 用例が多くの異なるクラスタに属すると判断され る可能性がある．本研究では，このような事態を避 けるため，まず動詞ごとに用例のクラスタリングを 行った後，動詞横断的にフレーム単位でまとめる 2 段階クラスタリングに基づく手法を提案する。

## 2 提案手法

本研究では，テキスト中の動詞が喚起するフレー 么の推定に，マスクされた単語の埋め込み，および， 2 段階クラスタリングを利用する手法を提案する。

## 2.1 マスクされた単語の埋め込みの利用

提案手法では動詞のフレーム推定に利用する埋め 込みとして, 従来手法で使用された推定対象動詞の 文脈化単語埋め込みに加え，その動詞をマスクした 場合の文脈化単語埋め込みを利用する. 本研究では 以下の 3 種類の文脈化単語埋め込みを考える。
1. $v_{\mathrm{WORD}}$ : 対象の動詞の通常の文脈化単語埋め込み
2. $v_{\text {MASK }}$ : 対象の動詞を “[MASK]” に置き換えた場合の文脈化単語埋め込み
3. $v_{\mathrm{w}+\mathrm{M}}$ : 次式で定義される上記 2 つの加重平均

$
v_{\mathrm{w}+\mathrm{M}}=(1-\alpha) \cdot v_{\mathrm{WORD}}+\alpha \cdot v_{\mathrm{MASK}}
$

$v_{\mathrm{w}+\mathrm{M}}$ は対象の動詞をマスクした場合と，しない場合 の文脈化単語埋め込みの加重平均である. 開発セッ トを用いて重み $\alpha$ を適切に設定することにより，対象の動詞の表層的な情報の重みと周辺文脈から得ら れる情報の重みを適切に考慮した埋め込みが得られ ることを期待している。 $\alpha$ を 0 とした場合は $v_{\text {wORD }}$ と, 1 とした場合は $v_{\text {MASK }}$ と一致する。

## 2.22 段階クラスタリング

提案手法では，1 段階目で動詞ごとに用例のクラ スタリングを行った後，2 段階目で動詞横断的なク ラスタリングを行い，最終的に生成されたクラスタ がそれぞれ 1 つのフレームに対応すると考える. 1 段階目のクラスタリングにおいて，各動詞の用例を 少数のクラスタにまとめることにより，1つの動詞 の用例が多くの異なるクラスタに属することが避け られることを期待している。

図 2 に get」と「acquire」の用例を 2 段階クラス タリングしたときの流れを示す. この例では， 1 段階目のクラスタリングの結果, 「get」の用例は $3 \supset$,「acquire」の用例は 1 つのクラスタにまとめられ，2 段階目のクラスタリングにより，「get」のクラスタ の1つと「acquire」のクラスタがマージされ, 最終的 に3つのクラスタにまとめられている。 以下では,各クラスタリング手法の詳細について説明する.

動詞ごとの用例クラスタリング 1 段階目のクラ スタリングは，各動詞の用例をその動詞が喚起する フレームごとにまとめることを目的とする．クラス タリング対象の用例の動詞は共通であり, 文脈化単語埋め込みとして $v_{\text {WORD }}$ を用いる場合と， $v_{\text {MASK }}$ を用 いる場合で結果に大きな違いはないと考えられるこ とから，1 段階目のクラスタリングでは文脈化単語

図 2: 2 段階クラスタリングの流れ. 左上，左下図はそれ ぞれ「get」と「acquire」を対象とした 1 段階目のクラスタ リング，右図は 2 段階目のクラスタリングを示している.各図における』と+はそれぞれ「get」と「acuquire」の各用例の埋め込みを表す。

埋め込みとして $v_{\text {MASK }}$ のみを用いる.クラスタリン グ手法としては，X-means [9]，または，ユークリッ ド距離に基づく群平均法による階層型クラスタリン グを用いる。ここで，X-means は自動でクラスタ数 を決定する手法であるが，階層型クラスタリングは クラスタリングの終了基準を必要とする. 群平均法 では，クラスタ間距離をクラスタをまたがる全要素 ペアの平均距離により定義し，クラスタ間距離が小 さいクラスタから順にマージするが，本研究ではク ラスタ間距離が閾値 $\theta$ 以下となるクラスタペアがな くなった時点でクラスタリングを終了する。閾値 $\theta$ は全動詞で共有され，十分に大きな値に設定した場合，すべての動詞についてクラスタは 1 つとなる.本研究では， $\theta$ を十分に大きな值から徐々に小さく していき，全動詞のクラスタ数の平均が，開発セッ トにおいて各動詞が喚起するフレーム数の平均と一致する値に設定する。

フレーム意味論では，語と意味フレームを結び付 けたものを語彙項目 (Lexical Unit; LU) と呼ぶ. 1 段階目のクラスタリングにより生成されたクラスタ は，各動詞の用例をそれが喚起するフレームごとに まとめたものであることから，各クラスタはLUに 対応する集合とみなせることができ，本稿では 1 段階目のクラスタリングで生成された各クラスタを疑似 LU (pseudo-LU; pLU) と呼ぶことにする.

動詞横断的クラスタリング 2 段階目のクラスタ リングでは，1 段階目のクラスタリングで生成した pLUを，動詞横断的にそれが喚起するフレームごと にまとめることを目的とする。 まず，pLUごとに各用例の文脈化単語埋め込みの平均を算出し，その 後，算出された平均埋め込みを用いて動詞横断的に
表 2: FrameNetから作成したデータセット

クラスタリングを行う．具体的なクラスタリング手法には，ユークリッド距離に基づく群平均法ある いはウォード法による階層型クラスタリングを用 いる.

クラスタリングは， 2 つの $\mathrm{pLU}$ が同じクラスタに 属する割合 $P_{\mathrm{C}_{1}=\mathrm{C}_{2}}$ が，開発セットにおいて 2 つの $\mathrm{LU}$ が同じフレームに属する割合 $P_{\mathrm{F}_{1}=\mathrm{F}_{2}}$ 以上となっ た時点で終了する. ここで， $P_{\mathrm{F}_{1}=\mathrm{F}_{2}}$ は式 (2) により 算出される. 一方, $P_{\mathrm{C}_{1}=\mathrm{C}_{2}}$ も同様に計算できるが, $\mathrm{pLU}$ の全ペア数はクラスタリングの段階に依らず一定であるのに対し，同じクラスタに属する pLU のぺ ア数はクラスタリングが進むにつれて単調増加し，全体が 1 つのクラスタとなった時点で 1 となる.こ のため, クラスタリングの過程で $P_{\mathrm{F}_{1}=\mathrm{F}_{2}}$ 以上の値と なることが保証される。また，無作為に抽出した 2 つの LU が同じフレームに属する確率はデータサイ ズに依らないことから，このような基準はテスト セットのサイズに依らず有効であると考えられる.

$
p_{\mathrm{F}_{1}=\mathrm{F}_{2}}=\frac{\text { 同じフレームに属する } \mathrm{LU} \text { のペア数 }}{\mathrm{LU} \text { の全ペア数 }}
$

## 3 実験

提案手法の有効性を確認するため，テキスト中の 動詞の意味フレーム推定実験を行った。

## 3.1 実験設定

データセット FrameNet ${ }^{1}$ から，いずれかのフレー ムにおいて 20 以上の用例をもつ LU となっている 動詞，および，該当する LU の用例を抽出し実験に 使用した. LU ごとの用例数は最大 100 件とし, 100 件を越える場合は無作為に 100 件を選択し用いた。抽出された動詞は全部で 1,272 個であり，そのうち 20\%の 255 動詞を開発セットとして，残りの 1,017 動詞をテストセットとして使用した. この際，複数 のフレームを喚起する動詞 2 の割合が開発セットと テストセットで一致するように留意した。なお，開発セットは各種パラメータ，および，文脈化単語埋 め込みとして使用する層の決定に利用した. 表 2 に 作成したデータセットの統計值を示す.

比較モデル 提案手法では， 1 段階目のクラスタ リング法として群平均法による階層型クラスタリン グまたは X-means を，2 段階目のクラスタリング法 としてウォード法または群平均法による階層型ク ラスタリングを用いることから，提案モデルとして これらを組み合わせた計 4 種類のモデルを比較し た.また，1 動詞をそのまま1クラスタとして扱う モデル (1-cluster-per-verb; 1 cpv), 1 動詞を 1 クラスタ (1 cpv')にまとめた上で 2 段階目のクラスタリングを 行うモデルとも比較した.

SemEval2019 の共通タスクのスコアの高かった上位 3 つの先行モデルとの比較も行った. Arefyev ら [5] は，推定対象動詞の BERT の埋め込みを用いて コサイン類似度に基づく群平均法による階層型クラ スタリングをした後，BERTを用いて得た推定対象動詞の言い換え単語による TF-IDFにより特徴量を 生成して，各クラスタを 2 分するクラスタリングを 行っている. Anwar ら [6] は, skip-gram [10] で推定対象動詞の埋め込みと文全体の埋め込みを連結した 表現を用いてマンハッタン距離に基づく群平均法 による階層型クラスタリングを行っている． Ribeiro ら [7] は，推定対象動詞の ELMo の埋め込みを獲得 して Chinese Whispers [11] によるグラフクラスタリ ングを行っている.

2 段階クラスタリングの有用性を確認するため，1 段階でクラスタリングを行うモデルとの比較も行っ た. 1 段階クラスタリングに基づくモデルでは，提案モデルと同様に，文脈化単語埋め込みとして $v_{\mathrm{w}+\mathrm{M}}$ を使用し，重み $\alpha$ は開発セットを用いて調整し， ウォード法または群平均法による階層型クラスタリ ングを用いた. クラスタ数に関しては正解のフレー 数を人手で与え，クラスタ数が正解のフレーム数 と一致した時点でクラスタリングを停止した.

実験設定 評価尺度として，B-Cubed Precision (BCP)，B-Cubed Recall (BCR)，およびその調和平均 である B-Cubed F-score (BCF) と, Purity (PU), Inverse Purity (IPU)，およびその調和平均である F-score (PIF) の 6 つの尺度を利用した. B-Cubed はクラスタ集合 と人手で付与されたフレーム集合の用例の分布に着目した用例単位の評価指標，PU と IPU はそれぞれ クラスタ内のフレームの一貫性と同一フレームによ るクラスタの集中性を評価する指標である。また，文脈化単語埋め込みは, Hugging Face が公開して いる Transformers ${ }^{3}$ に含まれる事前学習済みの BERT

3 https://github.com/huggingface/transformers

} & $1 \mathrm{cpv}$ ' & ウォード法 & 0.8 & 1017 & 164 & $54.8 / 73.1 / 62.7$ & $43.1 / 64.3 / 51.6$ \\

(bert-base-uncased) を利用した。

## 3.2 実験結果

表 3 に FrameNet データセットを用いた実験の結果を示す. SemEval2019 の共通タスクにおいてシス テムの順位付けに使用された BcF で比較した場合， 1 段階目に X-means，2 段階目に群平均法によるクラ スタリングを行う提案モデルが 64.4 となり，全手法 の中で最も高いスコアを達成した．PIFにおいても 最も高いスコアを達成するなど，すべての指標で高 いスコアとなっている。また，2 段階目のクラスタ リングの終了基準に関しても，正解のフレーム数は 393 であるのに対してクラスタ数は 410 であり, 有効に機能していることが確認できる.

マスクされた単語の埋め込みの有用性 全ての 2 段階クラスタリングに基づく手法において $\alpha$ は 0.0 , 1.0 以外の値となっていることから， $v_{\text {WORD }}$ と $v_{\text {MASK }}$ の両方を考慮することが有効であることが確認でき る.また，いずれの手法においても $\alpha$ は 1.0 に近い 值となっていることから，動詞横断的クラスタリン グにおいては $v_{\mathrm{MASK}}$ の方が有用であると考えられる.一方，1 段階クラスタリングに基づく手法における $v_{\mathrm{w}+\mathrm{M}}$ は $\alpha=0.0$ で $v_{\text {WORD }}$ と同じ埋め込みとなってお り，用例全体でクラスタリングする際の $v_{\mathrm{MASK}}$ の有用性は確認できなかった。

2 段階クラスタリングの有用性 2 段階目のクラ スタリング手法として群平均法を用いた場合に全体的に高いスコアとなっており，2 段階クラスタリン グの有用性が確認できる. また， 1 動詞をそのまま 1クラスタとして扱う (1cpv) よりも，1 クラスタに まとめた (1cpv') 後に動詞横断的にクラスタリング を行う 2 段階手法の方が高いスコアとなった. さら
に，1 段階目で $\mathrm{pLU} を$ 生成する際も，1cpv' の後に 群平均法によるクラスタリングを利用するモデルよ りも X-means の後に群平均法によるクラスタリング を利用したモデルが高いスコアとなっており，動詞 ごとの用例クラスタリングも有用であることが確認 できる.

ここで，2 段階目のウォード法によるクラスタリ ングが群平均法によるクラスタリングより全体的に スコアが低いのは， ウォード法がクラスタ内の用例数が増えるほど結合しづらく，全体的にサイズの小 さいクラスタが多くなり，クラスタリング終了条件 がうまく機能せず全体のクラスタ数が実際のフレー ム数より少なくなるためだと考えられる.

## 4 まとめと今後の展望

本研究では，テキスト中の動詞が喚起する意味フ レームの推定において，マスクされた単語の埋め込 みと 2 段階クラスタリングを利用する手法を提案し た.また，FrameNetを用いた評価実験を行い，従来手法より高い精度を達成すること，マスクされた単語の埋め込みおよび 2 段階クラスタリングが有効で あることを示した.

本研究の最終目標はフレーム知識を構築すること であり，このためには動詞の意味フレームを推定す るだけでなく，各フレームが必要とする項の特定， および，項の意味役割の推定が必要となる．今後は 文脈化単語埋め込みをフレーム項の特定，および， その意味役割推定に取り組む予定である。

## 謝辞

本研究の一部は JSPS 科研費 $18 \mathrm{H} 03286$ の助成を受 けたものである.

## 参考文献

[1] Collin F Baker, Charles J Fillmore, and John B Lowe. The berkeley framenet project. In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics (ACL-COLING'98), pp. 86-90, 1998.

[2] Matthew Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACLHLT'18), pp. 2227-2237, 2018.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACLHLT'19), pp. 4171-4186, 2019.

[4] Behrang QasemiZadeh, Miriam R. L. Petruck, Regina Stodden, Laura Kallmeyer, and Marie Candito. SemEval-2019 task 2: Unsupervised lexical frame induction. In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval'19), pp. 16-30, 2019

[5] Nikolay Arefyev, Boris Sheludko, Adis Davletov, Dmitry Kharchev, Alex Nevidomsky, and Alexander Panchenko. Neural GRANNy at SemEval-2019 task 2: A combined approach for better modeling of semantic relationships in semantic frame induction. In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval'19), pp. 31-38, 2019.

[6] Saba Anwar, Dmitry Ustalov, Nikolay Arefyev, Simone Paolo Ponzetto, Chris Biemann, and Alexander Panchenko. HHMM at SemEval-2019 task 2: Unsupervised frame induction using contextualized word embeddings. In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval'19), pp. 125-129, 2019

[7] Eugénio Ribeiro, Vânia Mendonça, Ricardo Ribeiro, David Martins de Matos, Alberto Sardinha, Ana Lúcia Santos, and Luísa Coheur. L2F/INESC-ID at SemEval-2019 task 2: Unsupervised lexical semantic frame induction using contextualized word representations. In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval'19), pp. 130-136, 2019.

[8] Laurens van der Maaten and Geoffrey Hinton. Visualizing data using t-sne. Journal of Machine Learning Research, Vol. 9, pp. 2579-2605, 2008.

[9] Dan Pelleg, Moore, and Andrew W. X-means: Extending k-means with efficient estimation of the number of clusters. In Proceedings of the 17th International Conference on Machine Learning (ICML'O0), pp. 727-734, 2000

[10] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In Advances in Neural Information Processing Systems (NIPS'13), pp. 3111-3119, 2013.

[11] Chris Biemann. Chinese whispers-an efficient graph clustering algorithm and its application to natural language processing problems. In Proceedings of TextGraphs: the First Workshop on Graph Based Methods for Natural Language Processing, pp. 73-80, 2006.


# 事前学習と finetuning の類似性に基づくゼロ照応解析

今野颯人 1 清野舜 2,1 松林優一郎 ${ }^{1,2}$ 大内啓樹 2 乾健太郎 1,2
1 東北大学 2 理化学研究所
\{ryuto, inui\}@ecei.tohoku.ac.jp y.m@tohoku.ac.jp
\{shun.kiyono, hiroki.ouchi\}@riken.jp

## 1 はじめに

日本語や中国語では，述語の項が頻繁に省略され る. ゼロ照応解析 (zero anaphora resolution; ZAR) は そのような項の省略を解析するタスクであり，文の 意味理解のために重要な役割を担っている。図 1 の 日本語における ZAR の例では，「来なかった」とい う述語の主語である「友人」が省略されている。

図 1 日本語におけるゼロ照応解析の例. 省略された項 はゼロ代名詞と呼ばれ， $\phi$ で表される.

この省略の解析にはゼロ代名詞と照応先周辺にあ る文脈的つながりを理解するための常識的知識（照応的知識と呼ぶ）が必要である. 例えば図 1 では,「招待された友人」が「来なかった人」になりやす いといった知識である. 照応的知識を大規模コーパ スから獲得する研究はこれまでにも行われてきた が $[1,2]$, 従来は複数の述語と項のペアで表される イベント間の関係（スクリプト知識）に焦点を絞っ ており，ZARへの効果は限定的であった。

そこで本研究では, この照応的知識獲得の問題に 対して二つの提案を行う。一つは，より広範な文脈表現を扱うための学習方法の提案（知識獲得法の改善）であり，もう一つは，学習した照応的知識を適切に利用する方法の提案 (知識適用法の改善) で ある. 第一に，照応的知識の獲得に焦点を当てた 新たな事前学習タスクである擬似ゼロ代名詞解析 （pseudo zero pronoun resolution; PZERo）を提案する (図 2). PZERO は，生テキストに 2 回以上登場する 名詞句の一つをマスクし，マスクに入る語を文脈か ら選択するタスクである。これは，これまでに照応的知識を必要とするタスクの性能に貢献することが 報告されてきた $[3,4,5]$ 従来の MLM の事前学習方法（cloze タスク [6]）を，より照応関係を直接学習 するように設計し直すもので，広範な文脈表現の間

\author{
生テキスト \\ 男が新入社員を招待したが、新入社員は来なかった。 \\ 擬似ゼロ代名詞解析 (PZERO) \\ 男が新入社員を招待したが、[MASK] は来なかった。
}

図 2 擬似ゼロ代名詞解析（PZERO）の概要

の関係をモデルに与えられる。

第二に，新たな事前学習で獲得した知識を適切に 解析へ適用するため，事前学習とタスク形式をそろ えた ZAR モデル，擬似ゼロ代名詞に基づく項選択 （argument selection as PZero; AS-PZero）モデルを提案する.これにより, 事前学習と fine-tuning の隔り を緩和し, 事前学習で得た照応的知識を ZARへ適用 することを狙う，提案手法の全体像を図 3 に示す。

実験の結果，我々が提案する事前学習タスクとモ デルを組み合わせることで，日本語 ZAR の性能を 大幅に向上させられることがわかった.

## 2 日本語ゼロ照応解析

日本語 ZAR は, 述語の項を同定する述語項構造解析タスクの一部として定式化されている. 述語項構造解析では, ZARに加え, 述語と直接係り受け関係にある項（DEP）も解析対象であり，それぞれの 述語に対してガ格，ヨ格，二格を同定する。また， ゼロ照応は述語とその項（ゼロ代名詞の照応先）と の位置関係によって以下の三つに分類される。

・文内ゼロ（intra）：項が述語と同じ文内にある.

・文間ゼロ（inter）：述語の文より前方にある.
- 外界ゼロ (exophora): 項が文書内に出現しない.本研究では上記三つとDEPを解析対象とする。

## 3 事前学習：擬似ゼロ代名詞解析

## 3.1 定式化とモチベーション

擬似ゼロ代名詞解析（PZeRo）は，文章中に 2 回以上出現する名詞句のうち 1 箇所をマスクした文章

を受け取り，マスクに入る名詞句の主辞（サブワー ド）を入力テキスト中から一つ選択するタスクとし て定式化する. 図 2 の例では， 2 回出現している 「新入社員」が解析対象となる.このタスクの狙い は，同じ文字列の名詞句が照応関係にあるという強 い仮定を置き，マスクされた名詞句を擬似的にゼロ 代名詞とみなすことで, 生文書から得る大量の訓練事例を用いて照応関係を直接事前学習し，ZARに必要な照応的知識を獲得することである.

モデルは，一つのマスクトークン [MASK]を含む 長さ $T$ の系列 $\boldsymbol{X}=\left(\boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{T}\right)$ を入力として受け取 り，[MASK] に該当する名詞句の末尾のトークンを入力系列から選択する.ここで， $x \in \mathbb{R}^{|\mathscr{V}|}$ は one-hot べ クトル，V は語彙である。また，マスクされた名詞句と同じ表層形をもつ名詞句は全て正解とみなす.

## 3.2 擬似データ作成方法

PZERO の訓練事例の作成方法を述べる. まず，生文書から連続した $n$ 個の文を取得し，サブワード系列へと変換する。このとき， MLM の訓練事例作成方法 [6] に従って, 系列の先頭に [CLS], 文の境界に [SEP] を挿入する. また, 系列の長さがモデルの最大系列長 $T_{\text {max }}$ を超えないように系列の先頭部分を 削って調節する. 次に, 最後の文の中から同じ文字列が大力系列中に 2 回以上出現する名詞句を選択 し，これを一つの $[$ MASK] へと置き換える。

## 3.3 事前学習方法

Transformer ベースの MLM [6] をモデルに用いる. まず，入力系列 $\boldsymbol{X}$ を受け取り，各 $\boldsymbol{x}_{t}$ に対応する $D$次元の埋め込み表現 $e_{t} \in \mathbb{R}^{D}$ を入力層から得る.

$
\boldsymbol{e}_{t}=\boldsymbol{e}_{t}^{\text {token }}+\boldsymbol{e}_{t}^{\text {position }}
$

ここで, $\boldsymbol{e}_{t}^{\text {token }} \in \mathbb{R}^{D}$ は各トークンを表す単語埋め 込み表現, $\boldsymbol{e}_{t}^{\text {position }} \in \mathbb{R}^{D}$ は位置を表す位置埋め込み 表現である. 次に，得られた埋め込み表現の系列 $\left(\boldsymbol{e}_{1}, \ldots, \boldsymbol{e}_{T}\right)$ を, transformer 層によって最終隠れ層 の系列 $\boldsymbol{H}=\left(\boldsymbol{h}_{1}, \ldots, \boldsymbol{h}_{T}\right)$ へとエンコードする. その 後, 各最終隠れ層 $\boldsymbol{h}_{t} \in \mathbb{R}^{D}$ について, そのトークン が [MASK] に入るかどうかを表すスコア $s_{t} \in \mathbb{R}$ を， [MASK] の最終隠れ層 $\boldsymbol{h}_{\text {mask }}$ との計算によって得る.

$
s_{t}=\left(\boldsymbol{W}_{1} \boldsymbol{h}_{t}+\boldsymbol{b}_{1}\right)^{\top} \cdot\left(\boldsymbol{W}_{2} \boldsymbol{h}_{\text {mask }}+\boldsymbol{b}_{2}\right) .
$

$\boldsymbol{W}_{1}, \boldsymbol{W}_{2} \in \mathbb{R}^{D \times D}$ と $\boldsymbol{b}_{1}, \boldsymbol{b}_{2} \in \mathbb{R}^{D}$ は学習パラメータで ある.これよりスコア系列 $\boldsymbol{s}=\left(s_{1}, \ldots, s_{T}\right)$ を得る.

図 3 提案手法の概要

訓練では，正解となるトークンのスコアが最大と なるようモデルを学習する．損失関数にはカルバッ ク・ライブラー情報量 $\mathscr{L}=\operatorname{KL}(Y|| \operatorname{softmax}(s))$ を用 いる. $Y \in \mathbb{R}^{T}$ は正解の位置を表す確率分布であり，正解となるトークンが $n$ 個存在する場合，正解の位置には $1 / n$ が，それ以外には 0 が割り当てられる。

## 4 Fine-tuning：ゼロ照応解析モデル

## 4.1 ラベル確率に基づく項選択モデル

我々のベースラインであるラベル確率に基づく項選択（argument selection with label probability; AS）モ デルは，Kurita ら [7] のモデルをべースとしており，事前学習済みモデルの上に分類層を追加したもので ある. モデルは, 系列 $\boldsymbol{X}$ と述語の区間を表す $p_{\text {start }}$, $p_{\text {end }}$ を大として受け取り, 述語の $l$ 格の項となる 単語を $X$ から一つ選択する。ここで, $l$ はガ， ヨ,ニ のいずれかを表す. 事前学習時の入力と同様，入力系列 $\boldsymbol{X}$ は [CLS] と [SEP] を含んだ複数の文から構成 され, 最大系列長は $T_{\text {max }}$ である. 対象述語は常に末尾の文に存在する. また，述語の項が入力系列 $\boldsymbol{X}$ に 存在しない場合にはモデルに [CLS] を選択させる。

まず，入力系列 $X$ を受け取り，各 $\boldsymbol{x}_{t} \in\{0,1\}^{|\mathscr{V}|}$ に 対応する埋め込み表現 $\boldsymbol{e}_{t} \in \mathbb{R}^{D}$ を入力層から得る.

$
\boldsymbol{e}_{t}=\boldsymbol{e}_{t}^{\text {token }}+\boldsymbol{e}_{t}^{\text {position }}+\boldsymbol{e}_{t}^{\text {predicate }}
$

ここで， $\boldsymbol{e}_{t}^{\text {token }}$ と $\boldsymbol{e}_{t}^{\text {position }}$ は（1）式と同様であり, 新 たに導入した $e_{t}^{\text {predicate }} \in \mathbb{R}^{D}$ は, $t$ 番目のトークンが 述語かどうかを表す埋め込み表現である。 入力層の 操作を図 4 に示す. 次に, 各埋め込み表現 $e_{t}$ から最終隠れ層 $\boldsymbol{h}_{t} \in \mathbb{R}^{D}$ を事前学習済みの transformer 層を 用いて得る. その後, 入力系列に対するラベル $l$ の 確率分布 $\boldsymbol{o}_{l}=\left(o_{l, 1}, \ldots o_{l, T}\right) \in \mathbb{R}^{T}$ を分類層から得る.

$
o_{l, t}=\frac{\exp \left(\boldsymbol{w}_{l}^{\top} \boldsymbol{h}_{t}+b_{l}\right)}{\sum_{t} \exp \left(\boldsymbol{w}_{l}^{\top} \boldsymbol{h}_{t}+b_{l}\right)} .
$

ここで， $\boldsymbol{w}_{l} \in \mathbb{R}^{D}$ と $b_{l} \in \mathbb{R}$ はモデルパラメータであ

図 4 AS と AS-PZERO における入力層. AS-PZERO にはクエリフレーズが存在. 対象述語の位置の与え方が異なる.

表 1 NTC 1.5 の評価セットにおける，入力が 1 文のみの

設定での $\mathrm{F}_{1}$ 值.

る．最後に，確率分布 $o_{l}$ に従って，確率が最大とな るトークンを述語の項 $l$ として一つ選択する。

モデルが [CLS]を選択した場合，さらに項を 4 つのカテゴリ $z \in\{$ author, reader, general,none\} へ分類する。ここで，author, reader, general は外界ゼロの細分類を, none は項が存在しないこ とを表す. 各カテゴリに対する確率分布 $o_{l}^{\text {exo }}=$ $\left(o_{l, \text { author }}^{\text {exo }}, o_{l, \text { reader }}^{\text {exx }}, o_{l, \text { general }}^{\text {ex }}, o_{l, \text { none }}^{\text {exx }}\right) \in \mathbb{R}^{4}$ は, 分類層に より [CLS] の最終隠れ層 $\boldsymbol{h}_{1}$ から得る。

$
o_{l, z}^{\operatorname{exo}}=\frac{\exp \left(\boldsymbol{w}_{l, z}^{\top} \boldsymbol{h}_{1}+b_{l, z}\right)}{\sum_{z} \exp \left(\boldsymbol{w}_{l, z}^{\top} \boldsymbol{h}_{1}+b_{l, z}\right)}
$

$\boldsymbol{w}_{l, z} \in \mathbb{R}^{D}$ と $b_{l, z} \in \mathbb{R}$ はモデルパラメータである.

学習時は，項を構成する末尾のトークンに正解ラ ベルを割り当てる，共参照関係によって正解の項が 複数存在する場合は，全ての正解となる項にラベル を割り当てる．また， 3.3 節と同様に，正解を表す 確率分布 $\boldsymbol{Y} \in \mathbb{R}^{T}$ を作成し, 正解となるトークンの 確率が高くなるようにモデルを学習する。

## 4.2 擬似ゼロ代名詞に基づく項選択モデル

AS モデルは，事前学習で得られた（2）式のパラ メータ（ $\left.\boldsymbol{w}_{1}, \boldsymbol{w}_{2}, b_{1}, b_{2}\right)$ を使わず，（4）式により新た なパラメータ $\left(\boldsymbol{w}_{l}, b_{l}\right)$ を用いて学習するため，事前学習によって獲得した照応的知識を効果的に使 えていない可能性がある. 我々が提案する擬似ゼロ 代名詞に基づく項選択（argument selection as PZERO; AS-PZERO）モデルは，PZERO で訓練されたパラメー タを使い，ZARをPZEROとして解析する。具体的に は，ZAR の入力系列 $\boldsymbol{X}$ に [MASK]を含んだフレーズ を挿入し，PZERO と同様の形式で述語の項を解析す る.このモデルは事前学習と finetuning の隔りを緩和する既存研究 $[9,10]$ から着想を得たものである.
AS-PZERO モデルの入力系列を $\boldsymbol{X}^{\prime}$ とする。図 4 に 示すように， $\boldsymbol{X}^{\prime}$ は $\boldsymbol{X}$ の末尾にクエリフレーズを挿入することで得られる. クエリフレーズによって， モデルは [MASK]に該当する単語を入力系列から選択する PZERO と同様の形式で ZAR を解析できる. クエリフレーズは（1）[MASK]，（2）項を表す格助詞 （が・を・に），（3）対象述語から構成される。対象述語を構成するトークン数を $T_{\text {predicate }}$ とすると， $X^{\prime}$ の系列長は $T+2+T_{\text {predicate }}$ である ${ }^{1)}$.

まず，入力系列 $\boldsymbol{X}^{\prime}$ を受け取り，各 $\boldsymbol{x}_{t} \in\{0,1\}^{|V|}$ に対応する埋め込み表現 $\boldsymbol{e}_{t} \in \mathbb{R}^{D}$ を得る。

$
\boldsymbol{e}_{t}=\boldsymbol{e}_{t}^{\text {token }}+\boldsymbol{e}_{t}^{\text {position }}+\boldsymbol{e}_{t}^{\text {addposi }}
$

象述語の位置をモデルへ与えるために新たに用意し たものである. $\boldsymbol{e}_{t}^{\text {addposi }}$ は $1 \leq t \leq T+2$ では $\mathbf{0} \in \mathbb{R}^{D}$ を，それ以外では $\boldsymbol{e}_{T+3+m}^{\text {addposi }}=\boldsymbol{e}_{p_{\text {start }}+m}^{\text {position }}$ をとる. ここで， $m \in \mathbb{N}$ は $0 \leq m<T_{\text {predicate }}$ を満たす. 例えば図 4 で は，“確かめ”と“\#\#る”の2つから構成される対象述語について，それぞれのトークンの位置埋め込み 表現がクエリフレーズのそれぞれのトークンへと加算されている。この操作により，対象述語の位置を モデルへ与えることができる.

埋め込み表現を得た後の計算は 3.3 節と同様であ る. [CLS]トークン $\left(x_{1}\right)$ のスコアが最も高かった 場合，モデルは外界ゼロについて，4.1 節における 式（5）と同様に計算を行う。

## 5 実験設定

PZERo データセット 日本語 Wikipedia を PZERO の 訓練データとして使用した. コーパス中の全名詞句 を解析対象とし，係り受け解析器 Cabocha [11] の解析結果から品詞を用いたルール 2$)$ によって名詞句を 同定した. 入力系列に用いる文数 $n$ の最大值は 4 と した. 事例数は約 1740 万となり，うち約 3000 を開発セット，残りを訓練セットとした。

ZARデータセットNAIST Text Corpus(NTC) 1.5 [12,

1） $\boldsymbol{X}$ は事前に最大系列長 $T_{\max }$ を超えないように調整する.

2）名詞句同定のルールについては付録 A に詳細を示す。
表 2 NTC 1.5 の評価セットにおける，入力が複数文の設定での $F_{1}$ 值.太字の值は各列における最高性能を示す. (h) か ら (k) における $\mathrm{F}_{1}$ の性能向上は，全ての ZAR のカテゴリで統計的に有意差が見られた.

} & \multicolumn{2}{|c|}{ 事前学習 2} & \multicolumn{2}{|c|}{ finetuning } & \multicolumn{4}{|c|}{ ZAR } & \multirow[t]{2}{*}{ DEP } & \multirow[t]{2}{*}{ All } \\

13] を使用した ${ }^{3}$ ．評価スクリプトには Matsubayashi ら [8] と同様のものを使用した.

モデル モデルの実装には Transformer ライ ブラリ[14]を使用し，パラメータ初期值に bert-base-japanese を用いた ${ }^{4)}$. 実験では，5つ の異なるシード値の平均で比較を行った.

## 6 実験結果・分析

実験では（1）PZEROによる事前学習の効果と（2） AS-PZERo による finetuning の効果を調べる. 以下の 2 つ設定で実験を行った.

1. 入力が 1 文のみ: 既存研究の多くはこの設定で 実験を行っている $[8,15,5]$. 既存研究と我々の モデルを同様の設定において比較する．intra と DEP が評価の対象となる.

2. 入力が複数文: 述語を含む文とその前方文が入力となる. intra, inter, exophora, DEPが評価の 対象となる。

入力が 1 文のみ 事前学習済みモデルから finetuning した AS モデルと AS-PZERO モデルの結果を表 1 に 示す. 結果より, 我々のモデルは intra と DEP の両方で既存の最高性能 [5] を大きく上回っており，性能が十分高いことを示している.

入力が複数文 PZEROによる事前学習の効果を調べ るため，3つの事前学習済みモデルを用意する.ま ず，事前学習 1 によって，事前学習済みモデル（モ デル 1）を用意する．そこからさらに，事前学習 2 によって，cloze タスクと PZero，それぞれ同じ更新回数で事前学習する (モデル $2 \& 3$ ). 3 つの事前学習済みモデルから，AS と AS-PZERO でそれぞれ finetuning し，合計 6 つのモデルを用意した. その結果を表 2 に示す.

（1）文脈を与えることで intra と DEP の性能は向上 するか？（f)，（g）のモデルは表 1 の（d），（e）と

3） 使用したデータセットの統計は付録 B に示す.

4）使用したハイパーパラメータは付録 Cに示す.
それぞれ同じモデルであり，入力文の数だけが異な る.これら 4 つのモデルにおける intra と DEP につ いて比較すると，たとえ解析対象が文内のみに限っ たとしても，文脈を与えることで性能を向上させら れることがわかる. これは既存研究 $[16,17]$ の結果 とも一致する。

（2）AS の性能は PZERO による事前学習で向上する か？ PZERO で事前学習したモデル（j）は cloze タ スクで事前学習したモデル（h）よりも ZAR の性能 で上回っており，特に文間ゼロ（inter）で大きな向上を示している $(44.98 \rightarrow 46.37)$. 文間ゼロは項の 候補が多いうえ，統語的手がかりが少なく，解析に 意味的な理解が必要である. 文間ゼロの性能向上 は，モデルが PZERO による事前学習によって照応的知識をより獲得していることを示唆している.

(3) PZERO と AS-PZero の組み合わせで性能は向上するか？ finetuningの方法だけが異なる，モデ ル（j）と（k）を比較する.（k）は全てのカテゴリ で（j）を上回っており，さらにDEP を除いた全て のカテゴリで最も性能が高かった。この結果は, AS-PZERO と PZERO を組み合わせることで事前学習 と finetuning の隔りをうまく緩和でき，事前学習で 獲得した照応的知識を ZARへうまく適用できるこ とを示唆している。

## 7 おわりに

本稿では，日本語における ZAR に取り組んだ。 ZAR に必要な照応的知識を生コーパスから獲得す るための新たな事前学習タスクである PZERO と，事前学習で得た知識をうまく ZAR へ適用するための AS-PZERO モデルを提案した. 実験結果より，両者 を組み合わせることで世界最高性能を達成した。

## 謝辞

本研究は JSPS 科研費 JP19H04425，JP19K12112 の 助成を受けたものです.

## 参考文献

[1]Nathanael Chambers and Dan Jurafsky. Unsupervised Learning of Narrative Schemas and their Participants. In ACL and IJCNLP, pages 602-610, 2009.

[2]Mark Granroth-Wilding and Stephen Clark. What Happens Next? Event Prediction Using a Compositional Neural Network Model. In AAAI, pages 2727-2733, 2016.

[3]Abdulrahman Aloraini and Massimo Poesio. Cross-lingual Zero Pronoun Resolution. In Nicoletta Calzolari, Frédéric Béchet, Philippe Blache, Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Asunción Moreno, Jan Odijk, and Stelios Piperidis, editors, $L R E C$, pages 90-98, 2020.

[4]Linfeng Song, Kun Xu, Yue Zhang, Jianshu Chen, and Dong Yu. ZPR2: Joint zero pronoun recovery and resolution using multi-task learning and BERT. In $A C L$, pages 5429-5434, July 2020.

[5]Ryuto Konno, Yuichiroh Matsubayashi, Shun Kiyono, Hiroki Ouchi, Ryo Takahashi, and Kentaro Inui. An Empirical Study of Contextual Data Augmentation for Japanese Zero Anaphora Resolution. In COLING, pages 4956-4968, December 2020.

[6]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In $N A A C L$, pages 4171-4186, 2019.

[7]Shuhei Kurita, Daisuke Kawahara, and Sadao Kurohashi. Neural Adversarial Training for Semi-supervised Japanese Predicate-argument Structure Analysis. In $A C L$, pages 474484, 2018.

[8]Yuichiroh Matsubayashi and Kentaro Inui. Distance-Free Modeling of Multi-Predicate Interactions in End-to-End Japanese Predicate-Argument Structure Analysis. In COL$I N G$, pages 94-106, 2018.

[9]Zhilin Yang, Zihang Dai, Yiming Yang, Jaime G. Carbonell, Ruslan Salakhutdinov, and Quoc V. Le. XLNet: Generalized Autoregressive Pretraining for Language Understanding. In Hanna M. Wallach, Hugo Larochelle, Alina Beygelzimer, Florence d'Alché-Buc, Emily B. Fox, and Roman Garnett, editors, NeurIPS, pages 5754-5764, 2019.

[10]Suchin Gururangan, Ana Marasovic, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, $A C L$, pages 8342-8360, 2020.

[11]Taku Kudo and Yuji Matsumoto. Japanese Dependency Analysis using Cascaded Chunking. In CoNLL, 2002.

[12]Ryu Iida, Mamoru Komachi, Naoya Inoue, Kentaro Inui, and Yuji Matsumoto. Annotating Predicate-Argument Relations and Anaphoric Relations: Findings from the Building of the NAIST Text Corpus. Natural Language Processing, 17(2):25-50, 2010.

[13]Ryu Iida, Mamoru Komachi, Naoya Inoue, Kentaro Inui, and Yuji Matsumoto. NAIST Text Corpus: Annotating PredicateArgument and Coreference Relations in Japanese. In Handbook of Linguistic Annotation, pages 1177-1196. Springer,
2017.

[14]Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In EMNLP demo, pages 38-45, 2020.

[15]Hikaru Omori and Mamoru Komachi. Multi-Task Learning for Japanese Predicate Argument Structure Analysis. In NAACL, pages 3404-3414, 2019.

[16]Chaoyu Guan, Yuhao Cheng, and Hai Zhao. Semantic Role Labeling with Associated Memory Network. In NAACL, pages 3361-3371, June 2019.

[17]Tomohide Shibata and Sadao Kurohashi. Entity-Centric Joint Modeling of Japanese Coreference Resolution and Predicate Argument Structure Analysis. In ACL, pages 579-589, 2018.

[18]Hirotoshi Taira, Sanae Fujita, and Masaaki Nagata. A Japanese Predicate Argument Structure Analysis using Decision Lists. In EMNLP, pages 523-532, 2008.

[19]Diederik Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In ICLR, 2015.
表 3 NAIST Text Corpus 1.5 の統計情報

## A 名詞句同定のルール

本稿では，PZERO の解析対象をルールによって同定した名詞句とした. 名詞句の同定には，係り受け 解析器である Cabocha [11] で解析を行い, 以下の品詞タグによるルールを用いた。

1. cabocha で文節に区切る.

2. 名詞は存在するが動詞は存在しない文節を選択する。ここで，名詞句の始点を $q_{\text {start }} ＼mathrm{~ 終 点 を ~}$ $q_{\text {end }}$ とする.

3. 文節の終点から始点へと順に単語を見ていき,名詞または名詞性名詞接尾辞に属する単語を 発見した段階で，その単語の位置を $q_{\mathrm{end}}$ と定 める.

4. 文節の始点から終点へと順に単語を見ていき,記号以外の単語を発見した段階で，その単語の 位置を $q_{\text {start }}$ と定める。
5. $q_{\text {start }}$ から $q_{\mathrm{end}}$ までの単語に “始まりの括弧” が 含まれていた場合， $q_{\mathrm{end}}$ をと括弧の一つ前の 単語の位置とする.
6. $q_{\text {start }}$ から $q_{\text {end }}$ までの単語が名詞句候補となる.名詞句の候補が, 記号・英語・数字のみで構成 されていた場合は名詞句候補から除外する。ま た，名詞句候補が“もの”，“こと”，“ため”，“何”，“誰”のいずれかであった場合も名詞句候補から除外する。

## B データセットの統計情報

本稿では，NAIST Text Corpus（NTC） 1.5 [12,13] を使用した．また，Taira らの分割法 [18] に従って，訓練・開発・評価セットを作成した. その統計情報 を表 3 に示す.

## C ハイパーパラメータ

表 4 に実験のハイパーパラメータの設定を示す.表 4 ハイパーパラメータ

 \\