# 日本語 BERT による否定要素認識についての分析

蘆田 真奈 平澤 寅庄 金子正弘 小町守
東京都立大学
\{ashida-mana, hirasawa-tosho, kaneko-masahiro\}@ed.tmu.ac.jp
komachi@tmu.ac.jp

## 1 はじめに

言語を理解するさい、文中において否定を表す要素（否定要素）を正しく認識する能力は必要不可欠 である。一方で、言語モデルにとっては否定要素が 否定要素であるということは必ずしも自明ではな い。日本語において否定を表す表現は「ない・ん・ ず」などがあるが、修辞技法や慣用句に含まれる 「ない・ん・ず」は否定要素として使用されないケー スも数多くあり、表層形の知識や構文の理解はもち ろん、文脈の理解も必要とされる。

近年、自然言語処理では事前学習済み大規模 ニューラル言語モデルが多くのタスクにて高い精度 を出し、脚光を浴びている $[1,2]$ 。一方でニューラ ルネットワークを用いたアーキテクチャはブラック ボックスなどとも言われ、その振る舞いの解釈は困難である。そのような背景から、ニューラルモデル の内部メカニズムがどれほど人間の言語に関する知識を獲得できているかを調べる研究 (Probing) が数多く提案されている $[3,4,5]$ 。これらの研究を通じ て、現時点でのニューラル言語モデルの得手不得手 についての新たな知見が得られつつある。

今回の研究ではニューラル言語モデルの中 でも、特に Bidirectional Encoder Representations from Transformers (BERT) [1] がどの程度、否定要素を認識 できるのかについて、日本語 BERT を用いて否定要素認識タスクを行うことで評価する。また、Probing タスクとして、日本語 BERT に否定要素がマスクさ れた文を与えた場合に、BERT が否定要素を予測で きるか、及びできない場合に何と予測するかについ て調査する。BERT による予測結果を分析すること で、BERT が何を手がかりにして否定要素を認識し ているかについて考察する。最後に、否定に関わる 統語情報についての知識が獲得されているかにつ いて、否定極性項目（Negative Polarity Items (NPIs))
と否定要素の関係性に着目して分析を行う。

## 2 関連研究

日本語の否定コーパス 日本語の自然言語処理に おいて、否定要素に限定して行われた研究には松吉 ら $[6,7]$ などがある。[6] は否定要素のアノテーショ ンを付与したコーパスの作成についての報告であ る。[7]では [6] のコーパスをデータセットとし、否定要素があらかじめ検出されている文に対して統語情報を与えた上で否定焦点を検出するシステムを構築している。本稿では、否定焦点の検出ではなく否定要素の検出を日本語 BERT を用いて行うために コーパスを用いる。

BERTを用いた英語の否定要素認識 日本語 BERT を用いた否定要素認識こそ行われていないも のの、英語ではいくつかの BERT を用いた否定要素認識の研究がある。多くは*SEM (Joint Conference on Lexical and Computational Semantics) の Shared Task での Sherlock データセット [8]もしくは医療分野の コーパス（the BioScope Corpus[9]）を使用したタスク である。NegBERT [10] は否定要素と否定のスコー プのアノテーションがなされたコーパスで fine-tune された BERT であり、文を入力とし、否定要素を検出することができる。[11] は Conversational Question Answering (CoQA) タスクにおいて、NegBERT を用 いて系列の否定要素を明示することでモデルの性能 が上がることを報告している。

BERT の英語の否定の理解性能 BERT がどのよ うなメカニズムで色々なタスクにおいて良い性能を 出すことができるのかについての研究が盛んに行わ れており、その研究の中には否定の理解に関するも のもいくつかある。例えば、[12] や [13] では空欄補充タスクを用いて BERT が否定の働きについて捉え ているかどうかを検証している。「Aが Xである。」、 と「AはXではない。」という文脈において、Xを空
欄とした場合にどちらの場合にも Xには A の上位概念（hypernym）を候補としてあげてしまうことか ら、BERT は否定が含まれた文脈では正しい推論が できていないと結論づけている。今回の研究では、肯定と否定文のペアを作成するのではなく、実際に コーパスに出現する文を用い、BERT が否定要素を 正しく予測できるかについて検証する。

言語モデルの英語の NPIs についての分析 NPIs とは文の否定要素と共起することを必要とする項目 のことであり、その制約ゆえ、言語学者の間では広 く議論されてきた[14]。NPIs には自然言語処理の文脈では、NPIs が否定要素を伴わない場合、その文 が非文法的になることを用いて、言語モデルに文の 文法性を判断させることで言語モデルが NPIs に関 わる統語的制約を学習しているかを検証している $[15,16]$ 。日本語の NPI の例としては『しか』などが あげられる。以下はしかが文法的である場合とそう でない場合の例である。

・太郎は 野菜『しか』食べない。

・*太郎は野菜『しか』食べる。

ここで『しか』は Licensor と呼ばれる文の否定要素ないのスコープのなかに存在するときにのみ文法的である。

## 3 否定要素認識

否定要素認識タスクは医療分野での言語処理 （Biomedical NLP）に端を発する [17]。自然言語処理 における否定認識 (negation detection) は 2 段階の タスクからなる。まず、文中の否定要素 (negation trigger, negation cue）を検知する。日本語では「な い」や「ず」に当たる。次に、否定が及ぶ範囲を 同定する。これは否定のスコープの認識 (negation scope detection, negation scope resolution）とも言われ る。さらに、否定の焦点（focus of negation）は否定 のスコープの中でも、特に否定されている要素のこ とをいう。否定の焦点検知についての研究は $[8]$ で の Shared Task に関するものがある。今回の研究で は否定要素の認識に取り組む。

## 3.1 データセット

今回のタスクで使用するコーパス [6] は「現代日本語書き言葉均衡コーパス」 $(\mathrm{BCCWJ})^{1)}$ のコアデー タの新聞のうち Aグループを対象に否定要素と否定 の焦点をアノテーションしたものである。

1) https://pj.ninjal.ac.jp/corpus_center/bccwj/

図 1 BERT による否定要素認識

・十七日まで選手にも協会関係者にも明かさな い。[PN2f_00002]

という例文において、否定要素は「ない」であり、否定の焦点は「十七日まで」である。また、否定の スコープは「十七日まで選手にも協会関係者にも明 かさ」で表現される事象であると考えられる [6]。 ただし、今回の研究では否定要素のみに注目する。

このコーパスの全 2807 文のうち、 $80 \%$ を訓練デー タ、10\%を開発データ、 $10 \%$ 評価データとして用 いた。コーパスの全文に対して mecab-ipadic-neologd を用いて単語分割を行った。これは使用した日本語 BERT の訓練時の分割方式と一致させるためであ る。ラベルはコーパスに従って付与した。

## 3.2 否定要素認識器の作成方法

否定要素認識器の作成にあたっては、否定要素を neg、それ以外を neutral とラベル付けする系列ラべ リングのタスクを設定し、日本語 BERT の fine-tune を行なった。今回、neutral 以外のラベルは複数の トークンにまたがっていないため、先頭や終わりを マークせず上述の 2 つのラベルのみを使用した。図 1 は BERT を用いた認識器及び入力のイメージであ る。BERT の中間層の上にランダムに初期化された 出力層を重ね、系列ラベリングを訓練させた。

## 3.3 実験

実験設定 本稿では東北大が公開した日本語 BERT モデル2)を用いて実験を行った。BERT の dense layer と出力層の両方を fine-tune したモデル （fine-tuned）と BERT の embedding の重みを更新し ないモデル（frozen）を用いた。訓練の epoch 数は 10 回とし、 $F_{1}$ スコアをモデル選択時の指標として、推論時には開発データの $F_{1}$ スコアが一番良いモデ ルを使用した。

実験結果 図 1 は 5 回シードを変えて実験を行っ て得られた精度・再現率・ $F_{1}$ スコアの平均を示し たものである。テストデータ内に「ない・なく・な

2) https://huggingface.co/cl-tohoku/bert-base-japanese

かっ・なけれ・ぬ・ん・ず」は計 28 回出現し、その うち neg ラベルが付与されていたのは 16 個である ので、どちらのモデルについても単純な表層形のみ について分類を行うよりは精度が高くなっている。 frozen モデルは fine-tuned と比べてわずかに性能が 良く、これには fine-tuned モデルが過学習している 可能性が考えられる。

## 3.4 エラー分析

BERT は「違いない」「似ても似つかぬ」「暴力 に暴力で向かってはいけない」「やる気をなく す人」などの否定として機能していない要素を否定 と捉えるエラーを出していた。「違いない」「似ても 似つかぬ」「いけない」のケースは慣用表現であり、「ない」が文否定として働いていないにも関わらず、 そのことが捉えられていないからだと考えられる。 このことから、BERT はトークンの一部が慣用表現 の一部なのか、文の要素として機能しているのかを 認識できていないということが示唆される。

一方で、否定を捉えられていないケースには「珍 しくなかった」というケースがあり、5 回試行した うちの 1 度の試行で存在した。ただし、テストデー タには「なかっ」は 3 回出現していた。

## 4 日本語 BERTによる否定要素予測

3 節の実験では fine-tune された日本語 BERT が否定要素を認識できるかについて検証した。この節で は fine-tune を行っていない BERT が否定要素を正し く予測できるかについて分析する。これはニューラ ル言語モデルの Probing の研究で行われている、言語モデルをブラックボックスとみなし、異なる入力 を与えた際の出力からモデルの性質を分析するとい うアプローチ $[18,16]$ の系譜を踏むものである。

## 4.1 分析方法

まず 3 節の実験で用いたコーパスに含まれる 303 個の否定要素について、否定要素を含む文を抽出 し、否定要素をマスクした文を BERT にインプット として与え、BERT にマスクされたトークンを予測 させた。予測に際しては Transformers から利用可能
な fillmaskpipeline ${ }^{3)}$ を利用した。予測されたトーク ンが不正解であった場合について分析する。

## 4.2 分析結果

303 個の否定要素のうち、予測が不正解であった のは 66 個であった（付録 A)。

動詞との関連性 不正解のうち、11 個について観察された事象は、BERT が「ない」と「ある」の両方に対して比較的高い尤度を与えているというもの であった。以下はそのような例の一つである。

・罪のある（正：ない）記者が次々死ぬのを見る と、戦争の意図がクリーンではないことがよく 分かる」[PN3a_00002]

日本語においては「ある」という存在の動詞の否定形が「ない」であり、他の一般動詞の否定形のよ うに「動詞の未然形＋ない」の統語構造を持たず、動詞の活用形から接続を予測することが困難である ことが誤答の理由のと考えられる。また、一般動詞 の否定形は動詞の未然形に接続するが、同じく未然形に接続する助動詞である「せる」にも比較的高い 尤度を付与していたケースもあった。統語構造の観点からは、一段活用の場合には未然形と連用形が同 じであるために五段活用と比較してさらに多くの選択肢が存在することから、BERT にとっても困難で ある可能性がある。このように、動詞の接続から一意に否定が導かれない場合における曖昧性の解消の ためには BERT がより正確に文脈を考慮する必要が あるだろう。

否定の接頭辞 次に多くみられた不正解の予測は 否定の接頭辞を正しく予測することができていない という 16 の事象である。例えば、「就学児」の否定形は「不就学児」であるが BERT は「未就学児」で あると予測した。これは「不就学」と比較して「未就学」という言葉が使われる頻度が高いからである と考えられる。また以下の例のように、「不可能」 を「ほとんど可能」と予測するなど、正反対の予測 をする場合も観察された。

・(前略）もはや民間まかせでは過剩債務処理はほとんど（正：不）可能ということだ。 [PN1b_00004]

このことからも BERT は否定の働きを理解できてい ないことが考えられる。

加えて、「無得点」を「連続得点」「不干涉」を 「相互干涉」と予測していて、他の結びつきが強い 名詞を選んで複合名詞を予測していると考えられ る。ただし、「無得点」に関しては、直前に「依然・ まだ」という言葉がある場合には正しく予測するこ とができ、これは BERT がマスクされたトークンの 直前の文脈を考慮することができていることを示す ものと考えられる。

## 5 日本語 NPIs に関する分析

この節では日本語 NPIs についての分析を行う。先行研究で示した NPIs に関する研究ではデータ セットを構築し、BERT に文法性を判断させていた が、ここでは既存のコーパスを使用し、以下のよう な方法を用いて分析を行う。

## 5.1 分析方法

まず 3 節で用いたコーパスのうち、「ない」を含む 文を抽出し、その後、日本語の NPIs である副詞の 「さほど・それほど・そんなに・ろくに・だてに・二度と・あまり・しか・そんな・ろくな」などを含む 文とそうでない文に分類した。用いた文全体に「な い」は 214 個存在しており、そのうち 43 個が否定 の機能を持たない「ない」であり、 171 個が否定要素の「ない」であった。否定要素の「ない」のうち、 NPI と共起するものは 8 つであり、そのうちの 5 つ が「しか」との共起であり、残りの 3 つはそれぞれ 「そんな・そんなに・それほど」との共起であった。

3.4 で述べたように、コーパスには否定として機能していない「ない」が存在する。BERTが NPIs に 関する統語的制約についての知識を持っているとす れば、中間層のレベルで、否定として機能していな い「ない」と明確に区別されているのではないかと 考えた。

そのことを検証するため、抽出した各文の「ない」 というトークンの BERT の中間層の第 1 層を t-SNE アルゴリズムを用いて可視化した。ラベルは neutral の「ない」(neutral)、negの「ない」で NPI と共起し ている場合 (neg_npi)、negの「ない」でNPI と共起 しない場合（neg_non_npi）である。

## 5.2 分析結果

図 2 は日本語 BERT の第 1 層目の中間層を $\mathrm{t}$-SNE で可視化したものである。右の方に否定の「ない」 のクラスターができているように見えるが、NPI と

図 2 異なるラベルを付与された「ない」の分布

共起した否定要素の「ない」がクラスターになって いることは観察できなかった。このことから文中の NPI の存在と否定要素の結びつきに関しては特別な 情報を共有していないことが示唆される。

また、[3]によれば BERT は深い層より浅い層で 表層的・統語的な情報を学習しており、[19]によれ ば、浅い層に比べて深い層で文脈依存の情報が扱わ れると報告されていて、実際により深い層において は分布にばらつきが存在していた（付録 B)。

今後は日本語 NPIs を用いて非文と文法的な文の ペアを用意し BERT に文の尤度を出力させるなどし てより詳細に検証していきたい。

## 6 おわりに

本稿では事前学習済みニューラル言語モデル BERT の否定要素認識性能に着目した。今後は否定要素だけでなく、否定のスコープをアノテーション することにより BERT がスコープを同定できるかに ついても詳しく検証していきたい。

否定要素の予測については、ある熟語に対して反意語を作る際に正しい接頭辞を予測できるかどうか で BERT を評価するタスクなどを行い、BERT が否定の接頭辞についてどのような傾向を示すかについ ても研究を進めていきたい。また、BERTが動詞の 接続などの統語情報以外のどのような知識を用いて 否定を認識しているのかについても研究を進めてい きたい。

日本語 NPIs については、他言語での先行研究に 準じ、データセットの構築を行って BERT による文法性判断をもとに BERT の統語構造に関連する知識 についての研究を進めていきたい。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[3] Ganesh Jawahar, Benoît Sagot, and Djamé Seddah. What does BERT learn about the structure of language? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3651-3657, Florence, Italy, July 2019. Association for Computational Linguistics.

[4] Ian Tenney, Dipanjan Das, and Ellie Pavlick. BERT rediscovers the classical NLP pipeline. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4593-4601, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Nelson F. Liu, Matt Gardner, Yonatan Belinkov, Matthew E. Peters, and Noah A. Smith. Linguistic knowledge and transferability of contextual representations. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1073-1094, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] 松吉俊. 否定の焦点情報アノテーション. 自然言語処理, Vol. 21, No. 2, pp. 249-270, 2014.

[7] 大槻諒, 松吉俊, 福本文代. 否定の焦点コーパスの構築と自動検出器の試作. 言語処理学会第 19 回年次大会論文集, pp. 936-939, 2013.

[8] Roser Morante and Eduardo Blanco. *SEM 2012 shared task: Resolving the scope and focus of negation. In *SEM 2012: The First Joint Conference on Lexical and Computational Semantics - Volume 1: Proceedings of the main conference and the shared task, and Volume 2: Proceedings of the Sixth International Workshop on Semantic Evaluation (SemEval 2012), pp. 265-274, Montréal, Canada, 7-8 June 2012. Association for Computational Linguistics.

[9] György Szarvas, Veronika Vincze, Richárd Farkas, and János Csirik. The BioScope corpus: annotation for negation, uncertainty and their scope in biomedical texts. In Proceedings of the Workshop on Current Trends in Biomedical Natural Language Processing, pp. 38-45, Columbus, Ohio, June 2008. Association for Computational Linguistics.

[10] Aditya Khandelwal and Suraj Sawant. NegBERT: A transfer learning approach for negation detection and scope resolution. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 5739-5748, Marseille, France, May 2020. European Language Resources Asso- ciation.

[11] Ieva Staliūnaite and Ignacio Iacobacci. Compositional and lexical semantics in RoBERTa, BERT and DistilBERT: A case study on CoQA. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7046-7056, Online, November 2020. Association for Computational Linguistics.

[12] Allyson Ettinger. What BERT is not: Lessons from a new suite of psycholinguistic diagnostics for language models. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 34-48, 2020.

[13] Nora Kassner and Hinrich Schütze. Negated and misprimed probes for pretrained language models: Birds can talk, but cannot fly. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7811-7818, Online, July 2020. Association for Computational Linguistics.

[14] 片岡喜代子. 日本語否定文の構造: かき混ぜ文と否定呼応表現, 第 18 巻. くろしお出版, 2006.

[15] Alex Warstadt, Yu Cao, Ioana Grosu, Wei Peng, Hagen Blix, Yining Nie, Anna Alsop, Shikha Bordia, Haokun Liu, Alicia Parrish, Sheng-Fu Wang, Jason Phang, Anhad Mohananey, Phu Mon Htut, Paloma Jeretic, and Samuel R. Bowman. Investigating BERT's knowledge of language: Five analysis methods with NPIs. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2877-2887, Hong Kong, China, November 2019. Association for Computational Linguistics.

[16] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of LSTMs to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, 2016.

[17] Roser Morante, Anthony Liekens, and Walter Daelemans. Learning the scope of negation in biomedical texts. In Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing, pp. 715-724, Honolulu, Hawaii, October 2008. Association for Computational Linguistics.

[18] Aaron Mueller, Garrett Nicolai, Panayiota Petrou-Zeniou, Natalia Talmina, and Tal Linzen. Cross-linguistic syntactic evaluation of word prediction models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5523-5539, Online, July 2020. Association for Computational Linguistics.

[19] Kawin Ethayarajh. How contextual are contextualized word representations? comparing the geometry of BERT, ELMo, and GPT-2 embeddings. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 55-65, Hong Kong, China, November 2019. Association for Computational Linguistics.

## A 否定要素の種類とその頻度

4 節の実験において、予測させたトークンごとに頻度とその不正解個数をまとめたものが以下の表である。

## B t-SNE による BERT 中間層の可視化

以下は 5 節の実験において異なるラベルを付与された「ない」の日本語 BERT の中間層の第 2 (左上)、5（右上)、7 （左下）、12（右下）層目の重みを t-SNE で可視化した様子である。

図 3 BERT 中間層における異なるラベルが付与された「ない」の分布
 蘆田 真奈 平澤 寅庄 金子正弘 小町守 東京都立大学 \{ashida-mana, hirasawa-tosho, kaneko-masahiro\}@ed.tmu.ac.jp komachi@tmu.ac.jp  