# 文脈を考慮した対義語穴埋め

丹羽彩奈
東京工業大学
ayana.niwa at nlp.c.titech.ac.jp
西口佳佑
株式会社サイバーエージェント
nishiguchi_keisuke at cyberagent.co.jp
岡崎直観
東京工業大学
okazaki at c.titech.ac.jp

## 1 はじめに

対義関係（例：賛成一反対）は，与えられた文脈 において意味が反対となる単語（対義語）の関係で ある [1].この対義関係を効果的に利用した修辞技法のひとつに，似た文構造で対照的な意味を持つ単語や句を並列させる対句がある.

（例文）年金に敏感な母も、保険には鈍感です。

上記の例では，保険への関心が低いことを，関心の高い別の話題 (年金) と並置して強調してい る.このように，対義語や対義語を用いた対句は， キャッチコピー [2] や政治演説 [3], 漢詩 [4] などで メッセージを強調するために活用されている.

従来，与えられた単語ペアに対して対義関係を含 む語彙的な意味関係を識別する研究が数多く行われ てきた $[5,6]$. 例えば，構文パターンや意味的近さを 利用して，対義語と同義語を識別する手法が提案さ れている $[7,8]$. しかし，その分類タスクとしての 設計には，モデルが語彙を暗記してしまったり [9],質問応答等の実タスクとの乘離があるという懸念も あった [10]. そこで，さらに挑戦的で害応用に近い タスクとして，ターゲット語（例：下位語）に対して 特定の語彙関係にある単語や単語リスト（例：上位語）を与えられた語彙集合から探し出すタスクが提案された [11]. 対義関係においても，形容詞を否定形にする目的で対義語を予測する研究がある [12]. これに対して，本研究では対義語を文脈を考慮して 予測する新たな穴埋めタスクを提案する.

対義語の穴埋めを行うための最も単純なアプロー チは，対義語辞書を引いて，記載されている単語を 埋めることである．ところが，穴埋めができる対義語は文脈によって変化する。例えば，次に示すよう に母という単一の単語に対しても，父, 妻, 娘など複数の単語が対義語として考えられる。

(A)父は保険で楽をした。母は保険で苦労した。

(B)妻になって、值段が気になった。

母になって、成分が気になった。

(C)娘はエステに行き、母は整体に行く。

また，対義関係には二律相反のペア（素数一非素数）だけではなく，相互の役割などの関係性による もの（生徒一教師），ある基点を挟んだ相対的・対照的な概念を表すもの（明日一昨日）など多様な関係性が含まれる $[13,14,15]$. しかし, 辞書には対義語 ペアのみが収録されており，その文脈情報は収録さ れないことが多い，また，掲載されている対義関係 の種類も限定的である.これに対し，対義語穴埋め タスクでは，文脈情報や多様な対義関係を考慮して 対義語を予測できるモデルが求められる.

近年，モデルを事前学習およびファインチューニ ングするアプローチが多くのタスクで高い性能を収 めている [16,17]. そこで本研究では，代表的な事前学習モデルである BERT を利用し，文脈を考慮し た対義語穴埋めを行う。しかし，モデルをファイン チューニングするための教師データ、すなわち対照的な文脈を持つ対義語ペアを含むテキストの収集 は容易ではない。そこで本研究では，BERT モデル で対義語穴埋めを行うための手法として，(1) 対句 データを用いたドメイン適応，(2) 対義語穴埋めに 特化させるための対照的マスキング，(3) 文の対句構造を捉えさせるための対句位置エンコーディン グ，(4) 対義語辞書を活用した自動アノテーション による疑似教師データ収集を提案する。

実験の結果，提案したファインチューニング手法 により，BERT モデルを文脈を踏まえた対義語穴埋 めタスクへ適応させ，正解の単語をより予測できる

ようになることを確認した．また，文脈を考慮した 対義語穴埋めタスクでは複数の正解が許容されるた め, 唯一の正解による自動評価指標による精度は低 く見えるが，対義語としての適切さや文脈における 流暢さをもつ事例は $85 \%$ 以上を占めることから，提案手法は十分な性能を示していることを報告する。

## 2 提案手法

## 2.1 モデル

概要を図 1 に示したように，位置 $m(1 \leq m \leq n)$ に [MASK] トークン (空欄）を持つ長さ $n$ の系列 $x_{1}, \ldots, x_{n}$ を与えられた時, 穴埋めするトークン $y_{m}$ の条件付き確率を BERT モデル [16] を用いて以下の ようにモデル化する.

$
P\left(y_{m} \mid x_{1}, \ldots, x_{m}, \ldots, x_{n}\right) .
$

入力情報の双方向の文脈で条件づけることによ り，BERT モデルは [MASK] トークンの周辺の文脈 を捉えられる。 その BERT モデルを対句構造を持つ コーパスでファインチューニングすることで，ドメ イン適応により入力テキスト内の文脈と対義語ペア の組み合わせを考慮可能となることが期待される.

BERT モデルを対義語に適応させる際，少量 のコーパスを活用するために二つのアプロー チを取る。一つ目のアプローチとして，テキス ト内に対義関係を持ち得るトークンを [MASK] トークンに置換することでファインチュー ニングのための教師データを作成する. 例え ば，「值段に始まり、味わいに終わる。」というテキ ストから，「[MASK] に [MASK] 、味わいに終わる。」，「値段に始まり、[MASK]に $[\mathrm{MASK}]_{0} 」$ という二件 の学習事例を得る。これらのマスクされるトークン には，対応する句に現れないものを選択する。この マスキングの方法を対照的マスキングと呼ぶ. オリ ジナルの BERT モデルは [MASK] トークンをランダ ムに作成するが，対照的マスキングは，対義語穴埋 めのための教師データを選択的に作成する。

次に，二つ目のアプローチとして，BERT モデル に入力テキスト内の対句構造を考慮させるために位置エンコーディングを拡張する. まず，対句構造を 構成する二つのスパン $[i, j$ ) ([MASK] トークンが含 まれる）と $[k, l)(1 \leq i<j \leq k<l \leq n)$ を含むテキ ストを考える。この時，スパン $[i, j)$ にスパン $[k, l)$ が対応することを教えるために，対句構造に特化し
たインデックスを以下のように定義する.

$
a_{t}= \begin{cases}k+\left.\lfloor\frac{(l-k)(t-i)}{j-i}\right.\rfloor & (a \in[i, j)) \\ t & \text { (otherwise) }\end{cases}
$

インデックス $a_{t}$ は $t \notin[i, j)$ だったときはトークン $x_{t}$ の絶対位置を，そうでない場合は対応するスパ ン $[k, l)$ の絶対位置を与える. 本稿では，この手法 を対句位置エンコーディングと呼ぶ，今回は，オリ ジナルの BERT モデルで用いられている絶対位置の 埋め込み表現と対句位置 $a_{t}$ の埋め込み表現の平均 を取ったものを BERT モデルに入力する.

## 2.2 教師データ

教師データのドメインには，対句が用いられ やすいキャッチコピーを選択した. 既存の作品集 $[18,19,20,21,22]$ から収集した 111,295 件のコー パスを元に，(1) 対句を含まないキャッチコピーの 除外 (2) 対句スパンのアノテーションの 2 つのサブ タスクにより，7,511 件のキャッチコピーからなる 対句コーパスを作成した [23, 24].

## 2.3 疑似教師データ

現状の教師データの学習事例数は, BERT モデル をファインチューニングするには不十分である。そ こで，テキストを自動的にアノテートすることを考 える。具体的には，既存の対義語辞書 [15] に掲載 されている対義語ぺアを含むキャッチコピーを用 いる.このプロセスにより， 2.2 節で説明した対句 コーパスに含まれないキャッチコピーから 1,894 件 を抽出した ${ }^{1)}$. 各キャッチコピーに対して，対義語 を片方ずつ [MASK] トークンに置換することで二件 の学習事例を作成した.この外部知識を活用した データ作成により，対義語の語彙知識を疑似教師 データとして BERT モデルに学習させる。

## 3 実験および実験結果

## 3.1 実験設定

データセット 7,511 件の対句構造を持つキャッ チコピーを学習データ，検証データ，評価データに 分割した上で，[MASK] トークンを含む穴埋め事例 に変換する. 対句構造には二つの対照的な意味を 持つ句が含まれることから，各キャッチコピーか

1）対句コーパスに含まれないキャッチコピーは，コーパス構築の一段階目における厳しい基準でフィルタリングされたた め，実際には対句を含むものが含まれている.

図 1 提案手法の概要

ら二件の学習事例を作成できる。このようにして， 11,923 件の学習データ, 1,496 件の検証データ, 1,247 件の評価データを作成した. この評価データの作成方法を付録 A. 1 に示した。また，疑似教師データと して 3,788 件の学習データを用いる.

ベースライン 今回の実験では，ベースライン手法として辞書を用いた手法と，ファインチューニン グなしの事前学習済み BERT モデルを採用した. 辞書を用いた手法では，各空欄を埋めるべき正解単語 が，対応する句に含まれる単語の対義語として辞書 [15] に含まれるかを調査する。このベースライン は，正解単語がわかっている状態で評価するため,辞書を用いた手法の性能の上限として考えられる。 ファインチューニングなしの事前学習済み BERT モデルでは，対義語穴埋めに特化した学習なしに， BERT モデルが言語モデルとして文脈を考慮して対義語を予測する能力について調査する。また， 3 名 の作業者に対して穴埋めタスクを実施した結果（以後作業者と表記）も評価する．具体的には，各空欄 に対して最大 5 つの可能な回答候補を考えてもらつ た. 3 名の作業者は，本タスクの難易度を考慮し，作家やブロガーなど，作文経験の豊富な方を選ん だ。なお，BERTの事前学習済みモデルには，日本語 Wikipedia で学習された公開モデル2)を用いた。

評価本実験では，マスクされた位置に正しい対義語が予測されたか否かを top-1, top-10 の正解率 で評価する。評価データには， [MASK] トークンが サブワード単位で分割されている事例が含まれる。 しかしながら，作業者はサブワード単位で空欄を埋 めることはできない，そのため，評価データのうち [MASK] トークンがサブワード分割されていない事例を含むサブセット（以後単語単位と呼ぶ）を作成 し，作業者が埋めた単語とモデルが予測した単語を


比較する．また，作業者は必ずしも一つの空欄に 対して5つの回答を思いつくとは限らないないた め, top-1 と top- $n$ の正解率でも評価する. この数値 $n$ は，各事例に対する回答数によって異なる。

## 3.2 実験結果

対義語穴埋めの結果を表 1 に示した. 提案手法 は, 全評価データに対して top-1 正解率で $23.4 \%$, top-10 正解率で $47.9 \%$ ，単語単位では top-1 正解率で 30.4\%, top-10 正解率で $49.1 \%$ を達成した. ファイン チューニングなしの事前学習済み BERT モデルは，提案手法に比べて top-1 正解率が大きく低下してい る.これは，一般的なマスク言語モデルでは，対句構造の文脈を与えられていたとしても，対義語を予測するには不十分であることを示している. 言い換 えれば，提案手法はモデルを対句構造における単語予測タスクに適応させるのに有効であることがわか る.しかしながら，ファインチューニング無しと有 りの場合で top-10・top- $n$ 正解率における性能の差は top-1 に比べると小さい. これは，BERT モデルが事前学習時に文脈に基づき正解単語を正解候補として 予測する能力を獲得していることを示唆している.

教師データでファインチューニングをした場合 は, 特に top-1 正解率が大きく向上した (全評価デー タで+6.1 ポイント，単語単位で+9.3 ポイント). ま た，対照的マスキングにより全ての正解率が，対句位置エンコーディングにより特に top- $10 \cdot$ top- $n$ 正解率が向上した (前者は $+0.8 \sim+3.0$ ポイント, 後者 は+1.5，+0.6ポイント). さらに，疑似教師データの 活用により，特に top-1 の正解単語の向上を確認し た $(+0.8,+3.0$ ポイント $)$. これらの提案手法が性能向上に寄与していることから，BERT モデルに対し て対義語穴埋めに特化させたファインチューニング を行うことが重要であるとわかる.
表 1 対義語穴埋めの正解率

表 2 各指標を満たす 100 件あたりの事例数意味的対照性 文の自然さ・流暢さ

辞書を用いたべースラインでは, 単語単位の top-1 正解率で $9.6 \%$ という結果になった. この正解率の 低さは，辞書に含まれるエントリのカバー率の低さ に起因する. 例えば，評価データに含まれる対義語 の $39.3 \%$ しか辞書に掲載されていなかった。

表 1 は，穴埋めタスクを解いた時に正解率が最小・最大となった作業者の結果も示している. これ を見ると，正解率は作業者ごとに摇れが見られるも のの提案手法よりも高い. しかしながら, 正解率は 最大でも top-1 で $34.5 \%$, top- $n$ で $59.1 \%$ と低く,この タスクの難しさが現れている。一方で，作業者 3 名 の回答を統合し，その中に正解単語が含まれれば正解とする最も緩やかな評価を行うと, top-1 正解率 は $51.8 \%$, top- $n$ 正解率で $66.6 \%$ となった. この top-1 正解率の大幅な向上は, 評価データ内の各空欄を埋 める際に複数の可能な単語が考えられることを示唆 している.この正解単語が複数考えられる事象につ いて調査するため, 正解単語と一致しなかった作業者の回答と提案手法の予測結果の質について, 別の 作業者による主観評価を実施した. 各回答・予測結果の内，意味的対照性と文としての自然さ - 流暢さ を満たす事例数を表 2 に示した. この分析では，作業者の回答と提案手法の予測単語両方が不正解だっ た事例から 100 件ランダムに抽出したものを用い た. なお，作業者の回答は，3名の回答からランダ ムに 1 事例につき 1 件を選択した. この結果, 作業者の回答・提案手法の予測単語ともに，85\%以上の単語が対義語として適切であることがわかった。

以上より，文脈を考慮した対義語穴埋めでは，複数通りの正解単語が存在するため, 単一の正解単語 を用いた自動評価 (正解率) では性能が過小評価さ れてしまうことがわかった. しかし，提案手法によ る予測結果を主観評価したところ，対義語としての 適切さ，文としての自然さ・流暢さとも非常に高い 正解率となっており, 文脈を考慮した対義語を予測 するには十分な性能であることがわかった. また，事例分析の結果を付録 A. 2 に示したように，さらに 性能を向上させるためには単語ペアを「何を対象と して」「どのような観点で対比させるか」を明示的 に与える必要があることもわかった.

## 4 おわりに

本研究では，文脈を踏まえた対義語穴埋めとい う，対義語の予測タスクに取り組んだ. BERT モデ ルを対義語穴埋めに適応させる方法として，対句 データを活用したドメイン適応，対照的マスキン グ，対句位置エンコーディング，疑似教師データの 収集方法を提案した。提案手法は，評価データにお いて，23.4\%の top-1 正解率および 47.9\%の top-10 正解率を達成した. これらの値は低く見えるが，空欄 を埋められる正解単語は複数考えられるため, 単一 の正解単語に基づく自動評価では性能が過小評価さ れてしまう。しかし，主観評価により，提案手法に よる予測結果は，85\%以上の事例が対義語として適切であることがわかった。本研究の結果は，語彙の 意味関係を実用的な単語予測タスクとして扱う研究 をさらに促進させるものである．今後は，言及対象 や対比させるべき観点を考慮した対義語予測および 他の意味関係へのモデルの拡張に取り組みたい.

## 参考文献

[1] Steven Jones, M Lynne Murphy, Carita Paradis, and Caroline Willners. Antonyms in English: Construals, constructions and canonicity. Cambridge University Press, 2012.

[2] Hristo Katrandjiev, Ivo Velinov, and Kalina Radova. Usage of rhetorical figures in advertising slogans. Trakia Journal of Sciences, Vol. 14, No. 03, pp. 267-274, 2016.

[3] John Heritage and David Greatbatch. Generating applause: A study of rhetoric and response at party political conferences. American journal of sociology, Vol. 92, No. 1, pp. 110-157, 1986.

[4] Rui Yan, Cheng-Te Li, Xiaohua Hu, and Ming Zhang. Chinese couplet generation with neural network structures. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2347-2357, 2016.

[5] Oren Barkan, Avi Caciularu, and Ido Dagan. Withinbetween lexical relation classification. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3521-3527, Online, 2020

[6] Vered Shwartz and Ido Dagan. Path-based vs. distributional information in recognizing lexical semantic relations. In Proceedings of the 5th Workshop on Cognitive Aspects of the Lexicon (CogALex - V), pp. 24-29, Osaka, Japan, 2016.

[7] Kim Anh Nguyen, Sabine Schulte im Walde, and Ngoc Thang Vu. Distinguishing antonyms and synonyms in a pattern-based neural network. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 76-85, Valencia, Spain, 2017.

[8] Kim Anh Nguyen, Sabine Schulte im Walde, and Ngoc Thang Vu. Integrating distributional lexical contrast into word embeddings for antonym-synonym distinction. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 454-459, Berlin, Germany, 2016.

[9] Omer Levy, Steffen Remus, Chris Biemann, and Ido Dagan. Do supervised distributional methods really learn lexical inference relations? In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 970-976, Denver, Colorado, 2015.

[10] José Camacho-Collados. Why we have switched from building full-fledged taxonomies to simply detecting hypernymy relations. CoRR, Vol. abs/1703.04178, , 2017.

[11] Jose Camacho-Collados, Claudio Delli Bovi, Luis Espinosa-Anke, Sergio Oramas, Tommaso Pasini, Enrico Santus, Vered Shwartz, Roberto Navigli, and Horacio Saggion. SemEval-2018 task 9: Hypernym discovery. In Proceedings of The 12th International Workshop on Semantic Evaluation, pp. 712-724, New Orleans, Louisiana, 2018.

[12] Laura Rimell, Amandla Mabona, Luana Bulat, and Douwe Kiela. Learning to negate adjectives with bilinear models. In Proceedings of the 15th Conference of the European
Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 71-78, 2017.

[13] Thmas R. Hoffmann. Realms of meaning: An introduction to semantics. Longman, 1993.

[14] Geoffrey Leech. Semantics. Penguin Books, 1976.

[15] 三省堂編修所（編）.反対語対立語辞典. 三省堂, 2017.

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, 2019.

[17] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'AlchéBuc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32, pp. 5753-5763. Curran Associates, Inc., 2019.

[18] 谷山雅計. 広告コピーってこう書くんだ!読本. 株式会社宣伝会議, 2007 .

[19] 仲畑貴志. ホントのことを言うと、よく、しかられ る。勝つコピーのぜんぶ. 株式会社宣伝会議, 2018.

[20] 青田光章, 秋山晶, 東秀紀, ほか. 最新約コピーバイ ブル. 株式会社宣伝会議, 2007.

[21] 梅田悟司. 「言葉にできる」は武器になる。日本経済新聞出版社, 2016.

[22] 宣伝会議賞実行委員会. SKAT.2-SKAT.17. 株式会社宣伝会議, 2003-2018

[23] 丹羽彩奈, 脇本 宏平, 西口 佳佑, 毛利 真崇, 岡崎 直観 .キャッチコピーにおける対句構造の解析. 言語処理学会第 26 回年次大会 (NLP2020), 2020.

[24] 丹羽彩奈, 脇本 宏平, 西口 佳佑, 毛利 真崇, 岡崎 直観 . 単語の対応関係を利用したスパン候補の絞り込み によるキャッチコピーの対句構造解析. 第 34 回人工知能学会全国大会 (JSAI2020), 2020.

## A 付録

## A. 1 評価データの作成方法

評価データ内で空欄とする単語（列）には，2.1 節 で説明した対照的マスキングの対象となった単語

（列）から，以下の基準に基づき選択した.

1. 評価事例一件につき一単語（句は除外）

2. 単語の品詞は名詞, 動詞-自立, 形容詞-自立, 形容動詞のいずれか

3. 企業情報などの外部知識がなければ解けない事例は可能な限り除外

本来は一件のキャッチコピーから前半の句と後半の句をそれぞれマスキングすることで二件の評価事例を作成できる．しかし，クラウドソーシング プロセスの簡略化のため，単語単位ではキャッチコ ピー一件につき評価事例一件のみを使用した。その ため，元々の評価データに比べて小規模になって いる.

## A. 2 事例分析

ベースライン（ファインチューニングなしの BERT モデル), 提案手法, 各作業者による出力・回答例を表 3 に示した。

事例 (A) の（出会い一別れ）のように，対比関係 がわかりやすい単語が存在する場合は，提案手法も 作業者も正解単語を第一候補として出力することが できる。また，予測すべき単語の周辺のみを考慮し ているべースラインの出力と比べると，提案手法は 「別れの曲一出会いの曲」というテキスト内の大域的な構造に着目できていることがわかる.

事例 (B) は，正解単語は予測・回答されていない ものの, 対義語として機能している. この問題で は,「地球」という単語に対して，規模の大きさや 身近さの度合いで対比できる単語を出力する. その 点, 提案手法の予測結果 ・作業者が作成した回答と もに自分の周りにある物や人を中心とした単語が 並んでおり，どれも意味的対照性と文としての自然 さを満たしている。しかし，正解単語はそれらの観点に加えて「物理的・精神的な対比」を持つ「心」 となっている.このような事例に対応するためは，「二つの単語をどのような観点で対比させるのか」 を明確にすることが必要であると考えられる。

また，人間にとっても正解することが難しい他の表 3 対義語穴埋めタスクの出力・回答例

(A) 別れの曲だったのに、[MASK] の曲になった。正解 - - - 出会い

ベースライン 別れ, 最後, 今, 人生, 卒業

提案手法出会い, 憧れ, 人生, 最高, 始まり

作業者 1 出会い, 再会, 初恋, 永遠, 永久

作業者 2 出会い, 始まり, スタート, 開始, 邂逅

作業者 3 出会い, 出逢い

(B) 地球の環境より、まず [MASK] の環境。

正解

ベースライン 宇宙, 水, 地球, 太陽, 植物

提案手法家族, 私, 周り,トイレ, 家

作業者 1 自宅, 家, 自分, 部屋, 職場

作業者 2 自分, 私, 周辺, 室内, 家内

作業者 3 国, 家庭, 町, 街, 周り

(C) $[\mathrm{MASK}]$ 軽さから、忘れる軽さへ。正解

ベースライン゙忘れる,壊れる,思い出す,嬉しい, 積 み重ねる

提案手法忘れる, 思い出す, 覚える, 思い出す,気づかない

作業者 1 持てる, 運べる,重ねられる, 運搬で きる, 探せる

作業者 2 感じる, 受ける, 分かる, 感じ取る, 勘 づく

作業者 3 思い出す, 残る, 驚く

事例として，事例 (C) のような文が挙げられる。こ の事例で正解単語を予測するには，このキャッチコ ピーの言及対象がメガネ製品であるという事前知識 と，その対象に対する推測やイメージを要する. こ のような事例にも対応するため，文の言及対象に関 する追加情報を入力することも重要である.
 丹羽彩奈 東京工業大学 ayana.niwa at nlp.c.titech.ac.jp 西口佳佑 株式会社サイバーエージェント nishiguchi_keisuke at cyberagent.co.jp 岡崎直観 東京工業大学 okazaki at c.titech.ac.jp  