# 単語属性変換による自然言語推論データの拡張

石橋 陽一 ${ }^{1}$ 須藤 克仁 ${ }^{1,2}$ 中村哲 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 科学技術振興機構さきがけ
\{ishibashi.yoichi.ir3, sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

自然言語推論は前提文と仮説文が与えられ、単れ らの間にどのような関係が成立するかを予測する タスクである。これまでいくつかのタスクとデータ セットが公開されており、例えばとの中で代表的な ものとして Stanford Natural Language Inference corpus (SNLI) [1] がある。SNLI は前提文と仮説文の間に成 り立つ関係として「含意」「矛盾」光しでのどち らとも判別できない例に対して「中立」の3 種類の ラベルが付与されているコーパスである。SNLIの データ数は $550 \mathrm{k}$ ペアと、自然言語推論の他のコー パス (MultiNLI [2]:433k・SciTail [3]:27k) よりも比較的多いが、現在主流のニューラルネットワークに基 づく手法を利用するにあたっては、觉の性能を向上 させるためにより多くのデータで学習することか望 ましい。乥こで本研究では自然言語推論のデータ拡張に取り組む。

自然言語推論のデータは語の多樣性が少小いため 文の表層的な情報に過学習してしまう問題点があ ることが指摘されている $[4]$ 。この問題の解決のた めには、表層的な情報への過学習を回避するような データが必要である。乥こで本研究では SNLI 文中 の特定の単語に対して、単の意味を反転した単語に 置換することで、表層的な情報をできる限り維持し たまま意味類似性が低い文を生成する手法を提案す る。例えば、前提文 "The boy is eating a fruits." と、含意となる文 "The boy is eating an apple." が仮説文とし て与えられているとき、仮説文に対して性別を変換 する単語変換を適用し、"The girl is eating an apple." を生成する。このようなデータ拡張は元の仮説文の 文法やスタイル等の表層的な部分は変化させずに、意味を矛盾の方向に変化させることができる。した がって本研究のデータ拡張で生成した仮説文をモデ ルが学習する場合、表層的な情報だけでなく一部の 単語の意味の違いに注目する必要があるため、拡張 データで学習したモデルの性能が表層的な情報に左右されにくく頑健になると考えられる。

特定の単語の変換を行う手法として鏡映変換によ る単語属性変換 [5] がある。この手法は次の 2 つの 特徵：(1) 変換対象の属性 (例: 性別)を持つ単語 を変換し (2) 変換対象の属性を持たない単語は変換 しないという特徴を持つ。鏡映変換に基づく単語属性変換を文中の全ての単語に鏡映変換を適用した 場合、文中の一部の単語が変化し串れ以外は元文と 同じであるような文を作り出すことができる。これ により元文の表層的な情報をある程度維持したまま 意味を変えたデータを生成することが可能となる。 そこで本研究ではSNLIのデータ拡張に鏡映変換を 適用し、单の効果を検証する。

## 2 関連研究

SNLI のデータ拡張は Kang [6] らか提案している。 SNLI のデータはクラウドワーカーにアノテーショ ンされているため単の語彙か限られており文の多様性か低い。单のためモデルがある種のパターンに過学習することが指摘されている [4]。例えば、前提文 “The dog did not eat all of the chickens." に対して仮説文 “ The dog ate all of the chickens.” が与えられたと き、正しいラベルは「矛盾」であるにもかかわらず、既存のモデルは「含意」と誤分類した例が蕔告され ている。この問題に対して Kang らはルールテンプ レートを介して大規模な語彙を文に組み込みデータ を拡張することでSNLI と SciTail の精度を向上させ た。本研究では別のアプローチとして単語の変換に 基づく方法を提案する。

## 3 手法

## 3.1 単語属性変換

本研究では文のデータ拡張として、文中の特定の 単語を変換する鏡映変換に基づく単語属性変換 [5] を用いる。鏡映変換に基づく単語属性変換は、変換対象の属性を持つ単語を変換し、変換対象の属性を
持たない単語は変換しないという性質を持つ。例 えば性別の属性変換 $f_{\text {gender }}$ によって “man” のべク トル $\mathbf{v}_{\text {man }}$ を“woman” のベクトル $\mathbf{v}_{\text {woman }}$ に変換す る。一方で、性別に対して不変であるような単語、例えば“person” のベクトルが与えられた場合は変換 せず入力ベクトルと同じ $\mathbf{v}_{\text {person }}$ を出力する。これ らの 2 つの性質によって文中の特定の単語（例：性別に関する単語) のみ変換し、光れ以外の単語は変換せずにノイズの少ないデータを自動で生成可能 となる。ここで単語ベクトルのアナロジーでも変換可能のように思えるが、爫の場合は変換対象の単語 (例：性別単語) に関して事前知識を用意する必要 がある。例えばアナロジーで男性を表す単語を女性 に変換する場合、男性のベクトルから差ベクトル $d=\mathbf{v}_{\text {woman }}-\mathbf{v}_{\text {man }}$ を引くことで女性に変換し、逆に 女性から男性への変換の場合 $d$ を足すことで変換す る。したがってアナロジーで単語を変換する場合は 入力単語ベクトル $\mathbf{v}_{x}$ が男性もしくは女性のどちら に属すかという事前知識が必要となるが、鏡映変換 は事前知識を用いないための条件 (単語べクトル空間中の 2 点を同じ写像で反転可能) を淽たす写像で あるため、光のような事前知識を用ることなくデー 夕拡張に適用できる。

## 3.2 鏡映変換

図 1 鏡映変換に基づく単語属性変換

鏡映変換は鏡と呼ばれる超平面によって 2 つのべ クトルの位置を反転させる写像である。標準内積が 与えられた $n$ 次元実ユークリッド空間 $\mathbb{R}^{n}$ における 鏡映変換は

$
\operatorname{Ref}_{\mathbf{a}, \mathbf{c}}(\mathbf{v})=\mathbf{v}-2 \frac{(\mathbf{v}-\mathbf{c}) \cdot \mathbf{a}}{\mathbf{a} \cdot \mathbf{a}} \mathbf{a}
$

と定義される。ここで $\mathbf{a} \cdot \mathbf{a}$ は内積を表す。また $\mathbf{a}$ お よび $\mathbf{c}$ は光れ艾れ鏡（超平面）を決定するパラメタ であり、a は鏡に直交するべクトル、c $\mathbb{R}^{n}$ 上の点である (図 1)。

本研究では全結合の多層パーセプトロン (MLP)
によって変換対象の属性ごとに鏡のパラメタである a と $\mathbf{c}$ を推定することて鏡を学習する：

$
\begin{aligned}
& \mathbf{a}=\operatorname{MLP}\left(\left[\mathbf{z} ; \mathbf{v}_{x}\right]\right) \\
& \mathbf{c}=\operatorname{MLP}\left(\left[\mathbf{z} ; \mathbf{v}_{x}\right]\right)
\end{aligned}
$

ここで $[\cdot ; \cdot]$ はベクトルの列方向の連結を表す。光し て入力単語ベクトル $\mathbf{v}_{x}$ の属性を反転させたベクト ルを鏡映変換し $\mathbf{v}_{y}$ を得る:

$
\mathbf{v}_{y}=\operatorname{Ref}_{\mathbf{a}, \mathbf{c}}\left(\mathbf{v}_{x}\right)
$

光して予測されたベクトル $\mathrm{v}_{y}$ が目的の単語ベクト ルとなるように平均二乗誤差で最適化する。

## 3.3 データ拡張

鏡映変換に基づく単語属性変換を利用してデータ 拡張を行う。最初に単語属性変換モデルを学習し、光の後 SNLI のデータに適用しデータを拡張する。本研究では SNLI データの仮説文のうち含意ラベル が付与されている文に単語属性変換を適用し、文の 意味が前提文と矛盾するように単語の意味を反転さ せることで矛盾ラベルを付与した新たな文を生成す る。単語を変換する場合、変換対象外の単語が変換 されてしまうことが起きうるが、鏡映変換に基づく 単語属性変換では、鏡映写像の特性によって変換対象外の単語が入力された場合はほぼ変換されないた め、この問題をある程度回避する事ができる。また これにより、一部の単語のみが変換されることで、文の表層的な情報をほとんど変えずに矛盾する文を 生成できる。光こで本研究では含意ラベルが付与さ れた仮説文の全ての単語を鏡映によって変換する。 なお、単語属性変換によって拡張するデータは訓練 データのみとし、評価データは拡張を行わない。ま た、鏡映変換によって変化しなかった文は新たな データとして追加しない。

## 4 実験

## 4.1 単語属性変換の学習と SNLI データの 拡張

まずは単語属性変換の学習を行った。[5] の単語属性変換の学習データと評価用データを結合し、学習データとして用いた。変換対象は性別と反意語と し、少れら 2 つの単語データを結合し学習データと した。事前学習済み単語埋め込みには GloVe [7] を 使用した。単語べクトルの次元数は 300 次元、 5 層 の MLP の隠れ層次元数は 300 次元で鏡映変換の学習を行った。最適化には Adam を使用し学習率の設
定は以前の研究で最高精度のモデルの設定を使用 した。

表 1 単語属性変換の学習用データセット

次に、学習した単語属性変換を SNLI のデータに 適用しデータを拡張した。表 2 は追加されたデータ 数と拡張前のデータ数の比較である。拡張前と比較 して最大で 24 万件データを生成・追加することがで きている。表 4 に生成されたデータの一例を示す。鏡映変換によって変換対象の特定の単語のみ変換 されており、元の仮説文の表層的な類似性を維持し たまま意味を矛盾に変えることができている。例え ば、性別の鏡映変換によって “An actor is performing in an outdoor park dressed up." の “actor" を “actress" に 変えているが、それ以外の単語は鏡映変換を適用し ても変化していない。このため、文の品質を損なう ような単語が混在した文を生成することなくノイズ の少ないデータを多く生成できたと考えられる。

表 2 データ拡張の結果

表 3 単語属性変換で拡張したデータで学習したモデルの スコア

4.2 SNLI モデルの学習とデータ拡張によ る精度の変化

データ拡張を行っていないオリジナルのデータ と、単語属性変換による拡張を行ったデータでとれ ぞれ SNLI のモデルを学習した。本研究では前提文 と仮説文龸れ艾れを別の RNN でエンコードし結合 したベクトルを MLP に入力し分類するモデル [1] を 用いた。モデルの設定はすべての実験で同一とし、
RNN には 300 次元の LSTM を用い、バッチサイズ は 128 で学習を行った。実験の結果を表 3 に示す。

実験の結果、データ拡張の実施前後でモデルの性能は大きく向上しなかった。この原因としてラベル の偏りによってモデルが過学習したことが挙げられ る。本研究では矛盾ラベルは大きく増加しているが 含意や中立のラベルは増えていないため、SNLI モ デルが矛盾ラベルに過学習し、分類結果が偏るケー スが増加したと考えられる。光こで、混同行列を作成しラベルの偏りによって分類結果が異なっている か確認した (図 2)。光の結果、矛盾と中立に分類さ れたケースが 128 から 303 件増加していることがわ かった。したがって、ラベルの偏りにモデルが過学習した結果、精度が向上しなかったと思われる。解決策として含意ラベルを付与した文を増加させる方法を検討中である。

図 2 混同行列の可視化。(a): データ拡張なし (b) : デー 久拡張 (性別) (c): データ拡張 (反意語) (d): データ拡張 (性別 + 反意語) (b)-(d) は (a) からの差分 (増減数) を 元に混同行列を作成している。

## 5 まとめと今後の課題

本研究では自然言語推論のデータ拡張のために文 の表層的な情報をできる限り変化させず意味を変化 させたデータを追加するデータ拡張に取り組んだ。文の表層的な類似性を保ち意味を変換するため文中 の特定単語のみを変換する単語属性変換を適用し光 の効果を検証した。実験の結果、鏡映変換に基づく 手法は文中の特定の単語のみを変換させ、ノイズの 少ないデータを多く生成することができた。実験で は SNLI モデルを学習しデータ拡張による性能を比

 & The woman is wearing green. & The man is wearing green. \\

較したが、データ拡張によって特定のラベルが増加 し過学習が起きた結果、モデルの性能に顕著な差は 見られなかった。今後はラベルスムージングや前提文にもデータ拡張を適用し含意ラベルを増やすこと でラベルの偏りを調整することを検討している。

## 謝辞

本研究は JST さきがけ(JPMJPR1856) の支援を受 けたものである.

## 参考文献

[1] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Lluís Màrquez, Chris Callison-Burch, Jian Su, Daniele Pighin, and Yuval Marton, editors, Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, EMNLP 2015, Lisbon, Portugal, September 17-21, 2015, pp. 632-642. The Association for Computational Linguistics, 2015.

[2] Adina Williams, Nikita Nangia, and Samuel R. Bowman. A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference. In Marilyn A. Walker, Heng Ji, and Amanda Stent, editors, Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2018, New Orleans, Louisiana, USA, June 1-6, 2018, Volume 1 (Long Papers), pp. 1112-1122. Association for Computational Linguistics, 2018.

[3] Tushar Khot, Ashish Sabharwal, and Peter Clark. SciTaiL: A Textual Entailment Dataset from Science Question Answering. In Sheila A. McIlraith and Kilian Q. Weinberger, editors, Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence, (AAAI-18), the 30th innovative Applications of Artificial Intelligence (IAAI-18), and the 8th AAAI Symposium on Educational Advances in Artifi- cial Intelligence (EAAI-18), New Orleans, Louisiana, USA, February 2-7, 2018, pp. 5189-5197. AAAI Press, 2018.

[4] Guanhua Zhang, Bing Bai, Junqi Zhang, Kun Bai, Conghui Zhu, and Tiejun Zhao. Mitigating Annotation Artifacts in Natural Language Inference Datasets to Improve Crossdataset Generalization Ability. CoRR, Vol. abs/1909.04242, , 2019.

[5] Yoichi Ishibashi, Katsuhito Sudoh, Koichiro Yoshino, and Satoshi Nakamura. Reflection-based Word Attribute Transfer. In Shruti Rijhwani, Jiangming Liu, Yizhong Wang, and Rotem Dror, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, ACL 2020, Online, July 5-10, 2020, pp. 51-58. Association for Computational Linguistics, 2020.

[6] Dongyeop Kang, Tushar Khot, Ashish Sabharwal, and Eduard H. Hovy. AdvEntuRe: Adversarial Training for Textual Entailment with Knowledge-Guided Examples. In Iryna Gurevych and Yusuke Miyao, editors, Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, ACL 2018, Melbourne, Australia, July 15-20, 2018, Volume 1: Long Papers, pp. 2418-2428. Association for Computational Linguistics, 2018.

[7] Jeffrey Pennington, Richard Socher, and Christopher D. Manning. Glove: Global Vectors for Word Representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, EMNLP 2014, October 25-29, 2014, Doha, Qatar, A meeting of SIGDAT, a Special Interest Group of the ACL, pp. 1532-1543, 2014.
 石橋 陽一 ${ }^{1}$ 須藤 克仁 ${ }^{1,2}$ 中村哲 ${ }^{1}$ 1 奈良先端科学技術大学院大学 2 科学技術振興機構さきがけ \{ishibashi.yoichi.ir3, sudoh, s-nakamura\}@is.naist.jp  