# Transformer による含意生成とその評価

樫原佑哉 ${ }^{1}$ Bisser Raytchev $^{1}$ 金田和文 ${ }^{1}$ 檜垣徹 ${ }^{1}$
1 広島大学大学院 先進理工系科学研究科
ビジュアル情報学研究室
\{yuya-kashihara,bisser,kin, higaki\}@hiroshima-u.ac.jp

## 概要

最近の自然言語処理のモデルは特殊なタスクにお いて人間を超えるスコアを記録している.しかしこ れらのモデルが言語表現の意味を理解しているかど うかは不明な点が多い.ここでは，「文章の意味を理解することは, その含意の関係にある事柄を推測す ることが必要である」という考えに基づき, 自然言語処理のモデルを用いて前提となる文章から含意の 関係にある文章を生成する実験を行い,その評価を 行う. その結果, Transformer ベースのモデルは人間 に引けを取らない精度で含意を生成することがで き，また含意に対する人間による評価との相関から，含意に対する評価指標に適した自動評価指標を発見 した.

## 1 はじめに

人間が扱う言葉は意味を持ち, 人間は状況に応じ て言葉の意味を理解した上で会話などを行ってい る.また, 自然言語処理の分野では, 我々が普段話し たり, 書いたりする自然言語をコンピュータで処理 する様々なモデルが開発され, 最近では特殊なタス クにおいて人間の精度を超えるスコアを記録してい る.しかし，これらのモデルは特殊なタスクに対し て非常に強力であるが，「モデルが言語の意味をど れくらい理解しているのか」, また「言語の意味を 理解するためにモデルに必要なことは何か」につい ては不明な点が多い. 意味の理解について様々な仮説が提唱されている中で, 本研究では Brandom [1] の 「文章の意味を理解することは, その含意の関係に ある事柄を推測することが必要である」という考え に基づき, 含意を生成する実験を行う. 含意とは, あ る表現に対し, 必然な結果として導かれる事柄であ る. すなわち，「 $\mathrm{P} \rightarrow \mathrm{Q} \perp$ の関係である. 例として前提文「A black dog crosses a puddle of water with a ball in its mouth.」の含意文として，「The dog is crossing the
water.」や「The dog is wet.」などが考えられる. 本研究の大きな目的は, 含意の生成を行う実験によって， モデルが含意を生成する規則を明らかにすることで あり, 本実験ではモデルが含意をどの程度生成でき るのか, どのモデル形態がこのタスクに最も適切か, そして生成した含意をどのように評価するかについ て検証する。

## 2 関連研究

機械学習を用いた含意生成の研究は少ないもの の, 私たちの知る限り 1 つ公表されている. Peter Blouw ら [2] は, 木構造のニューラルネットワーク である Recursive Neural Networkを用いて単一の前提文から単一の含意文を生成した. このモデルでは， Encoder によって文章の木構造が生成されると, それ を逆木構造ネットワークの Decoder を通して予測し た文章を生成する. 本研究でも用いた SNLI データ セット [3] で含意を生成し, その評価としてデータ セットの含意文の単語との合致の割合, 人間による 評価を行なっている.

## 3 扱うタスク

本研究では, 単一の前提文から単一の含意文を予測する含意生成のタスクを扱う。一例を挙げると $\ulcorner$ A black dog crosses a puddle of water with a ball in its mouth.」から「The dog is crossing the water.」を生成 する.このタスクはソース文からターゲット文を予測するという点で翻訳のタスクに似ているため, 使用するモデルとして, 機械翻訳におけるべースライ ンのモデルである RNN(Recurrent Neural Network) と，最近の有力な翻訳モデルである Transformer [4], 更に Transformer の Decoder のみで構成されたモデルであ る GPT モデル [5,6] を採用する.これらのモデルが 含意をどの程度生成できるのか実験し, またその評価として人間の評価と自動的な評価指標を用意しそ の相関を調べどの指標が適切であるかを検討する。

## 4 使用したモデル

本実験では, ベースラインのモデルとして Encoder-Decoder モデルである Attention 付きの RNN と近年の翻訳タスクにおいて有力な同じくEncoderDecoder モデルである Vaswani ら [4] の Transformer, そして大規模なテキストで事前学習を行った Decoderのみのモデルである OpenAI の [5, 6] を採用 した.

## 4.1 Recurrent Neural Network

RNN は翻訳タスクにおいてベースラインとなる Seq2Seq で用いられるモデルである. 今回はアテン ション機構のある GRU 層のシンプルなモデルでど の程度含意生成ができるのか評価する。

## 4.2 Transformer

Transformer は翻訳タスクにおいて当時の最先端 の BLEU スコアを記録したモデルである。また自然言語処理の 11 のタスクで最先端のスコアを達成 した BERT モデル [7] の基本構造となるモデルであ る. Transformer は Encoder と Decoder で構成される. Encoder は入力文に対する各単語の埋め込みべクト ルに対し, Query, Key, Value のベクトルを生成したの ち,独自のアテンション機構 Self-Attention を用いて 各単語が同一文中のどの単語に注目しているかを表現したべクトルを Decoderへ伝搬する. Decoder はそ れを受けて予測した単語を順に出力する。

## 4.3 OpenAI GPT

OpenAI によって公開された GPT モデルは, Transformer の Decoder block のみで構成されるモデ ルである. 入力単語が与えられるとその位置情報を 組み込んだ埋め込みべクトルを用いて入力文に対 し文脈情報を計算し, その 值に基づき次の単語を予測する.このモデルは事前学習 (Pre-Training) と微調整（Fine-Tuning）による学習方法を採用している. この方法はまず大量のデータセットでモデルを事前学習することでテキストの文脈を学習する. そして その事前学習済みのモデルを用いて Fine-Tuning を 行うことで各タスクに適応するモデルの学習が完了する. この方法により大規模なデータセットで事前学習されたモデルを誰でも利用することができ， Fine-Tuning を行うだけで様々なタスクに応用するこ とができる. 現在も BERTをはじめ多くの事前学習済みモデルが公開されている.また, OpenAI は数百万の Web ページからなる更に大規模なデータセッ トで事前学習させた GPT2も公開している.この実験では GPT とGPT2をそれぞれ用いた. GPT2 は異 なる大きさのモデルがあるが, 今回は small モデル (単語の埋め込みが 768 次元)のものを用いる.

## 5 評価指標

含意生成のタスクでは生成された文章が含意文で あるかどうか, その含意文がどのくらい正しいのか といった評価が難しいことが予想される. そして都度言語の専門家が見て判断することは非常にコスト が高いためここでは様々な自動的評価指標を検討 する.まず, 翻訳タスクで一般的に用いられる評価指標である BLEU[8], METEOR[9], TER[10]を使用し た. また前提文から含意文を生成するタスクは前提文の重要な情報を抽出し簡単な文章に置き換える要約の要素を含んでいる. したがって要約で用いられ る指標も検討する. 今回は要約タスクで用いられる ROUGE[11] を加えた. そして含意の評価として有力 であると考えられる二つの指標 (Sentence-BERT[12], BERTScore[13])を提案する。

## 5.1 Sentence-BERT

図 1 に示す Sentence-BERT は, BERT を用いたシャ ムネットワークで, 2 つの入力文に対し BERT で 生成した固定長の埋め込みべクトルから類似度 を計算する。本実験ではこの事前学習されたモ デルで前提文とその含意文の固定長埋め込みべ クトルを作成し, そのコサイン類似度を計算する。 SBERT は-1 から 1 の值をとる. 使用したモデル は 2 種類あり, 基本となる bert-base-nli-mean-tokens モデルを"SBERT_1"，タスクSTS のスコアが最も高 い bert-large-nli-stsb-mean-tokens モデルを"SBERT_2" とする.

## 5.2 BERTScore

BERTScore は図 2 に示すように入力文に対し BERT による各単語の埋め込みべクトルから類似度 を計算する. BERTScore は 0 から 1 の値をとる.

図 1 Sentence-BERT

図 2 BERTScore

## 6 実験

実験では SNLI データセット [3] を用いる.この データセットは, 前提文と仮説文の文ペアが 57 万 セットあり，それぞれの文ぺアがそのぺアの関係を 表す「含意」，「中立」，「矛盾」でラベル付けされ ているデータセットである. 本来は自然言語推論夕 スクと呼ばれる上記三種類のラベルを分類する分類 タスクで用いられるが, 今回は含意生成タスクを扱 うためにラベルが「含意」であるもののみを用いる.

## 6.1 実験 1

実験 1 では SNLI データセットのうちラベルが含意であるものを,トレーニングデータとして 150000 文ペア, バリデーションデータとして 20000 文, テス トデータとして 20000 文を RNN と Transformer の学習に対して用いた. 各モデルの学習後, モデルを用い て生成した含意文に対し, 人間による評価と定量的評価を行った. また, 人間の評価と自動的な各指標 の結果の相関を可視化してどの指標が含意に対して 有効であるかを検証した。

表 1 生成した含意文の例

 \\
Reference & People riding their bikes on a road. \\
RNN & People are riding bikes. \\
Transformer & The bike riders are outside. \\

RNN & The girl is outdoors playing field hockey. \\
Transformer & A girl is outside. \\

Reference-300

Contradiction-300

図 3 人間による評価の結果（被験者 $\mathrm{A}$ ）

## 6.1.1 生成結果の例

表 1 に前提文と生成した含意文の例を示す. Premise が前提文, Reference がデータセットの含意文 である.

## 6.1.2人間による評価

RNN と Transformer の生成した含意の精度を評価 するため, テストデータの前提文 300 文に対し, 前提文とデータセットの含意文 (Reference), 前提文 とNN の出力, 前提文 と Transformer の出力の各ぺ アを評価する。また, 含意の評価の基準が難しいと 予想されるため, 前提文とデータセットの矛盾文 (Contradiction)の 300 文ペアも使用する. 上記の 4 種類の文ペアをラベルを見せずに, ランダムに並び替 えた 1200 文ぺアに対して, 含意の正しさを 5 段階,文法の正しさを 3 段階とした評価を英語に詳しい被験者 2 名に実施した. 被験者 A の結果を図 3 に示す.図 3 より Transformer は人 間に近い形状に分布して いることがわかる. 被験者 B も同様の結果を示した.

## 6.1.3人間による評価と自動的な評価指標の相関

最後に, 自動的な評価指標のうちどれが含意に対 して適切な指標であるかを検討するため, 人間の評

図 4 正規化した各指標と人間による評価の平均スコア

図 5 正規化した各指標と人間による評価の平均スコア 2

価との相関を可視化した. 図 4 は, 人間による評価に 用いた 1200 文ぺアの最大值と最小值で正規化した 各指標と人間の評価を種類ごとにプロットしたも のである.これより, SBERT が人間に近い形状をし ていることがわかる. 同様に図 5 は要約の指標をプ ロットしたものである.いずれも相関が低い事がわ かる。

## 6.2 実験 2

実験 2 では強力な事前学習済みのモデルを試すた め, OpenAI の GPT モデルを採用する. このモデルは Transformer の Decoder block を基とした Decoder の みのモデルである. この実験の目的は, 最近あらゆる タスクで優れた成果を出している事前学習によって 汎用性を獲得した大規模なモデルの含意文の生成能力を検証することと, Decoder のみのモデルでの生成能力を検証することである. 実験 2 では Hugging Face[14] の事前学習済みのモデルとデータセットを 用いる. Hugging Face の SNLI データセットのうち, ラベルが含意であるものをトレーニングデータと して 183416 文ペア, バリデーションデータとして 3329 文, テストデータとして 3368 文を用いる.この 実験では GPT とGPT2 それぞれを用いて学習と生成 を行う。

Fine-Tuning の学習方法として GPT2 の実験で用い られた翻訳タスクの生成手法を学習方法として採用 する.これは入力を「前提文=含意文」のまとめた形表 2 GPT と GPT2（1 epoch, 最大長 20）が生成した含意文の比較例

 &  \\

GPT 出力 &  \\
GPT2 出力 &  \\
GPT 出力 & a man is sitting while someone cleans the store. \\
GPT2 出力 &  \\
GPT 出力 & three men are carrying a sack on their boats. \\

でモデルに渡して言語モデリングで学習させる方法 である. 含意生成を行う際はプロンプト「前提文=」 の入力を与えてそれに続く含意文を生成させる.こ れはソース文からターゲット文を生成するというタ スクにおいて, 文ぺアを連結させて学習させたモデ ルに特定の条件付きサンプルを生成させるものであ り, 貪欲な方法と言える。

## 6.2.1 生成結果の例 (GPT, GPT2)

GPT と GPT2 で Fine-Tuningを 1 エポック行い含意文を生成させた. GPT の性能と直感的な比較する ため, 無作為に選んだ前提文より得られた GPT と GPT2（両方 1 エポックの Fine-Tuining）の出力を比較した結果を表 2 に示す.

## 7 結論

今回の実験から Self-Attention 機構を持つ Transformerは人間に引けを取らない精度で含意を生成 できることがわかった. Encoder Block の無い GPT モデルは 1 epoch のみ Fine-Tuning を行うだけで， Transformer と同様の生成結果を得られた. また, 含意 の評価指標として BLEU や METEOR, ROUGE, TER 等の主に単語の一致具合や編集操作の量を見る指標 よりも, Sentence-BERT の文の埋め込みベクトルによ る類似度の方が適していると言える.今後は単なる 言い換えではなく常識的な推測を含んだ含意生成を 目標にした更なるモデルでの実験や, 文の埋め込み ベクトルを活用した新たな評価指標の検討を考えて いる.

## 参考文献

[1] Robert B. Brandom. Making it explicit: Reasoning, representing, and discursive commitment. Harvard university press, 1998

[2] Peter Blouw and Chris Eliasmith. Inferential role semantics for natural language. In CogSci2017, 2017.

[3] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In EMNLP Association for Computational Linguistics, 2015.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmara, Jakob Uszkoreit, LlionJones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, 2017.

[5] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pre-training. 2018.

[6] Alec Radford, Jeffrey Wua, Rewon Childa, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. In OpenAl blog 1.8 : 9, 2019.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In arXiv preprint arXiv:1810.04805, 2018.

[8] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: A method for automatic evaluation of machine translation. 40th Annual Meeting on Association for Computational Linguistics, pp. 311-318, 2002.

[9] Alon Lavie and Abhaya Agarwal. Meteor: An automatic metric for mt evaluation with high levels of correlation with human judgments. Second Workshop on Statistical Machine Translation, pp. 228-231, 2007.

[10] MatthewSnover, Bonnie Dorr, Richard Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation. 7th Conference of the Association for Machine Translation in the Americas: Technical Papers, 2006.

[11] Kavita Ganesan. Rouge 2.0: Updated and improved measures for evaluation of summarization tasks. arXiv preprint arXiv:1803.01937, 2018.

[12] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. arXiv preprint arXiv:1908.10084, 2019.

[13] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. International Conference on Learning Representations, 2020.

[14] Hugging face - the ai community building the future., （2022-1 閲覧）. https://huggingface.co.
 樫原佑哉 ${ }^{1}$ Bisser Raytchev $^{1}$ 金田和文 ${ }^{1}$ 檜垣徹 ${ }^{1}$ 1 広島大学大学院 先進理工系科学研究科 ビジュアル情報学研究室 \{yuya-kashihara,bisser,kin, higaki\}@hiroshima-u.ac.jp  