# 事前学習済み Transformerを用いた Data-to-text における入力順序の影響分析

矢野祐貴須藤克仁 中村哲
奈良先端科学技術大学院大学
\{yano.yuki.ytø, sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

Data-to-text は構造化データを入力として非構造化データである自然言語文を生成するタスクであ る [1]. 具体的に，構造化データは表や知識グラフ などの様々な形式で与えられ，出力はこれらの入力 を説明あるいは要約する自然言語文である。また,構造化データはいずれの形式においてもレコードの 集合として定式化する事ができる.

近年では，ニューラルネットワークを用いた モデルが高い性能を発揮しており, 特に，知識グ ラフを入力形式とするデータセットにおいては， Transformer [2] の事前学習済みモデルである T5 [3] を用いた研究が state-of-the-art の精度を達成し, 強力なベースラインとなっている $[4,5]$. 一方で，ス コアボードの表のような複雑な表形式の構造化デー タを入力とするデータセットにおいては，レコード の順序やそのコンテンツのプランニングおよび選択 が生成の精度に大きく寄与することが示され，注目 を集めている [6].

これまでの知識グラフを入力形式とする T5を用 いた研究では，知識グラフを線形化によってコンテ ンツの系列として入力する. ここで構造化データを 構成するレコードの順序は考慮されておらず，文献 [6] のような順序のプランニングも行われず，頒布されたデータセットにおける順序がそのまま利用 されている．そこで本研究では， $\mathrm{T} 5$ を用いた知識 グラフを扱う Data-to-text モデルに対し, 入力レコー ドの順序が生成文に及ぼす影響を調査する。

実験では，Data-to-text で標準的に用いられる 知識グラフとその説明文のデータセットである WebNLG [7] を用いて，T5を用いた最初の Data-totext モデル [4] に対し, 学習用およびテスト用デー タのレコードを「そのままの順序」／「シャッフル した順序」の 2 パターンで Fine-tuning および生成を行う。それぞれのパターンの生成結果を BLEU [8] などの自動評価指標で評価し，レコード順序による 生成文への影響を分析する。また，生成結果の入力 レコード数ごとの BLEU 值を比較し，その傾向につ いて考察する。評価実験の結果，レコード順序をそ のままで Fine-tuning したモデルに，レコード順序 をシャッフルしたテストデータで生成すると，そ のままの順序で生成した結果よりも，BLEU 値が低下することが分かった. 対して，レコードの順序 をシャッフルして Fine-tuning すると，既知ドメイ ンのテストデータの BLEU 值が向上することが分 かった．また，レコード数ごとの解析では，順序の シャッフルによって，少ないレコード数の入力に対 して，BLEU 值が向上することが分かった。これら の評価実験の結果を通して，T5を用いたべースラ インに対しても，入力順序のプランニングが必要で あることが分かった.

## 2 関連研究

近年複数の Data-to-text のデータセットで，Textto-text transfer Transformer (T5) が state-of-the-art の精度を達成している $[4,5]$. T5 自体は，言語生成タス ク（機械翻訳や自動要約，質問応答生成など）を Text-to-text のフレームワークで解く Transformer [2] を用いたアーキテクチャであり，Colossal Clean Crawled Corpus (C4) で事前学習したモデルを下流夕 スクである各言語生成タスクに適応することで高い 精度を示している。

文献 [4] は，Data-to-textを T5 の下流タスクとして 解くための手法を調査している．構造化データを線形化しコンテンツの系列とした入力で Fine-tuning す るだけで，従来の語彙化やその解除，レコードごと の素性の設計などの作業を必要としない，完全な End-to-end で Data-to-text を解くことができる．結果 として, WebNLG, MultiWoz, ToTToの 3 つのデータ

\begin{abstract}
Amdavad ni Gufa location Gujarat Amdavad ni Gufa location Ahmedabad Amdavad ni Gufa country India India leaderName Narendra Modi
\end{abstract}

Amdavad ni Gufa location Ahmedabad India leaderName Narendra Modi Amdavad ni Gufa country India Amdavad ni Gufa location Gujarat

図 1 レコードのシャッフルと線形化

セットで state-of-the-art の精度を達成した。

また，この調査結果を踏まえて文献 [5] では， WebNLG などのグラフを入力形式とするデータに対 して，明示的にグラフ構造を与えることでさらなる 性能向上が出来ることを示した. 具体的には，線形化の際に各コンテンツの先頭に<Head>, <Relation>, <Tail>といったグラフを示すための特殊トークンを 挿入して Fine-tuningを行う.

これらの T5による精度向上が報告されている データセットの特徴として，参照文が入力レコード のほぼすべての情報について言及している点が挙げ られる。一方で，スコアボードの表のような複雑な 表データを入力とする場合，参照文で言及されない レコードが多くなるため, 生成内容の取捨選択を含 むプランニングが有効であるとされている [6].

本研究は，ほぼすべての入力情報への言及が必要 な WebNLG データにおける，レコードの入力順序 の影響を明らかにするものである.

## 3 実験

実験では，事前学習済み Transformer である T5を 用いた Data-to-text モデルに対しても，入力レコード の順序のプランニングが必要であるかを検証する。具体的には， 入力の構造化データを図 1 に示すよう に，レコードを構成するコンテンツはそのままで，順序をシャッフルしてから線形化を行い，T5 モデ ルへの入力とする. Fine-tuning 時の学習データと,生成時のテストデータに対して, 以下の 3 つの組み 合わせで実験を行う.

・もとのレコード順序で Fine-tuning したモデル を，もとのレコード順序で生成 (def-def)

・もとのレコード順序で Fine-tuning したモデ ルを，シャッフルしたレコード順序で生成 (def-shuf)
・シャッフルしたレコード順序で Fine-tuning した モデルを，シャッフルしたレコード順序で生成 (shuf-shuf)

ここで，もとのレコード順序とは，データセット の配布ファイルに記述されているそのままのレコー ド順序である．多くの場合，その整列について明記 されていないが，例えば図 1 の左上のように，主語 でソートされていたり，目的語が “India” のレコー ド次は，主語が “India” のレコードであるなど，人為的な整列が見受けられる。

実験の結果に対して，def-def をべースラインと し, def-shuf と比較することで，モデルがデータセッ トの順序を学習しているかどうかを検証する。ま た, shuf-shuf と比較することで，人為的な整列を崩 した入力を $\mathrm{T} 5$ モデルが学習できるかどうかを検証 する．今回の実験では，shuf-shuf の Fine-tuning 時の レコードのシャッフルは，データの読み込み時に 一度のみ行い, エポックごとのシャッフルは行わ ない.

## 3.1 データセット

実験には WebNLG [7] データセットを用いる. WebNLG は, DBpedia1)から抽出された Resource Description Framework トリプル（主語，述語，目的語の 3 つ組）の集合で表現される知識グラフと，ク ラウドソーシングによって収集された対応する知識 グラフの説明文から構成されている。学習, 開発お よびテストデータはそれぞれ，18,102 対，2,268 対， 4,928 対に分かれており，さらにテストデータは，学習，開発データに含まれている既知ドメインのデー タ（2,495 対）と含まれない未知ドメインのデータ (2,433 対）に分けられている.

1) DBpedia: https://wiki.dbpedia.org/
表 1 自動評価結果. 太字は同一事前学習モデルに対するスコアの最大值を示す.

} & \multirow[b]{2}{*}{ Testset } & \multicolumn{5}{|c|}{ 既知ドメイン } & \multicolumn{5}{|c|}{ 末知ドメイン } \\

## 3.2 実験設定

先行研究 $[3,4]$ に倣い, バッチサイズを 512 , 学習率を 0.001 として，学習データによる Fine-tuning を 行う．最適化には Adafactor [9]を使用する．T5 モデ ルの語彙は，SentencePiece [10] を用いてテキストを WordPiece トークン $[11,12]$ ヘエンコードし, 語彙 サイズは 3 万 2 千としている. 事前学習された $\mathrm{T} 5$ モデルのパラメータ数は，60万（T5-Small），220万 （T5-Base）および 770 万（T5-Large）の 3 種類を使用 する.

評価には，開発データに対して BLEU 値が最も高 いエポックのモデルパラメータを用いて，テスト データに対する生成を行った結果で比較する。ま た，学習は開発データに対する BLEU の最大値が 3 回更新されなかったエポックで早期終了する. 自動評価指標には，言語生成で用いられる，BLEU, NIST, METEOR, ROUGE-L, CIDEr を使用する.

## 3.3 実験結果

実験結果を表 1 に示す. まず，既知ドメインの結果について，モデルのすべてのパラメータサイズ， すべての自動評価指標で, shuf-shuf が def-def の結果を上回っている. 反対に，モデルのすべてのパラ メータサイズ，すべての自動評価指標で，def-shuf が def-def の結果を下回っている.

次に，未知ドメインの結果について，モデルのパ ラメータサイズが T5-Small および T5-Base の場合, def-def もしくは def-shuf の結果が shuf-shuf の結果を 上回っている. 一方, モデルのパラメータサイズが T5-Large の場合には， METEOR 以外の評価指標で， shuf-shuf の生成結果が def-def および def-shuf を上回っている.

全体の結果として，既知ドメインで最も良い精度を達成したのは，モデルのパラメータサイズ T5-Base に対する shuf-shuf の生成結果であり，未知 ドメインで最も良い性能を示したのは，モデルのパ ラメータサイズ T5-Large に対する shuf-shuf の生成結果である。これらのことから，レコード順序を シャッフルして Fine-tuning することが生成文の精度向上に効果的であることが分かる.

## 3.4 考察

前節で示した結果について，既知ドメインの結果 では，シャッフルした順序で Fine-tuning することに より，順序に依存せず，各ドメインごとの汎化した 文生成を行う能力を得ることが出来たといえる.

未知ドメインの場合では，モデルのパラメータサ イズ T5-Small と T5-Base で各指標の向上が見られな かったが，これは学習したドメイン外の知識につ いて，このパラメータサイズでは，事前学習およ び Fine-tuning 時に獲得することが出来ていなかっ たといえる. そのため，もともとの人為的な順序で Fine-tuning した def-def が，生成時にもその人為的な 順序を手がかりとして生成した結果，shuf-shuf より も高い精度を示したと考えられる。

一方で，モデルのパラメータサイズ T5-Large で は，METEOR を除いて shuf-shuf が高い精度を達成 している。これは T5-small および T5-Base とは反対 に，パラメータサイズの大きい T5-Large では，事前学習および Fine-tuning の時点で未知ドメインへの 表現能力を獲得したため, 既知ドメインと同様に， シャッフルすることで順序に依存しない汎化した文生成が出来たと考えられる。
表 2 レコード数 $(n)$ ごとの BLEU 值

## 3.4.1 レコード数ごとの比較

各生成文を入力レコード数ごとに分け，個別に BLEU を計算した。表 2 に，その計算した BLEU 值 を示す。また，学習用データおよびテストデータの レコード数ごとの件数と, その平均レコード数を 表 3 に示す.

既知ドメインのレコード数 $n \leq 5$ のデータに対し て，すべての設定において，shuf-shuf は def-def あ るいは def-shuf よりも高い精度を示す傾向がみられ た. 一方で, 既知ドメインのレコード数 $n=6,7$ で は，def-def および def-shuf に対する shuf-shuf の有効性は陽に見られなかった.このことから，シャッフ ルして学習するだけでは, 学習データの平均値の倍以上のレコード数をもつ入力に対しての表現方法 を獲得することが出来ず，未知ドメインにおける T5-Small や T5-Base と同様に，もとの順序情報が生成の手助けをしたことで def-def の生成が高い精度 を示したと考えられる。

未知ドメインのレコード数 $2 \leq n \leq 4$ では，表 1 の未知ドメインの結果に対する考察と同様の事が 言える. しかし, レコード数 $n=1$ では, T5-Small および T5-Base においても shuf-shuf が高い精度を示 している.この結果から，もとのレコード順序で
Fine-tuning することは，単一レコードに対する文生成の精度を犠牲にした上で複数レコードを持つ入力を学習していると考えられる. 反対に，レコード 数 $n=5$ では, T5-Large においても shuf-shuf による 精度向上が見られない. 加えてレコード数 $n=4$ に ついても， $1 \leq n \leq 3$ の精度向上に比べて低い.これ らは，学習データの平均レコード数 $n=2.97$ を中心 にシャッフルによる汎化性能を獲得したため，既知 ドメインのレコード数 $n=6,7$ と同様に，レコード 数をもつ入力に対してはレコードの順序情報が文生成に大きく影響していると考える.

実験全体を通した結果から，レコード順序を シャッフルして入力することがデータ拡張になって いるとも考えられ，今後さらに検証が必要である。

## 4 おわりに

本稿では，T5を用いた Data-to-text モデルに対し，入力レコードの順序が生成文に及ぼす影響について 検証した。自動評価指標による評価実験を通じて， T5 モデルが Fine-tuning 時にレコード順序も同時に 学習することを確認し，モデルのパラメータサイズ が十分大きい場合，レコード順序をシャッフルして Fine-tuning すると生成文の精度が向上することを確認した. 今後は, Fine-tuning 時にエポックごとでレ コード順序をシャッフルした場合の T5 モデルの挙動の検証や，T5 モデルおよび知識グラフを入力形式とする場合の適切な順序のプランニング手法の考案などをしていきたい。

## 謝辞

本稿の研究は，株式会社ウェザーマップの助成を 受けた。

## 参考文献

[1] Ehud Reiter and Robert Dale. Building Natural Language Generation Systems. Cambridge University Press, 2000.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proc. of NIPS 2017, pp. 5998-6008, 2017.

[3] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[4] Mihir Kale and Abhinav Rastogi. Text-to-text pre-training for data-to-text tasks. In Proc. of INLG 2020, pp. 97-102, 2020.

[5] Leonardo F. R. Ribeiro, Martin Schmitt, Hinrich Schütze, and Iryna Gurevych. Investigating pretrained language models for graph-to-text generation. arXiv:2007.08426, 2020.

[6] Ratish Puduppully, Li Dong, and Mirella Lapata. Datato-text generation with content selection and planning. In Proc. of AAAI 2019, pp. 6908-6915, 2019.

[7] Claire Gardent, Anastasia Shimorina, Shashi Narayan, and Laura Perez-Beltrachini. The WebNLG challenge: Generating text from RDF data. In Proc. of INLG 2017, pp. 124-133, 2017.

[8] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proc. of ACL 2002, pp. 311-318, 2002.

[9] Noam Shazeer and Mitchell Stern. Adafactor: Adaptive learning rates with sublinear memory cost. In Proc. of ICML 2018, Vol. 80, pp. 4603-4611, 2018.

[10] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proc. of EMNLP 2018, pp. 66-71, 2018.

[11] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proc. of ACL 2016, pp. 1715-1725, 2016.

[12] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proc. of ACL 2018, pp. 66-75, 2018.
 矢野祐貴須藤克仁 中村哲 奈良先端科学技術大学院大学 \{yano.yuki.ytø, sudoh, s-nakamura\}@is.naist.jp  