# 表の段階的な縮小による biography 生成

金子知弘船越孝太郎奥村学
東京工業大学
\{kaneko, funakoshi, oku\}@lr.pi.titech.ac.jp

## 概要

本研究では，人物情報に関する表から説明文を生成する biography 生成における壳長性の改善と網羅性の向上に取り組む。一般に生成モデルでは, 繰り 返しなどの冗長な出力を行う問題があり, biography 生成に打いても表内の項目を複数回記述して兄長 な出力を行ってしまうことがある. 本研究では， biography 生成における冗長な生成を制御する方法 の 1 つとして，表中から記述済みの項目を削除し，表を段階的に縮小する手法を提案する。実験では， SynthBio データセットを用い，自動評価において冗長性の改善，網羅性の向上を確認した.

## 1 はじめに

自然言語処理分野では，表 [1] やグラフ [2]な ど，構造化されたデータからのテキスト生成が重要な課題として位置付けられている。その中で Table-to-text タスク [3,4] は, 図 1 亿示すように, 表 を入力し，表の内容を自然言語で記述するタスクで ある. 生成されたテキストにより，表内の情報の関連性を理解しやすくなる利点がある. 本研究では, その中でも，ある人物に関する情報をまとめた表を 対象に biographyを生成するタスクに取り組む。

一般に生成モデルでは, 繰り返しなどの冗長な出力を行う問題があり, biography 生成においても表内 の項目を複数回記述して冗長な出力を行うことがあ る. 例えば，高い生成性能を持つ事前学習済みモデ ル T5 [5]を Wikiperson データセット [6] で追加学習 しSynthBio データセット [7] で評価すると, 図 1 の ように，表内のセルが生成文で複数回記述され（赤色）㔯長な生成が起きている. さらに，㔯長な生成 により，記述されないセルが発生する（青色）.

本研究は,このような内容記述の壳長性を減らす とともに網羅性を上げることを目的とし，表内から 記述済みのセルを削除し，表を段階的に縮小する手法を提案する.この手法ではまずどのセルが記述さ

Sylvia Audrey Mabika is a Zimbabwean poet and novelist. Sylvia
Audrey Mabika was born in Harare, Zimbabwe Zimbabwe. Sylvia
Audrey Mabika was born in Harare, Zimbabwe Zimbabwe to a
Zimbabwean mother and a Zimbabwean mother. Sylvia Audrey
Mabika's first novel The Reluctant Muse was published in 2007. Sylvia
Audrey Mabika's first novel The Reluctant Muse was published at Yale
University. mabika's first novel The Reluctant Muse was published in
English.

図 1 Table-to-text タスクの表と生成文の例. 表内の赤色 のセルは，生成文の赤色の単語列で複数回記述されてい る. 一方，表内の青色のセルが記述されていない.

れたかを判定し，その後記述されたと判定されたセ ルはクロスアテンションにおいてマスクを行う。こ れにより，人物情報に関する，より理解しやすい表 の内容記述を生成することができる。

近年，人間のアノテータが介入したSynthBio デー タセットが提案され，biography 生成汐けるモデ ル性能をより適切纪評価できるようになった。そこ で, 本研究でも SynthBio データセットを用いて評価 を行い，自動評価においで兄長性の改善と網羅性の 向上を確認した。

## 2 関連研究

人物情報の表から biographyを生成するタス ク $[8,9]$ は, 文生成を目的とした WikiBio データセッ ト [1] とテキスト生成を目的とした Wikiperson デー

図 2 提案手法の流れ. 色付きの文字は，記述されたと判定されたセルとそのセルに該当する出力文の単語列を表す.

タセットで研究されてきた。例えば，Liu ら [10]の 入力にエンティティ情報を結合した学習方法, Wang ら [9] の表とテキストの類似性を制約に加算した生成フレームワーク, Tian ら [11] のデータからスコア を学習する変分ベイズ学習フレームワークなどがあ る. Wang ら [8] は, 忠実度と網羅性の向上を目的と した 2 段階モデルを提案し，従来の最先端モデルの スコアを凌駕した.このモデルは，1 段階目で生成 すべき単語を抽出し，2 段階目でその抽出した単語 を元に，単語の削除と挿入を繰り返し行うことでテ キスト生成を行っている. しかし，この手法ではモ ジュールが多くモデルが複雑化している.

## 3 提案手法

本節では， biography 生成における冗長な生成 を制御する手法として，記述された表内のセル を削除し，表を段階的に縮小する手法を説明す る.まず biography 生成では，表 $T$ を入力とし，説明文 $Y=\left.\{y_{1}, y_{2}, \cdots, y_{m}\right.\}$ を生成する. 表 $T$ は $T=\left.\{c_{1}, c_{2}, \cdots, c_{n}\right.\}$ のようにセル $c_{i}$ の集合として形式化され，セル $c_{i}$ は $c_{i}=\left.\langle k_{i}, v_{i}\right.\rangle$ のようにキー値 $k_{i}$ とバリュー值 $v_{i}$ のペアで構成される. ただし，表 $T$ をモデルに入力するときは，表の構造をモデルが 理解しやすくするため，バリュー値の前後に 2 つ の特別なトークン $<\mathrm{SP} 1>\cdot<\mathrm{SP} 2>$ を挿入する. 例え ば, <birth date, 10 April 1912>は, birth date <SP1> 10 April $1912<$ SP2>とモデルに入力する.

具体的な提案手法の流れを図 2 に示す.まず，表 から 1 文目が生成されたら, 表内のどのセルが記述 されたかの判定を行う（図 2 (1). 次に，記述された と判定されたセルは表から削除する（図2 (2)）そし
て，縮小された表を元に 2 文目を生成し，再び 2 文目において表内のどのセルが記述されたかを判定し (図 2 (1) ), 記述されたと判定されたセルは表から削除する (図 2 (2)').この一連の流れを，表内のセル がなくなるまで繰り返し行うことで，㔯長性を減ら すと共に網羅性を上げる.

## 3.1 どのセルが記述されたかの判定

学習時，デコーダにどのセルが記述されたかを表 すへッドを構築することで判定を行う. 具体的な ヘッド構築の流れを図 3 に示す. まず，エンコーダ の隠れ状態からセル表現を構築する（図 3 (1)）。次 に, 出力文の各トークンからセル表現へのアテン ションスコア（図 3 (2) を計算する。をして，事前 に作成した教師データ（図 3 (3) ) とアテンションス コアからクロスエントロピー損失を計算する. 最後 に，クロスエントロピー損失を言語モデルの学習損失に加算する.

推論時は，構築したヘッドのアテンションスコア を元に，どのセルが記述されたかの判定を行う. 具体的には，生成したトークンからあるセル表現への アテンションスコアが，事前に設定した間値を上回った場合，そのセルは「記述された」と判定する.

セル表現の構築エンコーダの隠れ状態からセル 表現をまず構築する.しかし，セルに含まれる全て のトークンの隠れ状態からセル表現を構築すると， セル同士でテキストが異なるため，隠れ状態の次元数も異なる. その結果，セル同士でセル表現の次元数も異なってしまう．そこで，モデル入力において 各セルに付加した特別なトークン ( $<\mathrm{SP} 1>,<\mathrm{SP} 2>)$ の隠れ状態を結合したものをセル表現として利用す

図 3 どのセルが記述されたかを表すへッドの構築の流れ. (1)は，セルの隠れ状態からセル表現を構築する手順. 例え ば，＜birth date,10 April 1912> はセル表現 $\mathrm{CR}_{\text {birth date }}$ となる. (2)は，出力文の各トークンから各セル表現へのアテンション スコア (青色).(3は，出力文の各トークンから各セル表現への教師データ（緑色）. 例えば，出力文の 10 April 1912 とい うトークン列は，<birth date,10 April 1912> のセル表現 $\mathrm{CR}_{\text {birth date }}$ への教師データが 1 で，それ以外は 0 である.

る. 具体的には，セル $c_{i}$ に対してのセル表現 $\mathrm{CR}_{i}$ は，

$
\mathrm{CR}_{i}=\operatorname{concat}\left(h_{\mathrm{SP}_{i}}, h_{\mathrm{SP}_{i}}\right)
$

となる.ここで, $h_{\mathrm{SP}_{1}}$ と $h_{\mathrm{SP}_{i}}$ はそれぞれセル $c_{i}$ の 特別なトークン $<\mathrm{SP} 1>と<\mathrm{SP} 2>$ の隠れ状態である.

アテンションスコアの計算 Transformer モデ ル [12] の出力文のトークンから入力文のトークンへ のアテンションスコアの計算方法と同様に，出力文 のトークン $y_{j}$ からセル表現 $\mathrm{CR}_{i}$ へのアテンション スコア $A_{i, j}$ を計算する.

$
A_{i, j}=\operatorname{softmax}\left(K_{\mathrm{CR}_{i}} Q_{j}\right)
$

ここで， $K_{\mathrm{CR}_{i}}$ と $Q_{j}$ は

$
\begin{aligned}
K_{\mathrm{CR}_{i}} & =W_{\mathrm{CR}} \times \mathrm{CR}_{i} \\
Q_{j} & =W_{y} \times y_{j}
\end{aligned}
$

であり， $W_{\mathrm{CR}}$ と $W_{y}$ は学習可能な重み行列である.

クロスエントロピー損失の計算 出力文のトー クン $y_{j}$ からセル表現 $\mathrm{CR}_{i}$ へのアテンションスコア $A_{i, j}$ と教師データ $L^{n \times m}$ からクロスエントロピー損失を計算する.

$
\operatorname{loss}_{\mathrm{attn}}=\frac{1}{m} \sum_{1 \leq j \leq m} \frac{1}{n} \sum_{1 \leq i \leq n} L_{i, j} \log A_{i, j}
$

ここで，教師データ $L$ は

$
\begin{array}{ll}
L_{i, p: q}=1, L_{l(\neq i), p: q}=0 & \left(y_{p: q}={ }^{\exists} v_{i}\right), \\
L_{l, p: q}=\frac{1}{n} & \left(y_{p: q} \neq{ }^{\forall} v_{i}\right)
\end{array}
$

である. 式(6) は，あるセル $c_{i}$ のバリュー值 $v_{i}$ と出力文の単語列 $y_{p: q}$ が完全一致1) するとき, 出力文の

1）同じ表内で包含関係にあるバリュー値を持つ複数のセルが 存在する場合（例えば，セル<birth place，Columbia> とセル <university, Columbia University> がある場合), 出力文と最長で完全一致しているセルを優先する.単語列 $y_{p: q}$ からセル表現 $\mathrm{CR}_{i}$ への教師データは 1 であり，それ以外のセル表現 $\mathrm{CR}_{l(\neq i)}$ への教師デー タは 0 であることを意味する。式 (7) は，出力文の トークン列 $y_{p: q}$ が全てのセルのバリュー值と完全一致しないとき2), 出力文の単語列 $y_{p: q}$ から全てのセ ル表現への教師データは $\frac{1}{n}$ であることを意味する.

言語モデルの学習損失への加算 計算したクロス エントロピー損失 $\operatorname{loss}_{a t t n}$ を言語モデルの学習損失 $\operatorname{loss}_{\mathrm{LM}}$ に加算する.

$
\text { loss }=\operatorname{loss}_{\mathrm{LM}}+\operatorname{loss}_{\mathrm{attn}}
$

どのセルが記述されたかの判定を行う手法を説明してきたが，この手法では，生成文に対してどの セルも記述されていないと判定する場合がある. そ のような場合には，記述されたと未だ判定されてい ないセルの中で，生成文の各トークンからのアテン ションスコアが最大のセルをまずリストアップし, その中で最大のアテンションスコアであるセルを記述されたと判定する。

## 3.2 表内のセルの削除

表内のセルの削除は，Transformer モデル [12] の クロスアテンションをマスクすることで仮想的に 行う．クロスアテンションとは，文生成時に入力の どこに注目するかを表す機構なので，クロスアテン ションをマスクするということは，入力の表の特定 のセルに注目させず記述させないことを意味する。

一般に biography 生成用のデータセットでは，表 1 に示すように，セルが参照文で 2 回以上言及される

2）これは, 出力文の単語列 $y_{p: q}$ がどのセルも記述していな いことを意味し, 文章構成上必要な単語列などについてのも のである
表 1 Wikiperson でセルが参照文で言及される回数.

表 2 Wikiperson と SynthBio の統計量.

ことがある．このように参照文で 2 回以上言及され るセルは冗長であると考え，学習時はセルが最後に 言及された時点でマスクし，推論時は 1 回目に記述 された時点でマスクする。

## 4 実験

## 4.1 実験設定

学習データには Wikiperson データセット，検証・評価データには Wikiperson データセットと SynthBio データセットを用いた. これらのデータセットの統計量を表 2 に示す.

自動評価では，PARENT [13] と PARENT-T [9]を 評価指標として用いた. PARENT は，表と参照文の 両方との, n-gram 単位での生成文の一致度を測る。 PARENT-T は，表のみを考慮した n-gram 単位での生成文の一致度を測る。テキスト長は, SentencePiece 3)を用いて文字列をトークン化し，トークン単位で 生成テキストの長さを測ったものである.

先行研究 [8] は SynthBio データセットで評価して おらず，また， Wikiperson データセットでは T5 モ デル [5] が先行研究 [8] よりも PARENT F1 が良いた め, ベースラインとしては, T5 モデルと, 繰り返し 抑制の既存研究である, repetition penalty [14] を T5 上に実装したモデル（rep. penalty モデル）を用い た. 提案モデルも $\mathrm{T} 5$ 上で構築する.

より具体的には, 本研究の実装には Huggingface [15] を用いた. モデルは T5-small を使用し， ヘッド数は 8 , 層数は 6 である. 初期学習率は $5 \mathrm{e}-05$ で, Adam optimizer [16] $\left(\beta_{1}=0.9, \beta_{2}=0.999\right)$ により パラメータを最適化した. 学習は最大 60 エポック 行い，最も検証データに対する損失の低いモデルを 選択した。最大テキスト長は 512 で，語彙サイズは 32,103 である．学習バッチサイズは 64 である．検


表 3 自動評価結果 (Wikiperson).

表 4 自動評価結果（SynthBio）.

$\frac{\text { PARENT }}{\text { Pre. Rec. F1 }} \frac{\text { PARENT-T }}{\text { Pre. Rec. F1 } \text { テキスト長 }}$

証・評価時のビームサイズは 4 とした.

セルが記述されたと判定する閾値は，検証データ でチューニングした結果， 0.50 とした. また，ベー スラインモデルの repetition penalty 値は，検証デー タでチューニングした結果， 1.90 とした.

## 4.2 実験結果

Wikiperson による評価結果を表 3 に，Synthbio に よる評価結果を表 4 に示す. Wikiperson による評価において，提案モデルはベースラインモデルよ りも，PARENT F1，PARENT-T F1 が低い，提案モデ ルは推論時，セルが 1 回目で記述されたらマス クするため，1つのセルは 1 回のみ記述される. Wikiperson は表 1 に示すように，セルの約 $18.0 \%$ が 2 回以上言及されるため, Wikiperson において提案手法の有効性が示せなかったと考えられる。

それに対して，SynthBioによる評価において，提案モデルの PARENT F1, PARENT-T F1 ともにベース ラインモデルよりも高い. 提案モデルはベースライ ンモデルと比較してテキスト長が短くなっており， しかも評価指標の F1 が向上していることから，㔯長性が減った上で網羅性が向上したことがわかる.

## 5 結論

本研究では，冗長性の改善と網羅性の向上を目的 として，記述された表内のセルを削除し，表を段階的に削除する手法を提案した. 評価実験の結果，提案モデルは PARENT, PARENT-T F1 ともにベースラ インモデルを上回った. 特に，提案モデルはベース ラインモデルと比較してテキスト長が短くなってお り, 評価指標の F1 が向上したことから, 穴長性が 改善した上で網羅性が向上したと言える.

## 謝辞

本研究を実施するにあたり，産業技術総合研究所人工知能研究センター 高村大也氏, 奈良先端科学技術大学院大学 上垣外英剛准教授, 東京工業大学 小林尚輝氏に大変お世話になりました. 深く感謝申し 上げます.

## 参考文献

[1] Rémi Lebret, David Grangier, and Michael Auli. Neural text generation from structured data with application to the biography domain. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pages 1203-1213, Austin, Texas, November 2016. Association for Computational Linguistics.

[2] Soichiro Murakami, Akihiko Watanabe, Akira Miyazawa, Keiichi Goshima, Toshihiko Yanase, Hiroya Takamura, and Yusuke Miyao. Learning to generate market comments from stock prices. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1374-1384, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[3] Jekaterina Novikova, Ondřej Dušek, and Verena Rieser. The E2E dataset: New challenges for end-to-end generation. In Proceedings of the 18th Annual SIGdial Meeting on Discourse and Dialogue, pages 201-206, Saarbrücken, Germany, August 2017. Association for Computational Linguistics.

[4] Lya Hulliyyatus Suadaa, Hidetaka Kamigaito, Kotaro Funakoshi, Manabu Okumura, and Hiroya Takamura. Towards table-to-text generation with numerical reasoning. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 14511465, Online, August 2021. Association for Computational Linguistics.

[5] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, 21(140):1-67, 2020.

[6] Qingyun Wang, Xiaoman Pan, Lifu Huang, Boliang Zhang, Zhiying Jiang, Heng Ji, and Kevin Knight. Describing a knowledge base. In Proceedings of the 11th International Conference on Natural Language Generation, pages 10-21, Tilburg University, The Netherlands, November 2018. Association for Computational Linguistics.

[7] Ann Yuan, Daphne Ippolito, Vitaly Nikolaev, Chris Callison-Burch, Andy Coenen, and Sebastian Gehrmann. Synthbio: A case study in faster curation of text datasets. In Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2), 2021.
[8] Peng Wang, Junyang Lin, An Yang, Chang Zhou, Yichang Zhang, Jingren Zhou, and Hongxia Yang. Sketch and refine: Towards faithful and informative table-to-text generation. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pages 48314843, Online, August 2021. Association for Computational Linguistics.

[9] Zhenyi Wang, Xiaoyang Wang, Bang An, Dong Yu, and Changyou Chen. Towards faithful neural table-to-text generation with content-matching constraints. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 1072-1086, Online, July 2020. Association for Computational Linguistics.

[10] Tianyu Liu, Xin Zheng, Baobao Chang, and Zhifang Sui. Towards faithfulness in open domain table-to-text generation from an entity-centric view. Proceedings of the AAAI Conference on Artificial Intelligence, 35(15):13415-13423, May 2021.

[11] Ran Tian, Shashi Narayan, Thibault Sellam, and Ankur P. Parikh. Sticking to the facts: Confident decoding for faithful data-to-text generation. CoRR, abs/1910.08684, 2019.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, volume 30. Curran Associates, Inc., 2017.

[13] Bhuwan Dhingra, Manaal Faruqui, Ankur Parikh, MingWei Chang, Dipanjan Das, and William Cohen. Handling divergent reference texts when evaluating table-to-text generation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 4884-4895, Florence, Italy, July 2019. Association for Computational Linguistics.

[14] Nitish Shirish Keskar, Bryan McCann, Lav R. Varshney, Caiming Xiong, and Richard Socher. CTRL: A conditional transformer language model for controllable generation. CoRR, abs/1909.05858, 2019.

[15] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pages 38-45, Online, October 2020. Association for Computational Linguistics.

[16] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.
 金子知弘船越孝太郎奥村学 東京工業大学 \{kaneko, funakoshi, oku\}@lr.pi.titech.ac.jp  