# QulC-360： $360^{\circ$ 画像に対する クエリ指向画像説明文生成のためのデータセット構築
}

前田航希 1,3 栗田修平 1 宮西大樹 2,1
1 理化学研究所 AIP, ${ }^{2}$ 国際電気通信基礎技術研究所 (ATR), ${ }^{3}$ 東京工業大学
\{koki.maeda, shuhei.kurita\}@riken.jp, miyanishi@atr.jp

## 概要

$360^{\circ}$ 画像は一般的な画像と比較して，撮影者によ る情報の取捨選択が行われないため，多くのコンテ クストを同時に含む．既存の画像説明文生成では， コンテクストを画像情報のみから読み取るが， $360^{\circ}$画像に対しては，画像に加えて補助的な情報を付加 することで，記述するコンテクストを指定すること が必要になる。本研究では，画像に加えて言語情報 （クエリ）を与えることで説明文生成を制御するク エリ指向説明文生成を提案し，そのためのデータ セットとして 5,800 枚の $360^{\circ}$ 画像と 22,956 文の説明文からなるQuIC-360 を構築した. QuIC-360に よる再学習で， $360^{\circ}$ 画像に対してクエリを用いるこ とで説明文生成の制御性・多様性が高まることが確認された。

## 1 はじめに

画像説明文生成は，画像に含まれる内容を自然言語で自動的に記述する課題である [1]. 近年の画像説明文生成では，Attention 機構を導入するなどコン テクスト，すなわち画像の中で記述されるべき特徴 への注目を行う手法が提案されてきた [2]. Cornia ら [3] は画像の注目すべき領域の集合や順序を補助的な情報として与えることで生成される説明文 を制御することを提案している。これまでの画像説明文生成では，主にモデル作成側の設計により 画像情報からコンテクストへの注目が行われてい る. Microsoft COCO Captions [4] などの既存のデー タセットに含まれる画像では，撮影時に視野角の制約から対象の選択が行われている。撮影された画像 のコンテクストは限定的で，大きく異なるコンテク ストが複数含まれることは想定されてこなかった。

一方で，全方位カメラによって撮影された $360^{\circ}$画像では，通常画像にある視野角の制約がなく，対象物の選択が行われないため撮影された情景（シー ン）全方向への情報を含む． $360^{\circ}$ 画像を利用した シーンからの説明文生成は，ライブカメラや監視カ メラといったシーンカメラを用いたテキスト実況 や，自動運転車や自動配達ロボット等に付属したカ メラが撮影した画像を用いたテキスト伝達 [5] など に応用できる. 画像の説明文生成で $360^{\circ}$ 画像の特性を活かすには，通常画像と比較して注目するコン テクストやユーザの需要に応じて説明文生成を制御 することがより重要になる。

本研究では，画像に加えて単語や短いフレーズと いった言語情報をクエリをとして入力することで説明文生成を制御するクエリ指向画像説明文生成を提案し，データセットとして QuIC-360 (Query-based Image Captioning for multi-context $360^{\circ}$ images) を構築 した. 図 1 に課題の概要を示す. 天気や花壇，周囲 の往来など複数のコンテクストを持つ画像に対し て，注目する対象に応じて異なる画像説明文が記述 されることが期待される。しかし，一般的な説明文生成では，画像全体を言及するが目的に合わせた詳細な記述が行われない。提案課題は「人々」や「風景」といった具体的な記述対象を事前に与え，より 具体的な説明文を作成することを目的としている。

我々は 5,800 枚の $360^{\circ}$ 画像に対して，クエリに基 づいた 22,956 文の説明文を収集した．既存の最先端の画像説明文生成モデルを QuIC-360 を用いて再学習させることで，(i) 説明文生成の制御性が高く なること，また，(ii) 生成された説明文はより多様 であったことが確認された. クエリ指向説明文生成 は、既存手法が抽象的な説明文を生成する問題を解決できる。構築したデータセットは一般に公開され ている1).

図 1 クエリ指向画像説明文生成 (QuIC) の概要.

## 2 関連研究

## 2.1 画像説明文生成の制御

説明文生成も他の多くの言語課題と同じように， Attention 機構の利用によって研究が大きく進展し た [2]. モデルの進歩につれて，ユーザが利用する 用途や文脈によって，同じ画像について異なる説明文が求められるようになった。近年では与えられた 画像に記述される対象の優先順位を付与して説明文生成を制御する研究が行われている. 付与された情報は，生成過程でモデルに補助となる特徴として利用される. 補助的な情報の例として，画像に付与さ れた領域 $[3,6]$ やマウスの軌跡 [7]，抽象シーングラ フ [8] などがある.

QuIC も画像の補助的な情報として言語情報を付与するという点で制御可能な説明文生成手法の一つ である。しかしながら，QuIC は画像に関する情報 ではなく，自然言語を用いた言語情報をシグナルと して与える点で既存の研究と異なる.

## 2.2 視覚的質問応答

視覚的質問応答は，画像と質問を入力として，そ れに対する回答を自動的に生成する課題である [9].画像の局所的な部分に着目し適切な記述を行うとい う点では本研究に類似しており， $360^{\circ}$ 画像を用いた 研究も行われている $[10,11]$. しかしながら，視覚的質問応答は質問に対応する回答の長さが短い傾向 があり [12], 実際に視覚的質問応答は事前に定めら れた限られた回答語彙の中からの選択モデルとして 動作させる事が多い. 本研究は, 視覚的質問応答に おける回答が限られていることを念頭に置き，単語
および数語の自然言語で与えられたクエリに応じて 画像の説明文を制御する手法を提案する。

## $2.3360^{\circ$ 動画像データセット}

全方位カメラで撮影された動画像を収集したデー タセットは数多く構築されてきた $[13,14,15,16]$. しかし, 既存のデータセットは撮影環境が室内に限 られたもの $[17,18]$ や，車載カメラや HMD によっ て撮影されたもの $[19,20,5,21]$ など画像の対象や環境に偏りがみられる. 本研究に近いデータセットと して, 60,000 枚以上の屋内・屋外で撮影された $360^{\circ}$画像からなる SUN360 [22] があるものの，現在では 公開が停止されている 2$)$. 本研究では，新たにイン ターネット上から多様な画像を収集し, 画像の取得方法と付与された説明文を公開することでデータ セットを一般に利用可能な状態とする.

## 3 QulC- $360^{\circ$ データセット}

## $3.1360^{\circ$ 画像の収集}

これまで作成されてきたデータセットは，その シーンや目的に応じて画像のドメインを制限してき た. 一般的に，屋内画像は物体が密集しており，屋外画像は撮影者を中心とした特定の活動を捉えた画像が多く，物体は疎である [23]. しかし，どのシー ンにおいても全方位を撮影した画像について，コン テクストは一つに限られることは少ない。したがっ て，我々は撮影地点を区別せず画像を収集した。ま た画像の可用性を確保するために，これまで開発さ れてきたデータセットに含まれる 360 度画像を利用

2） 後述のように Refer $360^{\circ}$ として公開されている一部の画像以外は公開されておらず，著者はメールに反応しなかった。

することを避け，新たに画像を収集した，画像はイ ンターネット上の画像投稿サイトの Flickr を用いて 12,930 枚の画像を収集した。

データセットの品質を高めるために，以下の手順 で収集した画像をフィルタした. まず，画像の形式 を統一するために正距円筒図法で保存されている画像以外を除去した．次に，同一地点での類似した画像を取り除くことを目的として同一ユーザの投稿時刻の差が 1 時間以内であるものを除去した. さら に，画像の多様性と可用性を最大化するために，同一ユーザの投稿が 100 枚以下となるようランダムに 画像を破棄して，合計で 3,800 枚の画像を取得した.

また，補助的なデータセットとして Refer $360^{\circ}$ [24] に含まれる 2,000 枚の画像を利用した. 画像は現在 では利用不可能となっている SUN360 ${ }^{\circ}$ [22] の一部 である. 本研究ではこれらの画像と付与された説明文は全て追加の訓練データとして扱う.

## 3.2 説明文の付与

収集した画像に付与される説明文は，画像の特徴 を捉えて詳細に記述されていることが望ましい。ク エリは詳細な記述を行うための指針として重要で ある. 既存の画像の分類カテゴリはデータセット によって様々であり, 標準的な分類が存在しない.我々は実際に収集した画像を人手で確認し，画像を 記述するためのクエリを 34 種類作成した.

収集した画像への説明文の付与のために, Amazon Mechanical Turk (MTurk)を用いて評価者を雇用した。評価者は異なる 3 つのクエリを選択し，そのクエリ に関連する説明文を作成する ${ }^{3}$ ．単純な説明文を抑制するため，評価者に 8 語以上での回答を要求し た. 不適切な回答を自動および人手で破棄し，合計 22,956 文の説明文を収集した。

## 3.3 統計量

QuIC-360 は 5,800 枚の画像に，34 個のクエリに 関する 22,956 文の説明文を付与したデータセット である. 画像に対してそれぞれのクエリが選択され た回数は表 1 の通りである. 訓練・検証・評価デー タの分割は表 2 に示すように行った。評価データに ついては画像・クエリの組に対して 4 件以上の説明文が付与されるようにした. 同一クエリに対する説明文数を増やすために，評価データの各画像は初め

3） Appendix Aにアノテーションに用いたページのスクリー ンショットを示す.

表 1 それぞれのクエリが画像に対して選択された回数.

表 2 QuIC-360におけるデータセット分割と統計量

の評価者が選択したクエリを指定して 2 人目以降の 評価者に説明文を付与させた。

## 4 実験

## 4.1 実験設定

クエリ指向説明文生成は，画像に加えて言語情報 としてクエリを入力とする．そのため，通常の説明文生成モデルと入力形式が異なり，全ての手法に対 して即座に利用できない。そこで，検証を行うため の説明文生成モデルとして説明文生成課題で最先端 の性能を持つ OFA [25]を採用した。

OFA は Transformer をもとにしたエンコーダ・デ コーダモデルであり，種々の言語および画像を用い た課題を統合した機構である。 OFA における説明文生成では，生成モデルへの入力として画像情報に 加えて “What does this image describe?”というプロン プトを与える。提案手法ではプロンプトに追加す る形でクエリを補助的な情報として与えた。具体的には，クエリが “location”であれば“What does this image describe on location?” とした. 公開されている 事前学習済みモデルを利用した. ただし，利用し たモデルは $360^{\circ}$ 画像を用いた大規模な事前学習を 行っていないことは留意すべきである.

再学習による効果を検証するために，事前学習済 みモデルに対して QuIC-360による (i) 再学習しな い (None)，(ii) 再学習したがクエリを補助的な情報 として与えない (FT w/o query), (iii) 再学習を行いク

表 3 QuIC-360 の評価データを用いた説明文生成性能の比較.

 \\
 \\
FT(w/ory)

表 4 QuIC-360を用いた再学習による出力結果の変化. 再学習前はクエリによらず同様の出力を行うが，再学習を行う ことでクエリによって説明文生成を制御できる。

エリも与えた (FT w/ query)，の 3 つの条件について 性能を比較した。 3.3 節で構築したデータセットの 訓練/検証/評価データセットの分割を用いて，説明文に含まれる各単語に対する交差エントロピー誤差 を損失関数として学習を行った。ハイパーパラメー タの設定は公開されている実装4)を利用した。

## 4.2 定量的評価

QuIC-360を用いた再学習によって，クエリを用 いて生成される説明文を制御できるか検証した. ま た，比較対象とする 3 つの場合において推論時にク エリを与えるかどうかで性能が変わるか検証した。

評価指標として画像説明文生成で一般的な 指標である BLEU [26], ROUGE [27], METEOR [28], CIDEr [29]，SPICE [30]を用いた. 加えて，多様な説明文生成が行われているかどうかを示す指標とし て，生成した文の平均単語数と語彙数を比較した.

実験結果を表 3 に示す. 全ての評価指標におい て，QuIC-360によるクエリ指向説明文生成課題で の再学習を行った場合が最も高い性能を示した。ま た, 平均単語数や語彙数も増加することが確認され た。一方で，推論時にクエリを与えない場合，提案手法は性能向上に寄与しないことがわかった.

以上から，QuIC-360を用いた再学習によって，説明文生成の制御性・多様性を高められることが確認された. しかしながら，人手で付与された説明文 と比較して生成された説明文の語彙数は少なく，文長も短い. 人間のような説明文を生成することは現

時点では挑戦的な課題であるといえる.

## 4.3 定性的評価

クエリ指向説明文生成は一般的な説明文生成 と異なり，同じ画像が入力されたとしてもクエリ に応じて説明文を制御する必要がある。そこで， QuIC-360での再学習を行った場合とそうでない場合について，出力した説明文を比較した.

表 4 に示すように，一般的な説明文生成課題によ る再学習を行った場合，推論時にどのクエリを与え てもクエリを無視して同じ文を生成した。これは画像説明文生成において，コンテクストを画像情報の みから選択していることの証左である。提案手法で は，クエリに応じて適切に出力が変化したことか ら，言語情報によってコンテクストの選択を行い，説明文の生成を制御できることが確認された。

## 5 おわりに

本研究では，クエリを用いて画像の説明文生成の 制御を行う課題を提案し，360画像を利用したデー タセットとして QuIC-360 を構築した。複数のコン テクストを含む $360^{\circ}$ 画像に対して，ユーザが言語情報を補助として与え，より需要に即した説明文を 生成するよう制御することを目的としている．実験 では，QuIC-360 によって説明文生成モデルを訓練 することで， $360^{\circ}$ 画像の説明文生成の制御性と多様性を高められることを定量的・定性的に確認した。今後の発展として，より大規模なデータセットの構築・ $360^{\circ}$ 画像に最適化した手法の作成などがある.

## 謝辞

本研究はJST さきがけ JPMJPR20C2，JSPS 科研費 22K17983，JSPS 科研費 JP20269633 の助成を受けた ものです。

## 参考文献

[1] Oriol Vinyals, Alexander Toshev, Samy Bengio, and Dumitru Erhan. Show and tell: A neural image caption generator. In CVPR, pp. 3156-3164, 2015.

[2] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhudinov, Rich Zemel, and Yoshua Bengio. Show, attend and tell: Neural image caption generation with visual attention. In ICML, pp. 2048-2057, 2015.

[3] Marcella Cornia, Lorenzo Baraldi, and Rita Cucchiara. Show, Control and Tell: A Framework for Generating Controllable and Grounded Captions. In CVPR, 2019.

[4] Xinlei Chen, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollár, and C Lawrence Zitnick. Microsoft COCO captions: Data collection and evaluation server. arXiv:1504.00325, 2015.

[5] Y. Liao, J. Xie, and A. Geiger. Kitti-360: A novel dataset and benchmarks for urban scene understanding in 2d and $3 \mathrm{~d}$. TPAMI, 2021.

[6] Ali Furkan Biten, Lluís Gómez, Marçal Rusiñol, and Dimosthenis Karatzas. Good news, everyone! context driven entity-aware captioning for news images. In CVPR, pp. 12466-12475, 2019.

[7] Zihang Meng, Licheng Yu, Ning Zhang, Tamara L. Berg, Babak Damavandi, Vikas Singh, and Amy Bearman. Connecting what to say with where to look by modeling human attention traces. In CVPR, pp. 12679-12688, 2021.

[8] Shizhe Chen, Qin Jin, Peng Wang, and Qi Wu. Say as you wish: Fine-grained control of image caption generation with abstract scene graphs. In CVPR, pp. 9962-9971, 2020.

[9] Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret Mitchell, Dhruv Batra, C. Lawrence Zitnick, and Devi Parikh. VQA: Visual Question Answering. In ICCV, 2015.

[10] Shih-Han Chou, Wei-Lun Chao, Wei-Sheng Lai, Min Sun, and Ming-Hsuan Yang. Visual question answering on $360^{\circ}$ images. In WACV, pp. 1596-1605, 2020.

[11] Heeseung Yun, Youngjae Yu, Wonsuk Yang, Kangil Lee, and Gunhee Kim. Pano-avqa: Grounded audio-visual question answering on $360^{\circ}$ videos. In ICCV, 2021.

[12] Ranjay Krishna, Yuke Zhu, Oliver Groth, Justin Johnson, Kenji Hata, Joshua Kravitz, Stephanie Chen, Yannis Kalantidis, Li-Jia Li, David A Shamma, et al. Visual genome: Connecting language and vision using crowdsourced dense image annotations. IJCV, Vol. 123, No. 1, pp. 32-73, 2017.

[13] Jianxiong Xiao, Krista A. Ehinger, Aude Oliva, and Antonio Torralba. Recognizing scene viewpoint using panoramic place representation. In CVPR, 2012.

[14] Yu-Chuan Su, Dinesh Jayaraman, and Kristen Grauman. Pano2vid: Automatic cinematography for watching 360 videos. In ACCV, 2016.

[15] Erik Wijmans and Yasutaka Furukawa. Exploiting 2d floorplan for building-scale panorama rgbd alignment. In CVPR, pp. 14271435, 2017.

[16] Hao Yang and Hui Zhang. Efficient 3d room shape recovery from a single panorama. In CVPR, 2016.

[17] Steve Cruz, Will Hutchcroft, Yuguang Li, Naji Khosravan, Ivaylo Boyadzhiev, and Sing Bing Kang. Zillow indoor dataset: Annotated floor plans with $360^{\circ}$ panoramas and $3 \mathrm{~d}$ room layouts. In CVPR, pp. 2133-2143, 2021.
[18] Shih-Han Chou, Cheng Sun, Wen-Yen Chang, Wan Ting Hsu, Min Sun, and Jianlong Fu. 360-indoor: Towards learning real-world objects in $360^{\circ}$ indoor equirectangular images. WACV, pp. 834842, 2019.

[19] Ahmed Rida Sekkat, Yohan Dupuis, Pascal Vasseur, and Paul Honeine. The omniscape dataset. In ICRA, pp. 1603-1608. IEEE, 2020.

[20] Senthil Yogamani, Ciaran Hughes, Jonathan Horgan, Ganesh Sistu, Padraig Varley, Derek O’Dea, Michal Uricar, Stefan Milz, Martin Simon, Karl Amende, Christian Witt, Hazem Rashed, Sumanth Chennupati, Sanjaya Nayak, Saquib Mansoor, Xavier Perrotton, and Patrick Perez. Woodscape: A multi-task, multi-camera fisheye dataset for autonomous driving. In ICCV, 2019.

[21] Stephan Fremerey, Ashutosh Singla, Kay Meseberg, and Alexander Raake. Avtrack360: An open dataset and software recording people's head rotations watching $360^{\circ}$ videos on an $\mathrm{hmd}$. In MMSys. ACM, p. 403-408, 2018.

[22] Jianxiong Xiao, Krista A. Ehinger, Aude Oliva, and Antonio Torralba. Recognizing scene viewpoint using panoramic place representation. In CVPR, pp. 2695-2702, 2012.

[23] Shih-Han Chou, Wei-Lun Chao, Wei-Sheng Lai, Min Sun, and Ming-Hsuan Yang. Visual question answering on $360^{\circ}$ images. In WACV, pp. 1596-1605, 2020.

[24] Volkan Cirik, Taylor Berg-Kirkpatrick, and Louis-Philippe Morency. Refer $360^{\circ}$ : A referring expression recognition dataset in $360^{\circ}$ images. In ACL, pp. 7189-7202, 2020.

[25] Peng Wang, An Yang, Rui Men, Junyang Lin, Shuai Bai, Zhikang Li, Jianxin Ma, Chang Zhou, Jingren Zhou, and Hongxia Yang. OFA: Unifying architectures, tasks, and modalities through a simple sequence-to-sequence learning framework. In ICML, pp. 23318-23340, 2022.

[26] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL, pp. 311-318, 2002.

[27] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, 2004. Association for Computational Linguistics.

[28] Michael Denkowski and Alon Lavie. Meteor universal: Language specific translation evaluation for any target language. In WMT, pp. 376-380, 2014.

[29] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In CVPR, pp. 4566-4575, 2015.

[30] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. SPICE: semantic propositional image caption evaluation. In ECCV, pp. 382-398, 2016.

## A MTurk を用いた説明文の収集

(Optional) When you consider this I mage is in inpproprate for the

図 2 MTurkの作業画面のスクリーンショット。画像をド ラッグすることでそれぞれの方向の歪みの無い画像を見 ることができる.

図 3 作業者が説明文の付与にかかった時間の分布.

MTurk の作業者の雇用は，品質の担保のため，US 在住者のうち直近の課題承認率が $99 \%$ を回る評価者に限定して雇用した. 図 3 は作業者が説明文を付与するためにかかった実際の作業時間の分布を示 す. 3 つの説明文を付与するのにかかった作業時間 が 45 秒未満であるものは不適切とみなして自動的 に除去した. そのうえで計測した作業時間の平均は 182 秒であり，時給が 10\$以上となるように報酬を 支払った。


# 構文解析と画像生成の統合による機能語の言語理解

山木良輔 ${ }^{1}$ 谷口忠大 ${ }^{1}$ 持橋大地 ${ }^{2}$
1 立命館大学 2 統計数理研究所
\{yamaki.ryosuke, taniguchi\}@em.ci.ritsumei.ac.jp daichi@ism.ac.jp
}

"A ball next to a box"

図 1: Stable Diffusion が生成した画像の例.
## 概要

近年の大規模言語モデルと拡散モデルに基づくテ キスト画像生成モデルは高度な画像生成を実現して いる一方で，前置詞などの機能語に関しては，それ らの意味を正しく捉えられていないことが指摘され ている [1]. 本研究ではこの問題に対して，CCGに 基づく構文解析モデルとテキスト画像生成モデルを 統合することで，テキスト中の物体同士の関係性を 明示的に捉えた画像生成を可能にし，機能語のよう な文法的関係を正しく捉える言語理解を実現する。

## 1 はじめに

自然言語における機能語と実世界情報の対応関係 を理解可能な人工知能の実現は，人工知能の実世界応用において重要な課題である. 本研究では，構文解析とテキスト画像生成モデルを統合し，機能語が 持つ言語情報を画像情報として表出させることで，実世界情報と紐づいた機能語の言語理解の実現を目指す.

近年の大規模言語モデルと拡散モデルに基づくテ キスト画像生成モデルは高度な画像生成を実現して いる $[2,3,4]$. 一方で言語理解の観点からは，“in” “on”などの文法的機能に関しては，その意味を正し く捉えられていないことが指摘されている [1]. 例 えば, 図 1 に示すように, Stable Diffusion [4] は "ball” や“box”といった内容語に関しては，これらの物体 が出現する画像を生成している一方で, “in”や“next to” といった異なる前置詞 (機能語) に関しては，ど ちらも “in” の意味に対応する画像を生成しており， これらの意味を捉えられていない。

実世界上において，自然言語を用いた人間とのコ
ミュニケーションが期待される人工知能は，このよ うな機能語に関してもその意味を理解可能であるこ とが望ましい [5]. 例えば, “Place a ball next to a box." のような指示をロボットに与えたときに，ゴール状態として図 1 の右側の画像をロボットが想起してし まうと，適切な行動を期待することはできない。

そこで，本研究ではこのような機能語の言語理解を実現するための方法として，自然言語の 統語的情報をテキスト画像生成モデルに取り入 れる手法を提案する。具体的には，組み合わせ 範疇文法 (Combinatory Categorial Grammar: CCG) [6] に基づく構文解析モデルである Holographic CCG (Hol-CCG) [7] をテキスト画像生成モデルにおけるテ キストエンコーダとして採用し, Hol-CCG が出力す る統語的及び意味的情報を含んだ単語・句・文の分散表現を画像生成に活用する。これにより，機能語 が示す文中の物体同士の関係性を画像情報と対応付 けることが可能となり，結果的に機能語の言語理解 が可能になると考える.

実験より，テキストから得られる句の分散表現・統語的情報をテキスト画像生成に活用することの有効性を示唆する結果が得られた．なお，後述の実験 では機能語が示す物体同士の位置関係に主眼を置い ているため, 生成画像の写実性は本研究の論点から 外れていることに注意されたい.

## 2 関連研究

## 2.1 Hol-CCG

本研究では，テキスト画像生成モデルにおけるテ キストエンコーダとして筆者らが以前に提案した CCG に基づく構文解析モデルである, Hol-CCG [7] を使用する．Hol-CCG は潜在空間上での単語及び句 の分散表現同士の再帰的合成によって，それらの間 に存在する階層関係及び依存関係を明示的に考慮し た分散表現を計算することが可能であり，機能語が 表現する内容語同士の関係性を画像生成に反映す

図 2: Hol-CCG のモデル概要図.

るという本研究の目的に適した特性を有している。 Hol-CCG はテキスト画像生成モデルに与えられた入力文の構文構造を解析し，それに応じた単語・句・文の分散表現を出力する. そして，これらの分散表現を画像生成の際の言語特徴量として用いる.

Hol-CCG のモデル概要を図 2 に示す. Hol-CCG では，まず入力文を RoBERTa [8] などの Masked Language Model に通すことで, 文中の各単語の分散表現を得る。そして，得られた単語分散表現を巡回相関 [9] によって再帰的に合成することによって，句および文の分散表現を計算する. 巡回相関の演算 は次式で定義される。

$
[\mathbf{c}]_{k}=[\mathbf{a} \star \mathbf{b}]_{k}=\sum_{i=0}^{d-1} a_{i} b_{(k+i)} \bmod d
$

ここで，太は巡回相関の演算子，a, $\mathbf{b}$ は合成前の分散表現，c は合成後の分散表現である。例えば，図 2 中の例の場合，最終的な文の分散表現 $\mathbf{v}_{0: 5}$ は次のよ うな再帰的な演算によって計算される.

$
\mathbf{v}_{0: 5}=\left(\mathbf{v}_{0: 1} \star \mathbf{v}_{1: 2}\right) \star\left(\mathbf{v}_{2: 3} \star\left(\mathbf{v}_{3: 4} \star \mathbf{v}_{4: 5}\right)\right)
$

また，分散表現を合成する過程において，Spanbased Parsing [10] に基づく句構造解析アルゴリズム によって，入力文が持つ尤もらしい句構造を探索す る.これによって，入力文が持つ構文的曖昧性を解消しつつ，文を構成する単語・句・文の意味的・統語的な情報を含んだ分散表現を構成することができ る. Hol-CCG では分散表現を再帰的に合成する演算自身には学習が必要となるパラメータが存在しな いことが特徴であり, 本モデルは大規模かつ複雑な データセットに対しても適用可能である.

## 2.2 AttnGAN

本研究では，テキスト画像生成モデルとして Attentional GAN (AttnGAN) [11]を使用する。AttnGAN は Attention 機構によって入力文中の各単語の情報 を画像生成に取り込むモデルである。また，Deep
Attentional Multimodal Similarity Model (DAMSM) モ ジュールにおいて，テキストと画像間での対応関係 を評価することで，入力テキストに対して意味的に 合致するような画像を生成する。

## 3 提案手法

## 3.1 手法概要:Hol-CCG と AttnGAN の統合

本研究では，AttnGAN のテキストエンコーダとし

て Hol-CCG を用いることで，テキスト画像生成に 統語的情報を取り入れる手法を提案する．提案手法 の概略を図 3 に示す。

まず，Hol-CCG が入力文を構文解析することに よって，単語・句・文の統語的・意味的な情報を含 む分散表現を出力する。そして，AttnGAN はこれら の分散表現を言語特徴量として画像を生成する。よ り具体的には, GAN の隠れ層の状態を更新する際 に単語及び句の分散表現との間での Attention の計算を行う。ここで，単語の分散表現のみではなく，句の分散表現も取り入れていることが本手法の重要箇所であり，これによって，複数の単語間に存在す る階層的な依存関係の情報を画像生成過程に取り 込む. さらに，元々の AttnGAN と同様に，最終的に 生成された画像は DAMSM モジュールにおいてテ キストとの意味的な対応関係が評価される. この評価過程においても，単語・文の分散表現に加えて 句の分散表現が言語特徴量として用いられる。

## 3.2 モデルの学習

本提案手法では, AttnGAN の生成器・識別器の学習に先立って，テキスト及び画像エンコーダの事前学習を行う.この事前学習の方法は基本的には AttnGAN を踏襲しており，統語的情報及び句の分散表現を取り込めるように拡張を行った.まず，元々 の AttnGAN における DAMSM モジュールの学習に 関する損失関数 $\mathscr{L}_{D A M S M}$ を句の表現が取り込める ものに拡張した方法について説明する。

$
\mathscr{L}_{\text {DAMSM }}=\mathscr{L}_{\text {word }}+\mathscr{L}_{\text {phrase }}+\mathscr{L}_{\text {sentence }}
$

上式における $\mathscr{L}_{\text {phrase }}$ は句の分散表現を DAMSM モ ジュールに取り込むために，筆者らが新たに導入し た項である. ここで， $\mathscr{L}_{D A M S M}$ を構成する各項はそ れぞれ，単語・句・文の分散表現と画像の特徴量を 用いて，テキストと画像間での対応関係を評価する ためのものである．例えば， $M$ 個の画像情報とテキ スト情報のペア $\left.\{\left(Q_{i}, D_{i}\right)\right.\}_{i=1}^{M}$ に関して， $\mathscr{L}_{\text {word }}$ は次

図 3: 提案手法概略図 (AttnGAN の元論文 [11] 中のモデル概略図におけるテキストエンコーダ部分を Hol-CCG による構文解析に置換).

の通りに定義される。

$
\mathscr{L}_{\text {word }}=-\sum_{i=1}^{M}\left.\{\log P\left(Q_{i} \mid D_{i}\right)+\log P\left(D_{i} \mid Q_{i}\right)\right.\}
$

なお, $P\left(Q_{i} \mid D_{i}\right), P\left(D_{i} \mid Q_{i}\right)$ を計算する過程に関して は本稿では割愛するが，詳細は AttnGAN の元論文 [11]を参照されたい。また， $\mathscr{L}_{\text {phrase }}, \mathscr{L}_{\text {sentence }}$ の 計算過程は $\mathscr{L}_{\text {word }}$ と同様である.

次に，統語的情報を取り入れるために行った拡張 に関して説明する. AttnGAN が画像生成に用いる単語・句・文の特徵量に統語的情報を取り入れるにあ たり, 本提案手法では CCG カテゴリの情報を利用 する. CCG カテゴリは構文解析の結果として文中 の単語や句に対して割り当てられるものであり，多 くの統語的情報を含んでいる. そのため，テキスト エンコーダの事前学習において，テキストエンコー ダが出力する単語・句・文の分散表現から，それら に対応する CCG カテゴリが正しく予測されるよう な損失関数を定義することで，分散表現中に統語的情報が取り込まれるようにする。具体的には，次の ような $\mathscr{L}_{\text {syntax }}$ を定義する。

$
\mathscr{L}_{\text {syntax }}=\mathscr{L}_{\text {word-syn }}+\mathscr{L}_{\text {phrase-syn }}+\mathscr{L}_{\text {span-syn }}
$

ここで， $\mathscr{L}_{\text {word-syn }}, \mathscr{L}_{\text {phrase-syn }}$ はそれぞれ単語・句 に対する CCG カテゴリの割り当て誤差, $\mathscr{L}_{\text {span-syn }}$ は特定の区間に含まれる単語列が句を構成するか否 かの判別誤差である。詳細に関しては Hol-CCG [7] のモデル学習方法を参照されたい.

上記の $\mathscr{L}_{\text {DAMSM }}$ と $\mathscr{L}_{\text {syntax }}$ の合計をエンコーダ の事前学習の損失関数 $\mathscr{L}_{\text {pretrain }}$ とする.

$
\mathscr{L}_{\text {pretrain }}=\mathscr{L}_{\text {DAMSM }}+\mathscr{L}_{\text {syntax }}
$

また, エンコーダの学習完了後に行われる GAN の生成器と識別器の敵対的学習に関しては元々の AttnGAN と同一であるため, 本稿では説明を割愛す
る. 詳細に関しては AttnGAN の元論文 [11]を参照 されたい.

## 4 実験

## 4.1 データセット

本研究では，2つの性質の異なるデータセットを 用いて実験を行った.

coco テキスト画像生成分野で一般的に用いら れている Common Objects in Context (COCO [12])を 客観的な評価・比較のために用いた.

CLEVR 本研究では、AttnGANを画像生成モデ ルとして採用したが、 $\operatorname{COCO}$ (日常生活のあらゆる 場面の画像を含む) の画像を高品質に生成するこ とが難しいことから、機能語の言語理解に関する 主観的な評価を行うには不適切であると考えた。 そのため、本研究では Compositional Language and Elementary Visual Reasoning (CLEVR [13]) データセッ 卜を用い、3 個以下の物体を含む画像についてアノ テーション情報から自動的にキャプションを生成 し，実験に使用した.

## 4.2 ベースライン手法

ベースライン 1 AttnGAN のテキストエン コーダに RoBERTa [8]を用いたモデルを，提案手法において統語的情報が付与されることの 有効性を検証するための比較対象として用 いる. このモデルではテキスト入力に対して RoBERTa が出力する [CLS] トークンと各サブワー ドの分散表現を言語特徴量として AttnGAN に 与え画像を生成する. 事前学習の損失関数は $\mathscr{L}_{\text {DAMSM }}=\mathscr{L}_{\text {word }}+\mathscr{L}_{\text {sentence }}, \mathscr{L}_{\text {pretrain }}=\mathscr{L}_{\text {DAMSM }}$ となる.
表 1: COCO データセットにおける客観評価の結果.

ベースライン 2 提案手法において句の分散表現 を画像生成に用いないモデルを 2 つ目のベースライ ン手法とする. このモデルとの比較によって，提案手法において句の分散表現を画像生成に取り入れ ることの有効性を検証する．事前学習の損失関数は $\mathscr{L}_{\text {DAMSM }}=\mathscr{L}_{\text {word }}+\mathscr{L}_{\text {sentence }}, \mathscr{L}_{\text {syntax }}=\mathscr{L}_{\text {word-syn }}$ となる.

## 4.3 評価方法

客観評価 Fréchet Inception Distance (FID ${ }^{1)}$ ) と Rprecision (R-prec ${ }^{2}$ ) を評価指標として用いた。

主観評価 16 名の実験参加者に各手法によって 生成された 20 組の画像を提示し，各実験参加者は テキストが示す物体同士の位置関係との合致度が最 も高い画像を選択する. そして各手法によって生成 された画像が選択された割合を比較した。

## 5 結果・考察

客観評価 客観評価の結果・比較を表 1 に示す。 なお，VICTR [14] は AttnGAN のテキストエンコー ダ部分にシーングラフから抽出された物体同士の位置関係の情報を明示的に取り入れている点から，本研究との関連があるため比較手法として取り上げ た. 結果より，提案手法は FID においてべースライ ン手法に比べて高い性能を発揮している. ただし， ベースライン手法 1 は他の 2 つのモデルに比べて著 しく高い FID を示しているため, GAN の学習の不安定性のために学習に失敗している可能性があるこ とには注意されたい。また，既存手法との FID にお ける比較に関しては，提案手法は AttnGAN の性能 を上回り，VICTR に競合する性能を発揮している。 なお，提案手法では GAN の学習段階における八イ パーパラメータの設定を改善することで，さらなる 性能向上が見込まれる，以上より，提案手法におい て句の分散表現及び統語的情報をテキスト画像生成 に取り込むことの有効性が示唆される。

図 4: CLEVR における生成画像例 (入力テキス $r$ : "large yellow sphere is to the left front of small blue cylinder, and large yellow sphere is to the left behind of small green sphere”). 提案手法が “yellow sphere” と "blue cylinder” の位置関係 ("to the left front of") を最 も正確に反映している.

主観評価 各手法によって生成された画像が実験参加者によって選択された割合はそれぞれ，ベース ライン $1: 39.1 \%$ ， ベースライン $2: 18.1 \%$ ，提案手法: 42.8\%となった. 実験参加者に提示した画像の一例 を図 4 に示す. 図の例の様に，提案手法がベースラ イン手法に比べて，入力テキストが説明する物体同士の位置関係をより正確に捉えた画像を生成してい る例が複数見られた。一方で，ベースライン 1 と提案手法の画像が選択された割合が僅差であること を踏まえると，大域的には手法間の差は小さいと考 えられ，提案手法の有効性は十分には示されていな いと考える。そのため，入力するテキストの複雑度 やGAN の学習におけるハイパーパラメータの設定 などにさらなる改良が必要であると考えている。な お， ベースライン 2 の画像が選択された割合は他の 2つの手法に比べて著しく低く，この手法において は GAN の学習に失敗している可能性があることに は注意されたい。

## 6 おわりに

本研究では構文解析とテキスト画像生成モデルを 統合することによって自然言語における機能語の言語理解を実現するための手法を提案した. 入力テキ ストに対して構文解析モデルが出力する統語的・意味的情報を含んだ単語や句の分散表現を画像生成に 活用することで，機能語が示す物体同士の関係性を 画像情報と対応付けた画像の生成に取り組んだ。実験より，提案手法の有効性を示唆する客観的な結果 が得られた。

今後の展望としては，画像生成部分を Stable Diffusion [4] などの拡散モデルベースのものに置換 し，より高品質な画像の生成を可能にすることや，物体同士の位置関係に関する表現以外の前置詞・機能語に関して，より詳細な実験・評価を行うことな どが挙げられる.

## 謝辞

本研究は，JST，ムーンショット型研究開発事業, JPMJMS2033 の支援を受けたものです.

## 参考文献

[1] Colin Conwell and Tomer Ullman. Testing relational understanding in text-guided image generation. arXiv preprint arXiv:2208.00005, 2022.

[2] Chitwan Saharia, William Chan, Saurabh Saxena, Lala Li, Jay Whang, Emily Denton, Seyed Kamyar Seyed Ghasemipour, Burcu Karagol Ayan, S Sara Mahdavi, Rapha Gontijo Lopes, et al. Photorealistic text-to-image diffusion models with deep language understanding. arXiv preprint arXiv:2205.11487, 2022.

[3] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, and Mark Chen. Hierarchical text-conditional image generation with clip latents. arXiv preprint arXiv:2204.06125, 2022.

[4] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10684-10695, 2022.

[5] Amir Aly, Tadahiro Taniguchi, and Daichi Mochihashi. A bayesian approach to phrase understanding through crosssituational learning. In International Workshop on Visually Grounded Interaction and Language (ViGIL), in Conjunction with the 32nd Conference on Neural Information Processing Systems (NeurIPS), 2018., 2018.

[6] Mark Steedman. The Syntactic Process, Vol. 24. MIT press Cambridge, MA, 2000.

[7] 山木良輔, 谷口忠大, 持橋大地. Holographic Embeddings による CCG 構文解析. 言語処理学会第 28 回年次大会 (NLP2022), 2022.

[8] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692, 2019.

[9] Tony A Plate. Holographic reduced representations. IEEE Transactions on Neural networks, Vol. 6, No. 3, pp. 623641, 1995 .

[10] Mitchell Stern, Jacob Andreas, and Dan Klein. A minimal span-based neural constituency parser. arXiv preprint arXiv:1705.03919, 2017.

[11] Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang, and Xiaodong He. Attngan: Fine-grained text to image generation with attentional generative adversarial networks. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 1316-1324, 2018.

[12] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In European conference on computer vision, pp. 740-755. Springer, 2014.
[13] Justin Johnson, Bharath Hariharan, Laurens Van Der Maaten, Li Fei-Fei, C Lawrence Zitnick, and Ross Girshick. Clevr: A diagnostic dataset for compositional language and elementary visual reasoning. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 2901-2910, 2017.

[14] Caren Han, Siqu Long, Siwen Luo, Kunze Wang, and Josiah Poon. Victr: Visual information captured text representation for text-to-vision multimodal tasks. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3107-3117, 2020.


# テキスト生成におけるキーワード位置の制御

笹沢裕一 森下皓文 尾崎太亮 今一修 十河泰弘
日立製作所 研究開発グループ
\{yuichi.sasazawa.bj, terufumi.morishita.wp, hiroaki.ozaki.yu,
osamu.imaichi.xc, yasuhiro.sogawa.tp\}@hitachi.com

## 概要

テキスト生成における課題の 1 つは，ユーザの意図通りに生成を制御することである。既存研究では キーワードを用いた制御が提案されているが，キー ワードのみによる制御ではユーザの意図に沿ったテ キストを生成するには不十分である．例えば，重要 なキーワードをテキストの先頭近くに配置すれば 読者の注意を引きやすくなるが，既存の手法ではそ のような柔軟な制御はできない. 本研究では各キー ワードの位置も制御することで，ユーザの意図を効果的にテキストに反映できるようなテキスト生成 に取り組む. タスクに依存しない汎用的な手法によ り，要約タスクと物語生成タスクにおいてキーワー ドとその位置を制御できることを示す.

## 1 導入

テキスト生成における課題の一つは，ユーザの意図に沿ったテキストを生成することである．多くの 既存研究は，キーワードを利用してテキスト生成を 制御する方法を提案している. テキスト要約では,要約テキストが含むべきキーワードをモデルに与 えることで，原文書の特定の部分に焦点を当てたテ キストを生成することができる $[1,2,3]$. 物語生成 では，キーワードと短いプロンプトを使用して，物語のストーリーを制御する $[4,5,6]$. その他の電子商取引生成，レビュー生成，質問生成などのタス クにおいても，キーワードを用いることでユーザ にとって望ましいテキストを作成することができ る $[7,8,9,10,11]$.

しかし，キーワードのみによる制御ではユーザの 意図に沿ったテキストを生成するには不十分であ る. ユーザの意図をより反映させる方法としてキー ワードの位置を制御する方法がある。例えば，重要 なキーワードは読者の注意を引くためにテキストの 先頭近くに配置し, 一方で比較的重要でないがテキ
ストに入れる必要があるキーワードはテキストの後半に配置することができる。また，複数のキーワー ドの順番を指定できれば話の流れを制御することも できる．既存手法は単にキーワードを指定するのみ であるためこのような柔軟な制御はできず，必ずし もユーザの意図するテキストが生成されるとは限 らない。一部の既存研究はキーワードの順序の制御 に取り組んでいるが [8, 12]，キーワード位置を直接制御する場合と比較して欠点が存在する。 (a) キー ワードの順序を制御するためには必ず複数のキー ワードを指定する必要があり，単一のキーワードの 位置を制御することができない。(b) 順序制御のみ では個々のキーワードの具体的な配置位置を必ずし も制御できない．例えば，指定した全てのキーワー ドがテキストの後半に配置されることがある.

本研究では，キーワードと各キーワードの位置を 制御するテキスト生成に取り組む. 既存研究ではテ キスト生成タスクにおいてテキストスタイル，テキ スト簡易化の種類，テキスト長などのテキスト属性 を制御するために特殊トークンの使用が提案され ている $[13,14,15]$. この手法をキーワード位置の制御に応用し, キーワードと各キーワードの相対位置 を表す特殊トークンをモデルに与えることで，キー ワード位置制御を行う。このシンプルな手法によ り，各キーワードを指定した位置に配置することが 可能となる。また，位置制御の性能を向上させ，よ りユーザの意図に沿ったテキストを生成するため に，ターゲットテキストの長さを示す特殊トークン もモデルに与えて制御を行う.

要約タスクと物語生成タスクで評価を行い，この タスクに依存しない汎用的な手法によってキーワー ドとその位置を制御できることを示す (Section 3.2). また, 本手法が通常手法と比較してターゲット要約に近いテキスト，つまりユーザの意図に近いテ キストを生成できることを示す (Section 3.3). また， キーワードの位置を制御することで特定のキーワー

図 1 提案手法の概要図. モデルにはテキスト生成を制御 するための制御トークン：キーワード，各キーワードの 位置，テキスト長が与えられる。

ドから多様なテキストを生成できることをケースス タディによって示す (Section 3.4).

## 2 手法

## 2.1 概要

要約タスクでは BART モデル [16] を，物語生成タ スクでは GPT モデル [17]を使用する. テキスト生成を制御するために制御トークン：(1) ターゲット テキスト中のキーワード，(2) 各キーワードの位置, (3) ターゲットテキストの長さ，をモデルに与える. これらの制御トークンはターゲットテキストから獲得する. BART モデルを用いる場合は図 1 に示すよ うに制御トークンを原文書と連結してエンコーダに 与える. GPT モデルを用いる場合は制御トークンを デコーダに与える. BART モデルや GPT モデルを用 いる通常のテキスト生成と同様に，モデルはクロス エントロピー損失を用いて条件付き確率 $p\left(y_{i} \mid y_{<i}, x\right)$ を最大化するように学習する。ここで $y$ はターゲッ トテキスト， $x$ はモデルへの入力（制御トークンや 要約タスクの原文書）である.

特殊トークンでテキストの属性を制御する既存の研究 $[13,14,15]$ を応用し, 各キーワードの 位置とテキストの長さを特殊トークンとして モデルに与える. 例えば，キーワード “two dogs” がターゲットテキストの 20-30\%の位置にあり， テキストの長さが 50-54 語の場合，モデルには “[LENGTH50][SEP]two dogs[POSITION20]”を制御トー クンとして与える.

本研究では，学習時と推論時の両方においてター ゲットテキストから獲得されたオラクル情報をモデ ルに与えることに留意されたい. 本研究の目的はモ デルに追加情報を与えることで意図したテキストを 生成することであるため，この実験設定は適切なも のである。キーワードとその位置をモデルが自動的 に決定する（つまり，モデルにオラクル情報を与え
ない）設定も考えられるが，今後の課題としたい.

## 2.2 制御トークンの獲得

以下に記載する方法で，ターゲットテキストから 制御トークンを獲得する。詳細は Appendix B に記載する。

キーワード ターゲットテキストからランダムに キーワードを抽出する．本研究でのキーワードは 重要な単語に限定されず，ターゲットテキスト中 の 1-3 個の連続した単語で構成されるフレーズを 意味する。例えば，“Marcia was looking forward to try hang gliding."というテキストから, “Marsha”, “was”, "looking forward", "to trying", "trying hang gliding" など のフレーズをキーワード候補として抽出する．ただ し, “was” “ "to trying” などの意味の薄い単語はユー ザがキーワードとして与える可能性が低いと考え られるためキーワード候補から除外する．学習時に は，キーワード候補の中からランダムな数のフレー ズをキーワードとしてモデルに与える.

キーワード位置 各キーワードの位置を相対位置 で表現する．具体的には，ターゲットテキストの先頭から数えたときの各キーワードの絶対位置をテキ ストの単語数で割り，10\%単位で量子化した数値を モデルに与える．絶対位置ではなく相対位置を用い る理由は，ユーザがキーワードの具体的な絶対位置 を指定したい場面は少なく，テキストの先頭付近，中央付近，末尾付近のような相対的な位置を指定す る方が実用的だと考えられるためである。

テキストの長さ キーワードの相対位置の指定の みでは，モデルがキーワードの具体的な配置位置を 決定することは難しいと考えられる．キーワードの 相対位置を適切に制御するためにテキストの長さも 同時に制御する。ユーザがキーワードの位置を制御 する際にテキストの長さも同時に制御したいと考え るのは自然だと考えられる，我々はターゲットテキ ストの単語数を 5 語単位で量子化した数値をモデル に与える。

## 3 実験

## 3.1 実験設定

要約タスクと物語生成タスクにおいて評価を行 う。この 2 つのタスクは異なる特徴を持つ. (1) 要約タスクでは，与えられた制御トークンに基づいて 原文書から情報を抽出して短いテキストに圧縮す
表 1 キーワードとその位置の制御の評価. 全てのキー ワードを含むテキストが生成できた割合（包含）と，全て のキーワードをターゲットの位置に配置したテキストが 生成できた割合（位置）を評価する。

る. (2) 物語生成タスクでは，与えられた制御トーク ンのみに基づいてテキストを生成する。要約タスク では CNN/DailyMail [18], XSum [19] データセットと BART $_{\text {LARGE }}$ モデル (400M params) [16] を使用した.物語生成タスクでは ROCStories [20] データセットと GPT2 モデル (120M params) [17] を使用した. 全ての 実験において訓練と生成を 3 回行い, その平均スコ アを報告する.より詳細については Appendix Aを 参照されたい。

## 3.2 キーワードの位置制御の評価

まず，キーワードがターゲットの位置に配置され ているかを確認する。具体的には，全てのターゲッ トのキーワードを含むテキストが生成された割合 と, 全てのキーワードが各ターゲット位置に配置し たテキストが生成された割合を評価する。

表 1 は，特殊トークンを使用する提案手法（+位置，+位置+長さ）が，キーワードをターゲットの位置に含むテキストを生成できることを示している。 また，キーワード位置と共にテキスト長を与える （+位置+長さ）ことで，特にテキストが長いデータ セット (CNN/DM, ROCStories) において位置制御の 精度が向上している. この理由は, 相対位置と長さ の情報を組み合わせることでモデルがキーワード を適切な位置に配置できるようになるためである。 キーワードの位置が与えられると，キーワードの包含の精度も向上する. キーワードを配置すべき位置 をあらかじめモデルに知らせることで，モデルが
キーワードをテキストに配置し忘れることを防いで いるためだと推測される。物語生成タスクでは要約 タスクに比べ制御精度が大幅に低下していることが 分かる. 物語生成タスクでは原文書が与えられず制御トークンのみからテキストを生成するため，キー ワードを含めるのに不適切な文脈を生成しやすいた めと考えられる。

表 2 では，ターゲットのキーワード位置ごとに キーワードが正しい位置にあるテキストが生成され たかどうか，生成されなかった場合はどの程度キー ワードの位置がずれたか，またはキーワードが含ま れなかったかを分析している。全てのターゲット位置において，キーワードのみの制御を行った場合と 比較してキーワード位置制御の精度が向上してお り，提案手法の有効性が示されている。また，テキ ストの先頭に近いほどキーワードの包含精度及び位置制御の精度が高いことが確認できる.

## 3.3 要約内容の制御の評価

テキストを制御することで，要約タスクにおいて ユーザが意図したテキストを生成することが容易 になることを示す. 表 4 に示すように，ターゲット キーワードを与えることで ROUGE スコア [21]が通常の要約に比べて大きく向上していることがわか る. さらに，キーワードの位置とテキストの長さを 制御することでスコアが向上していることがわか る.この結果により, キーワードの位置情報をモデ ルに与えることでユーザの意図する内容に近いテキ ストを生成しやすくなることが分かる.

## 3.4 ケーススタディ

提案手法によって生成された要約例を表 3 亿示 す.キーワードの位置が指定した位置からわずかに ずれる場合も存在するが，提案手法によってキー ワードとその位置を制御できることが確認できる. また，キーワードの位置を変えることで，複数の異 なるテキストを生成されており, 特に各テキストの スタイルが異なることが分かる。例えば，キーワー ド “true miracle dog”を $0 \%$ の位置に配置すると，冒頭の特徴的なキーワードで読者の注意を引くテキス トが生成される。一方，90\%の位置にキーワードを 配置すると時系列で出来事を説明する物語調のテキ ストが生成される. 複数のキーワードを与えた場合 においても，各キーワードの位置を制御することで キーワードの順序を制御できることがわかる.
表 2 CNN/DM データセットにおけるキーワードとその位置の制御の詳細な評価. ターゲットの相対位置ごとに以下の 4 種類に分類する：キーワードがターゲットの位置に正しく配置されたか，ターゲット位置と実際の位置のずれが $10 \%$ 以内か，位置のずれが $10 \%$ 可きいか，もしくはキーワードが含まれていないテキストが生成されたか.生成要約文での ターゲットのキーワードの位置 (相対位置)

表 $3 \mathrm{CNN} / \mathrm{DM}$ データセットにおける生成した要約例

 \\

表 4 ROUGE スコアを用いたテキスト要約の評価. 本研究ではターゲットテキストから獲得したオラクル情報を モデルに与えているため，通常の要約と比較してスコア が大きく向上していることに留意されたい.

さらにエラーケースを示す.テキストの末尾付近 の位置を指定した場合，その指示を無視して全く別 の位置にキーワードが配置されることや，テキスト にキーワードが含まれないことが多い. 表 2 の結果 から確認できるように，提案手法はキーワードをテ キストの後半に配置するのが苦手な傾向がある. 理由の一つとして，テキストの末尾に近いほど指定し たキーワードを含めるのに不適切な文脈になる可能性が高まるためだと考えられる.

## 4 結論

本論文ではキーワードと各キーワードの位置を制御したテキスト生成に取り組んだ。要約タスクと物語生成タスクで実験を行い，タスクに依存しない手法によってキーワードの位置を制御できることを示 した. また, 本手法によってターゲットの要約に近 いテキストが生成することが可能となり，ユーザの 意図に近いテキストが生成できることを示した．今後の課題は，制御精度の向上及び，オラクル情報を 使用せずに適切なキーワードを適切な位置に自動で 配置することである.

## 謝辞

ご助言を頂いた，日立製作所研究開発グループの 山口篤季氏，森尾学氏，是枝祐太氏に感謝を申し上 げる.

## 参考文献

[1] Angela Fan, David Grangier, and Michael Auli. Controllable abstractive summarization. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 45-54, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[2] Junxian He, Wojciech Kryscinski, Bryan McCann, Nazneen Fatema Rajani, and Caiming Xiong. Ctrlsum: Towards generic controllable text summarization. CoRR, Vol. abs/2012.04281, , 2020.

[3] Zi-Yi Dou, Pengfei Liu, Hiroaki Hayashi, Zhengbao Jiang, and Graham Neubig. GSum: A general framework for guided neural abstractive summarization. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4830-4842, Online, June 2021. Association for Computational Linguistics.

[4] Parag Jain, Priyanka Agrawal, Abhijit Mishra, Mohak Sukhwani, Anirban Laha, and Karthik Sankaranarayanan. Story generation from sequence of independent short descriptions. CoRR, Vol. abs/1707.05501, , 2017.

[5] Angela Fan, Mike Lewis, and Yann Dauphin. Strategies for structuring story generation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 26502660, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Lili Yao, Nanyun Peng, Ralph Weischedel, Kevin Knight, Dongyan Zhao, and Rui Yan. Plan-and-write: Towards better automatic storytelling. In Proceedings of the Thirty-Third AAAI Conference on Artificial Intelligence and Thirty-First Innovative Applications of Artificial Intelligence Conference and Ninth AAAI Symposium on Educational Advances in Artificial Intelligence, AAAI'19/IAAI'19/EAAI'19. AAAI Press, 2019.

[7] Zhangming Chan, Xiuying Chen, Yongliang Wang, Juntao Li, Zhiqiang Zhang, Kun Gai, Dongyan Zhao, and Rui Yan. Stick to the facts: Learning towards a fidelity-oriented E-commerce product description generation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4959-4968, Hong Kong, China, November 2019. Association for Computational Linguistics.

[8] Huajie Shao, Jun Wang, Haohong Lin, Xuezhou Zhang, Aston Zhang, Heng Ji, and Tarek Abdelzaher. Controllable and diverse text generation in e-commerce. In Proceedings of the Web Conference 2021, WWW '21, p. 2392-2401, New York, NY, USA, 2021. Association for Computing Machinery.

[9] Jianmo Ni and Julian McAuley. Personalized review generation by expanding phrases and attending on aspect-aware representations. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 706-711, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[10] Ying-Hong Chan, Ho-Lam Chung, and Yao-Chung Fan. Improving controllability of educational question generation by keyword provision. CoRR, Vol. abs/2112.01012, , 2021.

[11] Zhiling Zhang and Kenny Zhu. Diverse and specific clarification question generation with keywords. In Proceedings of the Web Conference 2021, WWW '21, p. 3501-3511, New York, NY, USA, 2021. Association for Computing Machinery.

[12] Yixuan Su, David Vandyke, Sihui Wang, Yimai Fang, and Nigel Collier. Plan-then-generate: Controlled data-to-text generation via planning. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 895-909, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.
[13] Kango Iwama and Yoshinobu Kano. Multiple news headlines generation using page metadata. In Proceedings of the 12th International Conference on Natural Language Generation, pp. 101-105, Tokyo, Japan, October-November 2019. Association for Computational Linguistics.

[14] Surafel Melaku Lakew, Mattia Di Gangi, and Marcello Federico. Controlling the output length of neural machine translation. In Proceedings of the 16th International Conference on Spoken Language Translation, Hong Kong, November 2-3 2019. Association for Computational Linguistics.

[15] Louis Martin, Éric de la Clergerie, Benoît Sagot, and Antoine Bordes. Controllable sentence simplification. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4689-4698, Marseille, France, May 2020. European Language Resources Association.

[16] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[17] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2018

[18] Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. In C. Cortes, N. Lawrence, D. Lee, M. Sugiyama, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 28. Curran Associates, Inc., 2015.

[19] Shashi Narayan, Shay B. Cohen, and Mirella Lapata. Don't give me the details, just the summary! topic-aware convolutional neural networks for extreme summarization. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1797-1807, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[20] Nasrin Mostafazadeh, Nathanael Chambers, Xiaodong He, Devi Parikh, Dhruv Batra, Lucy Vanderwende, Pushmeet Kohli, and James Allen. A corpus and cloze evaluation for deeper understanding of commonsense stories. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 839-849, San Diego, California, June 2016. Association for Computational Linguistics.

[21] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[22] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[23] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbigniew Wojna. Rethinking the inception architecture for computer vision. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2818-2826, 2016.

[24] Yaoming Zhu, Sidi Lu, Lei Zheng, Jiaxian Guo, Weinan Zhang, Jun Wang, and Yong Yu. Texygen: A benchmarking platform for text generation models. In The 41st International ACM SIGIR Conference on Research \& Development in Information Retrieval, SIGIR '18, p. 1097-1100, New York, NY, USA, 2018. Association for Computing Machinery.
表 5 データセットの統計

## A 詳細な実験設定

表 5 に各データセットの訓練・開発・検証データ のデータ数と原文書の単語数の平均值，ターゲット テキストの単語数の平均値を示す. オプティマイザ は Adam [22] を使用し, $\beta_{1}=0.9, \beta_{2}=0.999, \epsilon=10^{-6}$, L2 正規化係数を 0.01 とした. 学習率は訓練ステッ プの最初の $6 \%$ でウォームアップさせ，その後線形 に減衰させた. ドロップアウト率は 0.1 , バッチサ イズは 32, label smoothing [23] は 0.1 である.

要約タスク 学習率は $2 \times 10^{-5}$ とした. ただし，新たに追加した特殊トークンの重みは初期化状態 から学習させるため，単語埋め込みの重みに対する 学習率は $1 \times 10^{-3}$ と通常より高い値を使用した. エ ポック数は 10 回である. 生成にはビームサーチを 用いた. CNN/DM ではビーム数は 4 , length penalty は 2.0, XSum ではビーム数は 6 , length penalty は 1.0 に設定した. 原文書の最大トークン数を 1024，要約文の最大トークン数を 128 とし，それ以上のトーク ン数のテキストは末尾を切り捨てた。

物語生成タスク 学習率は $2 \times 10^{-5}$, 単語埋め込 みの重みの学習率は $1 \times 10^{-3}$, エポック数は 30 回と した. 生成には $p=0.95$ の top-p サンプリングを使用し, temperature は 0.1 とした. ターゲットテキス トの最大トークン数は 128 とし, それ以上のトーク ン数のテキストは末尾を切り捨てた.

## B 制御トークン

テキスト長，キーワード，キーワード位置を獲得 するための単語分割は NLTK ライブラリを用いる。 モデルの訓練時には，全ての制御トークン（キー ワード，キーワード位置，テキスト長）をそれぞれ 一定確率でモデルに与えて訓練し, この学習済みモ デルを用いて 4 種類の設定（表 1 における「キー ワード」，「+長さ」，「+位置」，「+位置+長さ」）でテ キスト生成を行う.これにより， 1 種類のモデルで 複数の設定での推論を行うことができ，設定ごとに モデルを訓練する場合と比較してコストを抑えて実験を行うことができる. 予備実験の結果, 各推論設表 6 Self-BLEUを用いた生成テキストの多様性の評価

 &  &  \\

キーワード & 96.6 & 92.8 & 71.2 \\
+位置+長さ & $\mathbf{8 5 . 9}$ & $\mathbf{8 3 . 1}$ & $\mathbf{5 6 . 9}$ \\

定に対してモデルを個別に訓練させた場合とほぼ 同じ性能が得られることを確認している. ただし，制御トークンを用いない生成（表 1 における「キー ワード無し」）は上記のモデルとは独立してモデル の訓練と推論を行った。

キーワードの抽出 まず，ターゲットテキストか ら連続した 1-3 個の単語で構成されるフレーズを キーワード候補として抽出する。最初の単語がス トップワードや頻出単語であるフレーズはキーワー ド候補から除外する。訓練時には，0-3 個のフレー ズをキーワード候補からエポック毎にランダムに選択し，キーワードとしてモデルに与える。 推論時に は，表 1 の実験では 1-3 個，表 2 と表 4 の実験では 1 個のキーワードをモデルに与える.

## C 多様なテキストの生成

キーワードの位置を制御することで特定のキー ワードから多様なテキストを生成できることを示 す. 多様なテキストを生成できれば，ユーザーは生成された複数のテキストの中から自分の意図するテ キストを選択することが可能となる。キーワード無 しの通常の生成とキーワードのみを用いた生成の場合，1つの入力からビームサーチもしくは top-p サ ンプリングを用いて 10 種類のテキストを生成する. キーワード位置を用いる場合，1つのキーワードに 対して 10 種類のキーワード位置をモデルに与える ことで 10 種類のテキストを生成する. 生成された テキストに対して Self-BLEU [24] 指標を用いて生成 テキストの多様性を評価する。

表 6 の結果から，複数のキーワード位置を用いて 生成することで生成テキストの多様性が向上する ことが分かる．特に，要約タスクは一般的にビーム サーチを用いてテキストを生成するため，複数テキ ストを生成した場合の多様性が非常に低くなるが，複数の位置を指定してテキストを生成することでこ の多様性の低下が緩和される。表 3 に示した生成例 においても，キーワード位置を制御することで特定 のキーワードから様々なテキストが生成できること が確認できる.


# 周期表タスクにおける言語モデルの創発的能力と言語モデルが 持つ記憶について

星康人 宮下大輔 森岡靖太 Youyang Ng 鳥井修 出口淳
キオクシア株式会社
\{yasuto1.hoshi, daisuke1.miyashita, yasuhiro.morioka, youyang.ng,
osamu.torii, jun. deguchi\}@kioxia.com

## 概要

近年，大規模な自己回帰言語モデルは広範な下流 タスクを追加学習なしで実行できることが判明して いる.下流タスクにおけるモデルの性能は，一般的 にはモデルサイズに対してスケールすることが知ら れている。しかし，広範な下流タスクにおける性能 とモデルサイズとの関係を調べた実験において，モ デルサイズの増加に対して不連続な性能改善がみら れるタスクの存在が報告されており，このような傾向は創発的能力と呼ばれている. 特に知識集約型夕 スクで創発的能力か現れる理由について, 問題に正解するための知識がモデルサイズに対して不連続に 偏在するためなのか，あるいはその他の理由がある のか，未だ解明されていない. 本研究では, 創発的能力が見られる知識集約型タスクの 1 つである周期表タスクについて，モデルが保持する知識とモデル サイズとの関係について調べた. 解析の結果, 周期表タスクの回答に必要な知識は小規模なモデルも獲得していること，またその知識の正確さはモデルサ イズに対しスケールすることが判明した.

## 1 はじめに

近年，大規模な自己回帰言語モデルは広範な下流 タスクを追加学習なしに実行する能力があることが 判明している [1,2]. 下流タスクにおける性能とモ デルサイズ，すなわちモデルの学習可能パラメータ 数との関係を調べた研究において, タスクの精度が モデルサイズの増加汶して不連続改善する夕 スクがあることが報告されており，このような傾向 は創発的能力 (emergent abilities) と呼ばれている [3].創発的能力について, その起源や理由については未 だ解明されていない。

一般に言語モデルの性能は，その規模にスケール
すると考えられている. 例えば言語モデルそのもの の性能指標（事前学習時の損失値）は，モデルサイ ズ，学習データ量，および事前学習時の計算量の増加のそれぞれに対して単調に改善するスケール則が 成り立つことが知られている $[4,5]$.

また，モデルが保持できる知識の量は，モデルサ イズにスケールすると考えられている $[6,7,8]$. 例 えば BIG-bench [2] の qa_wikidata ${ }^{1)} と い う$ 質問応答夕 スクでは，モデルサイズを 2 倍にするごとに精度が 約 5.3 ポイント向上するという関係 (べき乗則)を 見ることができる.このようなべき乗則は言語モデ ルの他，画像認識など自然言語処理以外の分野も含 めて深層学習の多くのタスクでも見られる現象であ り [9]，理論的な解析も進みつつある [10,11].

それ対し，原子番号から元素名を予測するタス クである周期表タスクは，qa_wikidata と同じく知識 を問う質問応答タスクであるが，タスクの精度とモ デルサイズとの関係は全く異なる. 具体的には，学習可能パラメータ数が $10 \mathrm{~B}$ 程度以下のモデルでは全 く正解できないが，それを超える規模のモデルで突如として精度が向上するという創発的能力が発現す ることが報告されている $[2,3]$.

周期表タスクで創発的能力が見られる理由につい て, 回答に必要な知識が大規模なモデルにのみ偏在 しているのか，あるいは他の要因があるのか，未だ 切り分けができていない. 特に前者に着目すると，創発的能力に関する理解を深めるためには，モデル サイズがある閾值を超えたときに突如として知識が 獲得されるようになるといった傾向があるかどうか 調べる必要がある.

本稿では周期表タスクを題材とし，これ正解す るために必要な知識と，それ以外の要素として回答 を導く推論能力の 2 つの要素に分解して考える. 特

に前者に着目し，モデルサイズに応じて周期表に関 する知識量がどのように変化するかを調査すること で，創発的能力に関する新たな洞察を与える。

## 2 関連研究

創発的能力は，モデルサイズの増加に対してある 規模まで精度が下がるようなタスク [12]において， モデルをさらに大規模にすると精度が向上するよ うな U 字型の精度変化として見られることもある [13]. このことから，小規模なモデルにおける規模 と精度の関係を大規模なモデルに対して単純に外挿 することでは，大規模なモデルの性能を予測するこ とができないことが示唆されている.

創発的能力を引き出す要因は，モデルサイズの他 にも存在すると考えられている。例えば GPT-3 [1] と PaLM [14] は共に学習可能パラメータ数が 100B を超える大規模言語モデルであるが，PaLM でのみ 創発が観測されるケースがある [3]. これらのモデ ルでは, 学習データの品質やアーキテクチャが異な るため, 創発的能力の誘因がモデルサイズのみでは ないことが示唆されている.

創発的能力は，周期表タスクのみならず，算術推論等のタスクでも見られる $[1,15,16]$. このような タスクが複数存在することは, 計 200 を超える多様な下流タスクで構成されるべンチマークである BIG-bench においても確認されている [2]. ただし本稿では，知識集約型タスクの 1 つである周期表タス クに焦点を当てて，モデルが保持する周期表の知識 について詳細に解析する。

言語モデルにおける学習データの記憶に関する包括的な調査 [6] において, 記憶の正確さはモデルの 規模, 学習データ内での重複数, およびプロンプト で与えるコンテキストの長さに対してスケールする ことが判明している．また，固有表現に関する質問応答では, 学習データ内での出現頻度が高い固有表現ほど，それに関する問題の正解率が高くなること が報告されている [17]. 本稿では，周期表タスクに 関連する学習データの記憶精度とタスクの精度に焦点を当てた解析を行う.

下流タスクにおける事前学習済み言語モデルの性能は，追加学習を行わなくともプロンプトの工夫に よってある程度は向上することが知られている.こ のようなプロンプトの工夫は，プロンプトエンジニ アリングと呼ばれる [18]. 本稿では，モデルが周期表に関する知識をどの程度保持しているか確かめる

図 1 周期表タスクにおける回答精度. 灰色の点線 (ROOTS + FiD) は， ROOTS コーパスから検索した上位 20 位までのパッセージを Fusion-in-Decoder (FiD) の読解器を 用いて読解した際の精度 $(47.8 \%)$ を示す.

ために，改良したプロンプトを用いた実験も行う.特に，正解のヒントとなるようにプロンプト内で例示する問題と回答の組を原子番号順にすることで, モデルが保持する周期表の知識の精度を調べる。

## 3 周期表タスクにおける回答精度

本章では，周期表タスクにおける BLOOM モデル の回答精度を調べる。

## 3.1 問題設定

実験で使用するデータセットは，BIG-bench [2] に 含まれ，周期表に関する知識を問うタスクである periodic_elements タスク2)うち，原子番号から元素名を予測するタスクである subtask_0（計 23 問）を 用いる。本稿ではこのタスクを単に周期表タスクと 呼ぶことにする。周期表タスクの問題例を下記に示 す（下記の問題の答えは “carbon”).

Q: What is the name of the element with an atomic number of 6 ?

A:

言語モデルは上記 “A:” 以降に, greedy 探索で得ら れた系列を出力する. 周期表タスクで用いるプロン プトには，無作為に選ばれた問題とその回答の組を 例題として, 問題文の前に最大 $3 \supset$ (3-shot) 付与し た系列を使用する. 評価方法は先行研究と同様に, モデルがプロンプトに対して greedy 探索で出力した 系列の中で最初に現れる元素名と, 正解の元素名と を exact match (str_exact_match) で正誤判定する.

2) https://github.com/google/BIG-bench/tree/main/ bigbench/benchmark_tasks/periodic_elements

## 3.2 使用する言語モデル

BLOOM モデル 本稿の実験では，自己回帰言語モデルである BLOOM モデル [19]を使用する. BLOOM モデルは，事前学習済みモデルとしてパラ メータ数が $560 \mathrm{M}$ から 176B の 6つのモデルが公開 されている3).これらのモデルは，計 $1.6 \mathrm{~TB}$ の多言語コーパスである ROOTS コーパス [20]を用いて事前学習されている. なお, BLOOM モデルの評価結果には，10 回の実験結果の平均値を示す. これは，無作為に選ばれたプロンプト内の例題に依存してモ デルの出力が変化し, タスクの精度にばらつきが生 じるためである.

ベースライン 周期表タスクにおけるベースラ インとして PaLM [14], GPT [1], BIG-G [2] の評価結果も用いる ${ }^{4)}$. また比較のために, ROOTS コー パスからの検索と読解で得られる精度を示す. ROOTS コーパスからの検索には ROOTS search tool ${ }^{5 \text { ) }}$ を用いて，0-shot のプロンプトに対する検索上位 20 位までのパッセージを取得する。読解には， Natural Questions [21] データセットで学習された Fusion-in-Decoder [22] の large サイズ (パラメータ数: 738M) の読解器を用いる6).

## 3.3 周期表タスクにおける精度評価

図 1 に，周期表タスクにおける各モデルの回答精度を示す. 先行研究で述べられているように， PaLM と BIG-G の回答精度は，パラメータ数が 10B $\left(10^{10}\right)$ 程度より大きなモデルにおいて不連続に向上 する創発的な傾向が見て取れる. BLOOM モデルの 回答精度は, GPT と同様にパラメータ数に対する顕著な精度向上は見られないものの，最大規模のモデ ルの精度 (3-shot で 7.8\%) はそれ以下のモデルと精度比べて高いことが分かる.

また，ROOTS search toolによる ROOTS コーパス からの検索と Fusion-in-Decoder の読解器による読解 の精度は $47.8 \%$ であった. この値は，10B 以下のど のモデルの精度より高いものの，PaLM と BIG-G の

大規模なモデルにおける精度を下回っていることが 分かる. 特に PaLM の 540B のモデルにおける 5-shot の精度 $(99.2 \%)$ と比較すると, 検索と読解による精度は大幅に下回っていることが見て取れる。

## 4 解析

本章では, ROOTS コーパスに含まれる周期表に 関する記述を，BLOOM モデルが出力できるか調べ る.また，周期表タスクにおけるプロンプト内の例題を原子番号順で与えた場合の精度を示す.

## 4.1 BLOOM モデルにおける学習データの 記憶精度

BLOOM モデルの事前学習に用いられた ROOTS コーパスから，ROOTS search tool を用いて周期表に 関する記述を検索した. 付録の表 1 に，その検索結果の代表例を 6 つ示す.この 6 つのパターンを 基に，BLOOM モデルにおける周期表に関する学習 データの記憶精度を調べた. 具体的には, 周期表タ スクで問われる計 23 の元素に関するプロンプトを 作成し, BLOOM モデルの出力を調べた. このとき, プロンプト内で示される例は，原子番号順となって いることに注意されたい。例えば “beryllium”を問 うための 3-shot のプロンプトには，表 1 の “...” 以前 の文字列が用いられる。

図 2 に，BLOOM モデルにおける学習コーパス内 の周期表データの記憶精度に関する評価結果を示 す. 図より，学習データに含まれる周期表に関する 知識の記憶精度は，モデルサイズに対してスケール すること，またショット数が増えるほど正確さが増 すことが分かった．以上から，周期表タスクで精度 が低い BLOOM モデルでも，回答に必要な知識は獲得していることが分かった.

## 4.2 プロンプトの改良

前節では，プロンプト内の例を原子番号順に与え ることで，BLOOM の小規模モデルでも周期表に関 する知識をある程度保持することが判明した. この ことから，周期表タスクで与えるプロンプト内の例題を原子番号順にし，学習データと一貫させること で，BLOOM モデルはより正解しやすくなることが 予想される. このとき, 例えば原子番号 78 番の元素を問う 2-shot のプロンプトは, 図3のように与え られる.このように，プロンプト内の例題を原子番号順として，周期表タスクを解いた。

図 2 BLOOM モデルにおける学習データの記憶精度.点線は各 shot における平均の精度を示す.

Q: What is the name of the element with an atomic number of 76? A: osmium

Q: What is the name of the element with an atomic number of 77 ? A: iridium

Q: What is the name of the element with an atomic number of 78 ? A:

図 3 例題を原子番号順とする 2-shot のプロンプトの例。

図 4 に，プロンプト内の例題を無作為に選ぶ場合 (図 1 と同様)，および原子番号順に与えた際の周期表タスクにおける精度を示す。図より，周期表タス クにおける回答精度はモデルサイズにスケールして おり，創発的な変化を示さないことが判明した. ま た，検索と読解による精度 $(47.8 \%)$ と比較すると， モデルサイズが 7B のモデルは 3 -shot において同等 の精度 $(47.8 \%)$ を達成することが分かった. さらに 図 2 と比較すると，学習データに含まれる系列をプ ロンプトに用いる場合より, 図 3 のようなプロンプ トを用いる場合の精度が高いことが分かった。

## 4.3 考察

4.1 節および 4.2 節で得られた結果は，モデルが保持できる記憶の量はモデルサイズに対してスケール するという過去の知見と一貫している.このことか ら，プロンプト内の例題を無作為に選ぶ subtask_0 の設問方法による評価は, 言語モデルが保持する知識の正確さの評価には適さないことが分かる. この ことは，subtask_0の設問方法ではほぼ正答が導けな いモデルサイズであっても，周期表に関する知識は 正確に保持しているケースが存在することからも見 て取れる。 すなわち，モデル内の知識の正確さがモ デルサイズに対して不連続に変化するということが 創発的能力の原因であるという仮説は，棄却される ことが示唆される.

図 4 周期表タスクにおいて，プロンプト内の例題をラ ンダムに与えた場合 (点線)，および周期表に出現する順番に与えた場合（実線）の精度. 灰色の点線 (ROOTS + FiD) は，ROOTS コーパスから検索した上位 20 位までの パッセージを Fusion-in-Decoder (FiD) の読解器を用いて読解した際の精度 $(47.8 \%)$ を示す.

前記の考察を踏まえ，周期表タスクの創発的能力 について再考する. 創発的能力が顕著にみられる PaLM モデルに着目すると，PaLM モデルの最大規模のモデルであっても 0-shot では正答できないこと が分かる．このことを加味すると，ランダムな順番 で与えられた例題とモデル内の知識の中から正答を 導く推論能力があるかどうかが，創発前後の差であ ることが示唆される. その一方で，その推論能力が なぜ不連続な変化をするのかは依然として不明であ る. その他にも，なぜ知識問題である周期表タスク で創発的能力が見られるか，算術演算等の論理的推論タスクでなぜ創発的能力が見られるかなど，今後 の研究で解明すべき課題が存在する。

## 5 おわりに

本稿では周期表タスクを用いて，言語モデルサイ ズに対する周期表知識の記憶精度について調べた。 その結果，周期表の原子番号と元素名に関する知識 の記憶精度は，モデルサイズにスケールすることが 分かった. また，周期表タスクを数ショットで実行 する際のプロンプト内の例題を原子番号順で与えて 学習データと一貫させることで，周期表タスクの回答精度はモデルサイズにスケールすることが判明し た.これらの結果から，周期表タスクにおける創発的能力の原因として，周期表に関する知識が小規模 なモデル内に存在しないという予想は棄却され，モ デル内の知識の中から正しい出力を導く推論能力が 創発的であることが示唆される。

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[2] Aarohi Srivastava, Abhinav Rastogi, Abhishek Rao, Abu Awal Md Shoeb, Abubakar Abid, Adam Fisch, Adam R Brown, Adam Santoro, Aditya Gupta, Adrià GarrigaAlonso, et al. Beyond the imitation game: Quantifying and extrapolating the capabilities of language models. arXiv preprint arXiv:2206.04615, 2022.

[3] Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, Ed H. Chi, Tatsunori Hashimoto, Oriol Vinyals, Percy Liang, Jeff Dean, and William Fedus. Emergent abilities of large language models. Transactions on Machine Learning Research, 2022.

[4] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint arXiv:2001.08361, 2020.

[5] Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, and et al. Training compute-optimal large language models. arXiv preprint arXiv:2203.15556, 2022.

[6] Nicholas Carlini, Daphne Ippolito, Matthew Jagielski, Katherine Lee, Florian Tramer, and Chiyuan Zhang. Quantifying memorization across neural language models. arXiv preprint arXiv:2202.07646, 2022.

[7] Benjamin Heinzerling and Kentaro Inui. Language models as knowledge bases: On entity representations, storage capacity, and paraphrased queries. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 1772-1791, Online, April 2021. Association for Computational Linguistics.

[8] Adam Roberts, Colin Raffel, and Noam Shazeer. How much knowledge can you pack into the parameters of a language model? In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5418-5426, Online, November 2020. Association for Computational Linguistics.

[9] Tom Henighan, Jared Kaplan, Mor Katz, Mark Chen, Christopher Hesse, Jacob Jackson, Heewoo Jun, Tom B Brown, Prafulla Dhariwal, Scott Gray, et al. Scaling laws for autoregressive generative modeling. arXiv preprint arXiv:2010.14701, 2020.

[10] Yasaman Bahri, Ethan Dyer, Jared Kaplan, Jaehoon Lee, and Utkarsh Sharma. Explaining neural scaling laws. arXiv preprint arXiv:2102.06701, 2021.

[11] Yi Tay, Mostafa Dehghani, Jinfeng Rao, William Fedus, Samira Abnar, Hyung Won Chung, Sharan Narang, Dani Yogatama, Ashish Vaswani, and Donald Metzler. Scale efficiently: Insights from pretraining and finetuning transformers. In International Conference on Learning Representations, 2022.

[12] Ian McKenzie, Alexander Lyzhov, Alicia Parrish, Ameya Prabhu, Aaron Mueller, Najoung Kim, Sam Bowman, and Ethan Perez. Announcing the inverse scaling prize (\$250k prize pool), 2022. https://www. lesswrong. com/posts/eqxqgFxymP8hXDTt5/announcing-theinverse-scaling-prize-usd250k-prize-pool.

[13] Jason Wei, Yi Tay, and Quoc V. Le. Inverse scaling can become u-shaped. arXiv preprint arXiv:2211.02011, 2022.

[14] Aakanksha Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, et al. Palm: Scaling language modeling with pathways. arXiv preprint arXiv:2204.02311, 2022.

[15] Deep Ganguli, Danny Hernandez, Liane Lovitt, Amanda Askell, Yuntao Bai, Anna Chen, Tom Conerly, Nova Dassarma, Dawn Drain, Nelson Elhage, et al. Predictability and surprise in large generative models. In 2022 ACM Conference on Fairness, Accountability, and Transparency, pp. 1747-1764, 2022.

[16] Alessandro Stolfo, Zhijing Jin, Kumar Shridhar, Bernhard Schölkopf, and Mrinmaya Sachan. A causal framework to quantify the robustness of mathematical reasoning with language models. 36th Conference on Neural Information Processing Systems (NeurIPS 2022) Workshop on Math-AI, 2022.

[17] Alex Mallen, Akari Asai, Victor Zhong, Rajarshi Das, Hannaneh Hajishirzi, and Daniel Khashabi. When not to trust language models: Investigating effectiveness and limitations of parametric and non-parametric memories. arXiv preprint arXiv:2212.10511, 2022.

[18] Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, and Graham Neubig. Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing. arXiv preprint arXiv:2107.13586, 2021.

[19] Teven Le Scao, Angela Fan, Christopher Akiki, Ellie Pavlick, Suzana Ilić, Daniel Hesslow, Roman Castagné, Alexandra Sasha Luccioni, François Yvon, Matthias Gallé, et al. Bloom: A 176b-parameter open-access multilingual language model. arXiv preprint arXiv:2211.05100, 2022.

[20] Hugo Laurençon, Lucile Saulnier, Thomas Wang, Christopher Akiki, Albert Villanova del Moral, Teven Le Scao, Leandro Von Werra, et al. The bigscience roots corpus: A 1.6 tb composite multilingual dataset. In Thirtysixth Conference on Neural Information Processing Systems Datasets and Benchmarks Track.

[21] Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, and et al. Natural questions: A benchmark for question answering research. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 452-466, 2019.

[22] Gautier Izacard and Édouard Grave. Leveraging passage retrieval with generative models for open domain question answering. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 874-880, 2021.

## A 付録：学習データ内の周期表に関 する記述の例

BLOOM モデルの事前学習に用いられた ROOTS コーパスから，ROOTS search tool を用いて周期表に 関する記述を検索したところ，代表的な 6 つのパ ターンとして表 1 に示すような記述がみられた。

表 1 ROOTS コーパスに含まれる，周期表の元素に関す る記述の例.

hydrogen, helium, lithium, ...

hydrogen (1), helium (2), lithium (3), ...

1-Hydrogen (H) 2-Helium (He) 3-Lithium (Li) 4 ..

1 H Hydrogen 2 He Helium 3 Li Lithium 4..

1 Hydrogen $\mathrm{H} \cdot 2$ Helium $\mathrm{He} \cdot 3$ Lithium $\mathrm{Li} \cdot 4$...

hydrogen $(\mathrm{H}$, atomic number 1 ); helium $(\mathrm{He}$, atomic

number 2 ); lithium ( $\mathrm{Li}$, atomic number 3 ); ...


# 学習データの珍しさを考慮した多様な広告文生成

${ }^{1}$ negocia 株式会社
\{kai_kurogi, kota_ishizuka, kosuke_kawakami\}@negocia.jp

## 概要

リスティング広告は、様々なユーザーにリーチす るために、多様な表現や訴求を用いた広告文を作成 することが重要である。しかし従来の広告文生成モ デルは、トレードオフの関係にある多様性と妥当性 を両立することが難しい課題があった。そこで我々 は、学習データに含まれる各広告文の表現の珍しさ (レア度)を計算し、レア度に応じた重み付けを行う ことで、妥当性を維持しながら多様な広告文を生成 する手法を提案した。結果として、既存手法以上の 妥当性を獲得しながら、多様性を $29 \%$ 向上させるこ とができた。

## 1 はじめに

リスティング広告とは、ユーザーの検索キーワー ドに関連した広告がリスト形式で表示される広告 である。リスティング広告の入稿形式の 1 つである レスポンシブ検索広告 (RSA) は、1つの広告に複数 の広告見出し、説明文を入稿し、配信媒体側でその 組み合わせを自動で調整することで、ユーザーごと に最適な広告文を表示できる広告である。例えば Google や Yahoo!の RSA では、最大 15 個の広告見出 し、及び最大 4 個の説明文を一つの RSA に入れる ことができる。RSA の運用では、様々なユーザーに リーチするためにその入稿枠を全て埋めることが推奨されている。しかし、広告ごとに大量のアセット を考える業務負荷は非常に大きい。そのため、制作現場では多様な広告文を生成出来る技術が求められ ている。

この課題に対して川本ら [1] は、変分 AutoEncoder により広告文の潜在空間を獲得し、品詞系列で条件 づけることで、多様な広告文を生成する手法を提案 している。しかし上記手法では、多様性が向上する 代わりに、妥当性や流暢性が低下するトレードオフ の問題が確認された。また、近年では Transformer[2] に代表される事前学習済み汎用言語モデルを活用
することで、高い流暢性を持った広告文自動生成技術が数多く提案されている。脇本ら [3] や黒木ら [4] は大規模言語モデルの入力にキーワードを利用 することで、大規模言語モデルが元々備える流暢性 と、キーワードによる方向付による妥当性の両立に 成功した。しかし上記手法は、多様性向上を目的と していないため、何度生成しても同じょうな広告文 ばかりが生成されてしまうという問題があった。そ こで本研究では、高い妥当性を維持しながら、既存 の手法よりも多様性を高くするモデルの学習方法 を提案する。具体的には学習データに含まれる各広告文の表現の珍しさ（レア度）を事前に計算し、 そのレア度に応じて学習データの重み付けを行っ た。レア度で重み付けを行うことで、モデルは珍し い表現が使われた広告文を重視して学習するため、生成時に多様性が向上することが期待できる。レア 度の計算には Perplexity を用いた。また、モデルの 評価には Pairwise-BLEU[5], local-distinct ${ }_{n}(\mathrm{n}=1,2)[1]$, recall-BLEU[6] を用いた。

## 2 提案手法

本研究では、事前にて学習データの各広告文のレ ア度を Perplexityによって計算し、モデル学習時に その値に応じた重み付けを行うことで、様々な表現 が出やすい広告文生成モデルを作成した。

## 2.1 Perplexity

Perplexity は言語モデルの複雑さを示す指標であ り、以下の式で計算される。

$
\text { Perplexity }=\prod^{N} P(c)^{-\frac{1}{N}}
$

ただし $P(c)$ はトークン $\mathrm{c}$ の発生確率である。これ はモデル分布が正解トークンを選択する難しさを 示しており、Perplexity が小さいモデルは、より正解トークンを選ぶ確率が高い、すなわちより流暢な モデルであると考えられている。ただし広告文生成 タスクにおいては、一つの入力に対して、複数の出
力が正解となることが一般的である。このような場合、Perplexity は「レア度」と解釈することができ る。すなわち、ある広告文の Perplexity を計算した 際、その值が小さい場合は、対象の広告文にはよく 見る表現が多く含まれていることを示している。逆 に Perplexity が大きい場合、その広告文には珍しい 表現が多く使われていると考えることができる。本研究では、事前に準備した非常に軽量な学習済み言語モデルを用いて、データセットの個々の広告文に 対して Perlexityを計算した。

## 2.2 Perplexity による重み付け学習

データセット全体の広告文を $\mathrm{T}_{m}=\left.\{T_{1}, T_{2}, \ldots, T_{m}\right.\}$ とする。各広告文がトークンの長さ $=N_{i}$ の トークン $T_{i}=\left(t_{i 1}, t_{i 2}, \ldots, t_{i N}\right)$ で表される時、 $T_{i}$ の Perplexity= weight $_{i}$ を用いて、以下の値を最大化す るようモデルのパラメータを学習させた。

$
\sum_{T_{i} \in T_{m}} \text { weight }_{i} * \sum_{1 \leq n \leq N}\left(\log p\left(t_{i n} \mid \text { input }, t_{i<n}\right)\right)
$

ただし $t_{i<n}:=\left(t_{i 1}, t_{i 2}, \ldots, t_{i(n-1)}\right)$ である。すなわちモ デルは、より Perplexity が高い広告文を重視するよ うに学習した。

## 3 実験

本実験では、Perplexity の重みづけによる多様性の 変化を観察するため、以下で指定されたモデルに対 し、Perplexityによる重みづけのあり (reference)、な し (baseline) の 2 パターンでモデルを学習し、それ ぞれの生成文の品質を比較した。

## 3.1 モデル

黒木ら [4] の手法を参考に、言語モデルとして T5[7]を採用した。また、モデルの入力は、キーワー ド、及び広告の遷移先 URL であるランディング ページ (LP) の HTML から取得したタグ情報を連結 した文字列を用いた。埋め込み層には、HTMLのタ グ情報による Tag Embeddings を追加した。つまり、本モデルは一つのキーワードと LP のペアから広告文（広告見出し、及び説明文）を生成するモデルと なる。

## 3.2 データセット

学習に用いるデータセットは独自にスクレイピン グすることで得られたデータを用いた。各データは 検索キーワード、キーワードによって表示された広表 1 評価結果 (広告見出し)

表 2 評価結果 (説明文)

告文、LP の HTML から構成されており、学習デー タ 741,506 件とテスト用データ 82,320 件に分割して 使用した。

## 3.3 評価方法

モデルの性能は自社で保有する、RSA の配信デー タ 200 件を用いて評価した。評価に用いたデータ の全体図を図 1 に示す。各配信データはRSAに 入稿されているアセット群、RSA に紐づくLP の HTML、及び RSA が紐づく広告グループに登録さ れたキーワード群からなる。ただし本モデルは 一つのキーワード、LPのペアから広告文を生成 するモデルである。そこで本実験では、キーワー ド群の中からコストの高いキーワードを最大 10 個まで抜き出し、それぞれのキーワードと LP の ペアで広告文を生成することで、LPごとに生成結果を取得した。また、定量評価は広告見出し、説明文ごとに行い、評価指標には Pairwise-BLEU, local-distinct $_{n}(\mathrm{n}=1,2)$, recall-BLEU を用いた。

図 1 広告グループ、アセット群、LP、キーワード群、生成結果の関係の概要図

## 3.3.1 Pairwise-BLEU

Pairise-BLEU は Shen ら [5] らによって提案された 多様性を測る指標であり、生成結果とアセット群間 の BLEUではなく、生成結果間の BLEUを計算した 値である。ある一つの生成結果に対し、それを除く 全ての生成結果を参照文と見做すことで BLEU を計
表 3 各モデルの生成例（広告見出し）

} & \multicolumn{2}{|c|}{ エステ 体験 瘦身 セルライト 瘦せる 体験 結果 コース } \\

算する。生成結果が多様なほど低い値を取る。

## 3.3.2 local-distinct-n

local-distinct-n は川本ら [1] によって提案された多様性を測る指標であり、生成結果全体の n-gramのう ち、ユニークな n-gram の割合を元に計算した値で ある。生成結果が多様なほど高い值を取る。また、 Pairwise-BLEU とは異なり、同じテキストの中にユ ニークな n-gram が多い場合も高い値を取る。本実験では $\mathrm{n}=1,2$ とした。

## 3.3.3 recall-BLEU

recall-BLEU は Hui ら [6] によって提案された妥当性を示す指標であり、実際に入稿されていたアセッ ト 1 つ 1 つに対して、生成結果を参照文と見做して BLEU を計算し、平均を取った値である。生成結果 の妥当性が高いほど高い值を取る。 recall-BLEU が 小さい值となった場合、元の RSA のアセットに含 まれていない文ばかりを生成している、すなわち妥当性の低いモデルであると判断することができる。

## 4 結果と考察

## 4.1 定量評価

定量評価の結果を表 1、表 2 に示す。多様性を 示す Pairwise-BLEU, local-distinct ${ }_{n}(\mathrm{n}=1,2)$ について は、説明文の local-distinct t $_{1}$ を除く全ての指標で reference が baselineを上回った。特に、広告見出し における Pairwise-BLEU では、 reference が baseline よ り約 $29 \%$ 高い結果が得られた。また、妥当性を示す recall-BLEUにおいても、広告見出し、説明文のいず れの場合も reference が baseline を上回った。つまり 提案手法は、多様性と妥当性を同時に上げられる手法だといえる。これは、重み付けにより、レア度が 高く、かつ流暢・妥当性があるトークンと、そもそ も文法的にありえないトークンの両者を区別できる
ようになったからだと考えられる。重み付けを行う ことで、前者のトークンのみ出力確率を引き上げる ことができたため、妥当性、多様性が同時に向上し たと思われる。

## 4.2 定性評価

定性評価のためのキーワードと広告見出しの生成例を表 3 に示す。LP はエステサロンの比較サイ トを用いた。いずれのモデルも、個々の広告文を見 ると広告らしい文が生成できていることが確認で きる。reference では”瘦身エステ”などの定番の表現 に加え、キーワードには含まれないものの、”フェ イシャル”、"美脚”などエステの定番部位を含んだ ものや、"気になるお腹の脂肪には?"といった問い かけ表現を生成することができた。一方 baseline で は”瘦身エステ”などの定番表現や、“セルライト”な どキーワードに含まれる表現を含んだ広告文は生成 できたものの、キーワードから連想できるが、キー ワード自身には含まれていないその他表現はあまり 生成することができなかった。つまり、もし制作現場で全てのキーワードが網羅できている場合、両モ デルに大きな差は出ないが、全てのキーワードを網羅することが難しい場合には、reference モデルを用 いた方が、より多様な表現を獲得できると言える。

## 5 まとめ

本研究では、広告文生成タスクについて、データ セットに Perplexity による重みづけを行う手法を提案した。実験の結果、提案手法は既存手法以上の妥当性を持ちながら、多様性を約 $29 \%$ 上げることがで きた。本手法は loss の計算時に weight で重み付けす るだけで実現できるため、既存の様々な手法に組み 込むことが可能である。一方、本モデルは多様な表現の広告文を生成出来るものの、その広告文を実際 に配信した時に高い広告効果が得られるかどうかは 考慮していない。そこで今後は、多様性を維持しな

がら、より広告効果が高い広告文を生成する手法に

ついて研究したい。

## 参考文献

[1] 川本峻頌, 張培楠. スタイル制御を考慮した多様な広告文生成. 言語処理学会第 25 回年次大会, 2019.

[2] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, u. Kaiser, and I. Polosukhin. Attention is all you need. Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 6000-6010, 2017.

[3] 脇本宏平, 川本峻頌, 張培楠. インターネット広告にお けるキーワードに基づく広告文の自動生成. 2020 年度人工 知能学会全国大会, 2020 .

[4] 黒木開, 石塚湖太, 川上孝介, 中田和秀. 複数の指定語句を必ず含むリスティング広告の広告文自動生成. 言語処理学会第 28 回年次大会, 2022.

[5] T. Shen, M. Ott, M. Auli, and M. Ranzato. Mixture models for diverse machine translation: Tricks of the trade. Proceedings of the 36th International Conference on Machine Learning, pp. 97:5719-5728, 2019.

[6] C. Hui, H. Zhao, Y. Song, and B. Lu. An empirical study on development set selection strategy for machine translation learning. Proceedings of the Joint Fifth Workshop on Statistical Machine Translation and MetricsMATR, $p$. 67-71, 2010.

[7] C. Raffel, N. Shazeer, A. Roberts, K. Lee, S. Narang, M. Matena, Zhou Y., W. Li, and J. Liu. P. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, p. 21(140):1-67., 2020.


# 服飾の色情報に基づいた ポエティックな商品名の作成支援システム

飯塚柚稀 ${ }^{1}$ 林克彦 ${ }^{2}$ 永野清仁 ${ }^{1}$ 宮尾祐介 ${ }^{3}$
1 群馬大学 2 北海道大学 3 東京大学
${ }^{2}$ katsuhiko-h@ist.hokudai.ac.jp

## 概要

本稿では服飾に対する商品名の作成を支援するシ ステムを開発し，その評価を行う．特に，ここでは ロリィタファッションや森ガールファッションの 服飾商品に対して，服飾の特徴を表す単語だけでな く，比喻表現や修飾語を用いて，商品を魅力的に表 す商品名候補を生成するシステムを開発する。この システムの核は，服飾のメインカラーと似ている色 の単語によって，商品を形容することであり，本稿 ではこの実現に必要となる辞書データも作成した.開発したシステムにより生成した商品名候補が商品 を魅力的に表現できているか，99名の大学生にアン ケート調査を行ったところ，好意的な結果が得られ たのでこれを報告する.

## 1 はじめに

ファッション業界では「シャギーニット」や「リ ボンワンピース」のように，服飾の種類・材質・柄・装飾といった商品の特徴のみを表すネーミングが 基本である．そのため，異なるブランド同士であっ ても，商品名にはあまり差異が見られないことが多 い。そのような中で，ロリィタファッションや森 ガールファッションの服飾商品には，「甘い抹茶ラ テのワンピース」や「漆黒のお嬢様のヴィクトリア ンブラウス」といった個性的な商品名が付けられる 傾向がある ${ }^{11}$ 。このように，服飾の特徴を表す単語 だけでなく，比喻表現や修飾語が用いられた詩的情緒豊かな商品名のことを，本稿では「ポエティック な商品名」と呼ぶ．ポエティックな商品名は，商品 の特徴を表す単語だけを用いた商品名よりも消費者 の注目を集め，イメージを膨らませることが期待さ れる。それにより，商品に対する購買意欲を高める 効果があると考えられるが，服飾を魅力的に表すポ
照.
エティックな商品名を考案するコストは高い.

そこで本稿では，ポエティックな商品名の作成を 支援するシステムの構築を目指す。このシステムを 設計する上で，まず，商品にポエティックなネーミ ングを施しているファッションブランド Yuruly の 商品名を分析した.この分析から，

・ポエティックな商品名を生成する上では，商品 のメインカラーに近い色の単語を用いることが 重要である

という仮説を立て，この仮説に基づいたルールベー スの商品名生成システムを構築する．提案システム では，まず商品名に使用する単語と，その主な色と なるカラーコードが対となった辞書を作成する。 そ して，ネーミングを施す商品画像からメインカラー と考えられる色を抽出し，そのメインカラーに近い 色が登録されている単語を辞書から取得する．最後 に，取得した単語をテンプレートに組み込むこと で，ポエティックな商品名の候補を生成する。

本稿では提案システムの有効性を検証するため，自動生成した商品名候補が魅力的なものであるかア ンケート調査を実施した。 99 名の大学生から得た アンケート結果を分析したところ，システムの有効性が確認された。

辞書やコードはhttps://github.com/Yuki0922/ poetic-product-name で公開予定である.

## 2 関連研究

文章の自動生成については，これまでにさまざま な観点から研究が行われている. Vinyals らは画像 キャプション生成を深層学習によりモデル化してい る [1]. この成功以来，キャプション生成への注目 が集まり，家具の説明文 [2]，アパレル EC サイトの 商品説明文 [3] や株価の市況 [4] などを生成するモ デルが次々に提案された。，他にも，俳句 [5] や詩 [6] などのテキストを生成する深層学習モデルも提案さ

図 1: 提案システムの概略. 入力画像はフリー素材を使用.

れている. 商品の説明文を生成する研究や俳句など の芸術性の高いテキストを生成する研究は，本稿と の関連も深いが，服飾に対するポエティックな商品名を自動生成する試みはない.

本稿で扱うポエティックな商品名は数が少なく,機械学習に必要となる学習データを十分に集めるこ とが困難である。そのため，提案システムではルー ルベースに基づく手法を採用しており，その核とな るのは，単語・カラーコード辞書である。これは単語とそれに対する主な色のカラーコードを対として 登録した辞書であり，本稿ではこの辞書を主に人手 で作成している. 文献 [7] では色とその色に人が独自に付けた名前が対となったデータセットを構築し ている。本稿では日本語を対象としているため，英語により記述された上記のデータセットを利用する ことは簡単でない，また，洋菓子，宝石，植物，フ ルーツなど多様なカテゴリの単語を含むことも本稿 で作成した辞書の特徴となる。

## 3 提案システム

図 1 にポエティックな商品名を自動生成するシス テムの概略を示す. 本システムの入力は, 商品画像 から抽出したメインカラーのカラーコードと，「ワ ンピース」などの商品名末尾に配置する単語であ り, 出力はポエティックな商品名である. 動作工程 は大きく分けて，

・カラーコード抽出部

・辞書マッチング部
- 商品名生成部

の 3 つがある．以下では各部の詳細を説明する。

## 3.1 カラーコード抽出部

カラーコード抽出部は，ネーミングを施したい商品画像から，メインカラーとなるカラーコードを抽出するフェーズである．カラーコードの抽出方法は 2つあり，1つ目はイメージカラーピッカーを用い て人手で取得する方法である． 2 つ目は，クラスタ リング（本稿では $k$-means 法を採用）によって，画像内の色を $k$ 個のクラスタに分け，その中で最も大 きな割合を占める色のカラーコードを抽出する方法 である．後者は作業を自動化できるが，図 2 のよう に商品画像内の影の割合が多いほどメインカラーと して抽出されるカラーコードは暗い色となるため，人間の感覚とはギャップが生じる。そのため，本稿 の実験調査では前者の方法を採用する.

## 3.2 辞書マッチング部

辞書作成 本システムで使用する辞書には，単語 とその主な色のカラーコードが登録されている「単語・カラーコード辞書」，及び，修飾語が登録されて いる「修飾語辞書」の2つがある.

単語・カラーコード辞書は図 1 のように, 商品名 に使う単語とその主な色のカラーコードが対とし て登録されている2). 表 1 には辞書に登録されてい

2）「莓のショートケーキ」のように，それを表す典型的な色 を判断しにくい単語に対しては，2つ以上のカラーコードを

図 2: 影が多く含まれる服飾画像からメインカラーを抽出 する際，自動で抽出したカラーコード「\#9c7979」は 手動で抽出したカラーコード「\#d6a6a4」より暗い色 となる. 入力画像はフリー素材を使用.

表 1: 単語・カラーコード辞書の単語登録数.

る単語の例と登録数を示す. カテゴリは Yuruly の 商品名に使用されている単語のカテゴリを分析す ることで選定した．登録単語の選定方法はカテゴリ ごとに異なる. 日本や世界の伝統色は色の名称とカ ラーコードが対として登録されているサイトから 抽出した ${ }^{3)}$ 。他のカテゴリについては，単語の選定 は Wikipedia 等の辞書から一覧を取得した.これら の単語に対するカラーコードの登録は Google 画像検索とイメージカラーピッカーを用いて人手で行っ た. 単語・カラーコード辞書は後述するマッチング 処理において，服飾画像のメインカラーと似た色の 単語を取得するために利用される。

修飾語辞書に登録されている単語数は 69 であり,例としては，「ガーリー」「ドリーミー」「エレガン ト」「ロイヤル」「清楚な」「たおやかな」「優雅な」「麗しい」といった単語が挙げられる.このような 形容詞以外にも，「アリス」「ドール」「レディー」

登録している。また，提案システムではこのような複数のカ ラーコードを持つ単語を用いた商品名生成も実装している が，説明を簡略化するため，その詳細は省略する。

3) https://www.colordic.org/w や https://www.colordic. org/yを参照「パーティー」といった名詞も修飾語辞書に登録し ている。修飾語辞書に登録している単語は，可愛い 単語や美しさを表す単語が掲載されている Web サ イトから人手で選定している4)。修飾語辞書の利用方法は商品名生成部で後述する。

マッチング処理辞書マッチング部は，カラー コード抽出部で得られるカラーコードをもとに，似 ている色の単語を単語・カラーコード辞書から取得 するフェーズである。辞書に登録された単語のカ ラーコードと服飾に対するメインカラーのカラー コードをRGB 值に変換し，それらのユークリッド 距離を計算して，その距離が小さいほど 2 つの色は 似ていると判断する。システムでは多様な商品名を 生成するため，辞書から距離が閾値以内の単語を $N$個抽出し，そこからランダムで選択した単語を次節 の商品名生成部で利用する.

## 3.3 商品名生成部

商品名生成部は，単語・カラーコード辞書との マッチング処理で取得した単語や「ワンピース」な どの入力単語をテンプレートに組み込み，商品名を 生成するフェーズである. テンプレートには

・マッチング部で取得した単語 + “の” + 入力単語

・マッチング部で取得した単語 + “の”＋修飾語辞書からランダムに取得した単語 + 入力単語

の 2 種類ある. 修飾語辞書には「メルティー」「ド リーミー」といった単語が登録されており，これら の単語は後者のテンプレートが選択された際にラン ダムで取得される．以下は商品名候補の例である。

・ブルーベリーチーズケーキのワンピース

・アルタイルのワンピース

・白藤色のドリーミーワンピース

これらは図 1 で示した服飾のメインカラーのカラー コード「\#e1d8e4」に対して，商品名生成を行った 例であり，商品名末尾に配置する入力単語は「ワン ピース」である.

## 4 実験調査

提案システムの有効性を検証するため，アンケー 卜調査を行った. 調査対象は 10 代と 20 代の大学生 99 名であり，性別は男性が 58 名，女性が 38 名，回答しないが 2 名，その他が 1 名であった. アンケー 卜対象の服飾画像は Yuruly から 20 個取得し，次節

表 2: 20 問の設問に対して，7つの商品名項目ごとの平均票数と標準偏差（全体 99 人）(票数多い順).

で説明する形式で 20 問の設問を用意した.

## 4.1 アンケート調査の設問形式

服飾の商品画像 1 つに対して 7 つの商品名を選択肢として提示し，その中から魅力的だと感じるもの をすべて選択する形式とした．7つの商品名項目は

1. 商品画像の色に近い色の単語を使った商品名

2. 商品画像の色に近い色の単語 + 修飾語を使っ た商品名

3. 商品画像の色から遠い色の単語を使った商品名

4. 商品画像の色から遠い色の単語 + 修飾語を 使った商品名

5. 商品画像の色に関係なく取得した単語を使った 商品名

6. 服飾の特徴を説明する単語のみで構成された商品名

7. 実際の商品名

となっている.この項目のうち最初の 5 つは提案シ ステムによって生成される商品名である. ただし， 3つ目と4つ目の商品名はマッチング処理において，距離の大きい単語を単語・カラーコード辞書から取得している. 5 つ目の商品名で使用した単語は音楽関連など色と無関係の単語リストからランダムに取得した。実際の設問例は付録 A. 1 に付した。

## 4.2 調査結果と分析

7 種類の商品名項目ごとの平均票数とその標準偏差を表 2 に示す. 服飾のメインカラーから遠い色を 持つ単語や無関係な色を持つ単語を利用した場合 (3., 4., 5.) よりも，近い色を持つ単語を利用した 商品名 (1., 2.) の方が多くの票数を獲得している. この結果より, 服飾に近い色に着目するというシス テム設計の仮説に一定の妥当性があることが確認さ れた。また，この傾向は性別や服飾への興味の有無 に関わらず一貫していた（付録 A.2 と A.3）.

図 3: 服飾の色に近い色の単語として商品名に使用された 単語の獲得票数（上位下位 5 単語ずつ).

しかし，実際の商品名（7.）と比較すると，シス テムが生成した商品名の票数は劣る結果となった. この点を分析するため，図 3 に服飾の色に近い色の 単語として商品名に使用された獲得票数上位下位 5 単語を示した. 上位には「ラベンダー」「シラユリ」 のような植物名など色を想起しやすく比較的語感の 良い単語が使われていた。下位には「酒饅頭」「葛焼き」のような洋服とイメージが合わない和菓子や 「国防色」「苦礬柘榴石」のように見慣れない単語が 使われており，このような事例が票数の低下を招い たと考えられる。ただし，これらの問題は辞書を整備することで改善できる可能性が高い.

一方で，最も票数を集めたのは服飾の特徴を説明 する単語のみで構成された商品名 (6.) であった. この理由の一つには，商品名が商品の魅力を高める ようなものというよりも, 商品に適している違和感 の少ない商品名が選ばれている可能性が考えられ る.この事から質問文や設問の項目については改善 の余地が残される結果となった。

## 5 まとめ

本稿では服飾に対するポエティックな商品名の候補を生成するシステムを開発し，アンケート調査か らその有効性を確認した. 今後, 実運用に向けて, システムや辞書の整備を進めたい. 特に，単語・カ ラーコード辞書の作成は著者らの主観で行ったが， ある単語に一色を割り当てる作業は更なる議論が必要である [8]. また，「アリス苸のショートケーキ」 のような印象的な造語を考えるテンプレートを整備 し，より魅力的な商品名の生成を検討したい.

## 謝辞

本研究は JSPS 科研費 JP 21H03491 の助成を受け た. また，アンケート調査に協力してくれた方々に はこの場をお借りして深く感謝いたします.

## 参考文献

[1] Oriol Vinyals, Alexander Toshev, Samy Bengio, and Dumitru Erhan. Show and tell: A neural image caption generator. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 3156-3164, 2015.

[2] 鈴木凛次, 福本健二, 寺田浩之, 馬頭正文, 灘本明代. Lstm を用いた家具説明文の自動生成. 電子情報通信学会データ工学研究会 (DE), Vol. 120, No. 202, 2020.

[3] 園田亜斗夢, 新名玄. アパレル ec サイトにおける説明文自動生成. 経営情報学会 2018 年秋季全国研究発表大会, pp. 125-127, 2018.

[4] 村上聡一朗, 渡邊亮彦, 宮澤彬, 五島圭一, 柳瀬利彦, 高村大也, 宮尾祐介. 時系列株価データからの市況コ メントの自動生成. 自然言語処理, Vol. 27, No. 2, pp. 299-328, 2020 .

[5] 廣田敦士, 岡夏樹, 荒木雅弘, 田中一晶. 学習データ セットを分けた seqgan による俳句生成. 言語処理学会第 24 回年次大会, pp. 1292-1295, 2018.

[6] Xingxing Zhang and Mirella Lapata. Chinese poetry generation with recurrent neural networks. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 670-680, 2014.

[7] Kazuya Kawakami, Chris Dyer, Bryan R Routledge, and Noah A Smith. Character sequence models for colorful words. arXiv preprint arXiv:1609.08777, 2016.

[8] 川上正浩. 野菜・果物等の典型色に関する調査. 大阪樟蔭女子大学研究紀要第 1 号, 2011.

## A 参考情報

## A. 1 アンケート設問の例

以下にアンケートの設問の例を示す。これは Yuruly で実際に販売されている商品「ふわり小 イップのワンピース」）に対する設問となる.この商品は白色のワンピースである.

1. シラユリのワンピース

2. 梨のシャーベットのハートワンピース

3. クーベルチュールチョコレートのワンピース

4. ビリジアンのプリマワンピース

5. 鶉月のワンピース

6. フリル襟半袖ワンピース

7. ふわりホイップのワンピース

## A. 2 性別による票数の違い

表 3 と 4 亿，性別を男性あるいは女性と回答した 調査対象者のアンケート結果をまとめた.これらの 結果から，一般に男性や女性という性別の違いは結果に大きな影響を与えていないことがわかる.

表 3: 20 問の設問に対して，7つの商品名項目ごとの平均票数と標準偏差（男性 58 人）(票数多い順).

表 4: 20 問の設問に対して，7つの商品名項目ごとの平均票数と標準偏差（女性 38 人）(票数多い順).

## A. 3 ファッションへの関心の有無による 票数の違い

表 5 と 6 に，ファッションに興味あり，あるいは，興味なしと回答した調査対象者のアンケート結果 をまとめた。これらの結果から，ファッションへの 関心の有無は結果に大きな影響を与えていないこ とがわかる．また，表 7 には，ロリィタや森ガール ファッションと関連の深いガーリー系ファッション に興味があると回答した 9 人に対する結果を示し た. この結果からも票数の違いは見られなかった.

表 5: 20 問の設問に対して，7つの商品名項目ごとの平均票数と標準偏差（ファッションに興味あり 64 人） (票数多い順).

表 6: 20 問の設問に対して， 7 つの商品名項目ごとの平均票数と標準偏差（ファッションに興味なし 35 人） (票数多い順).

表 7: 20 問の設問に対して，7つの商品名項目ごとの平均票数と標準偏差（ガーリー系ファッションに興味あ り 9 人）（票数多い順).


# Decoding Sentence Representations for Text Generation

Weihao Mao, Xuchen Yang, Liyan Wang and Yves Lepage
早稲田大学大学院情報生産システム研究科
mao_weihao@asagi.waseda.jp, yang_xuchen@asagi.waseda.jp,
wangliyan0905@toki.waseda.jp, yves.lepage@waseda.jp
}

\begin{abstract}
Large-scale pre-trained language models have shown their potential in generating nearly human text. However, they require a large amount of data to be trained from. We explore the task of decoding sentence representations to reconstruct texts. We design two variants of a baseline vector-to-sequence model and explore different vector composition methods: unweighted and weighted sum, and concatenation. Experimental results show that a Transformer trained from scratch on sequences of word vectors achieves the highest BLEU score (94.2 BookCorpus sentences and 96.9 on Tatoeba sentences).
\end{abstract
## 1 Introduction

Text generation is a core task of natural language processing. It is part of machine translation, text summarization, and dialogue systems. It consists in outputting the corresponding human-understandable text which correspond to a given input [1]. Various neural network models such as Variational Autoencoder (VAE) and Generative Adversarial Networks (GAN) have been designed for text generation [2, 3, 4]. Pre-trained language models based on Transformers [5] have achieved the state of the art [6]. However, these models require large amounts of data for training and high power consumption because of the use of GPUs.

An alternative solution to large pre-trained language models is to use word embedding spaces to create sentence representations and decode these sentence representations into sentences $[7,8,9]$. This reduces the size of the resources needed for text generation. The experiments reported in [8] with such a model are however limited to short sentences from the Tatoeba corpus ${ }^{1}$, where the av-
^{1}$ https://tatoeba.org/en/
}

erage length of sentences is seven words. In this paper, we explore this model further and extend to more general cases.

We examine different composition methods of word vectors into sentence representations and conduct experiments with different architectures for decoding these sentence representations into a sentence.

## 2 Methods

Suppose that there is a pre-trained embedding model which projects words to $d$-dimensional vectors in a semantic space. Given a sentence, we can obtain a sequence of word vectors by representing words of the sentence in isolation. In Section 2.1, we examine four different composition models to derive effective representations for sentences. Then, in Section 2.2, we introduce a decoding mechanism for text generation, i.e., transferring compositional representations into sentences.

## 2.1 Composition methods

The simplest method to represent a sentence from word vectors is to sum up the word vectors of the words appearing in the sentence. This will be the first sentence representation that we will use, as a baseline. We call it unweighted sum.

Although the above method is simple and effective in some tasks [10], it has the drawback of giving the same importance to functional words as to meaningful words. As we care about the meaning of the sentence, we choose to give more weights to meaningful words while lowering the importance of functional words. For that, we use the index document frequency (idf) as weights, i.e., we use the idf-weighted sum of word vectors as a sentence representation (see Equation (1)). This produces semantically more relevant sentence representations [11]. We call this
weighted sum

$
v_{s}=\sum_{w \in s} \operatorname{idf}_{w} v_{w}
$

Here, $v_{w}$ is the word vector of word $w$ in some pre-trained word embedding space. $\operatorname{idf}_{w}$ is the inverse document frequency (idf) of word $w$, computed by considering each different sentence as a different document.

To capture long-distance dependencies between words, we propose to use the encoder part of an autoencoder model to generate a sentence representation from a sequence of word vector. We call this encoder of autoencoder.

The three above sentence representations lose the information about word order in the sentence, and mix-up information coming from different words on each vector dimension. So as to use more fine-grained information and retain the word order information, we propose to concatenate word vectors into a $d \times l$ matrix, where $l$ is the number of words. This fourth sentence representation will be called concatenation.

## 2.2 Text generation

To perform text generation, i.e., to decode a sentence representation into a sentence, we explore the use of three different architectures of neural networks.

The problem of solving sentence analogy puzzles is addressed in [8]. For that, a vector-to-sequence model is proposed to learn how to transfer a sentence vector, computed from the sentence vectors given in the analogy puzzle, into a sequence of words. This is done by pre-training a separate sentence decoder. Although the decoding method achieved reasonable results on the semantico-formal analogy dataset used [12], the accuracy drops significantly on other datasets containing longer sentences or different sentence styles.

We propose two decoders with different architectures: RNN-based autoencoder and Transformer-based decoder.

We then implement the RNN-based decoder that is the same as the vector-to-sequence model to decode sentence vectors.

For the RNN-based autoencoder model, we keep the decoder part consistent with the decoder proposed by [8] and only add a single-layer BiLSTM as the encoder. BiLSTM learns how to convert the sequence of vectors into a sentence vector in a fixed-size and feeds it to the decoder.
We also train a model from scratch that only has the decoder part with the Transformer structure. In the Transformer decoder, we use padding and cutting to make all vectors a fixed-size. As for decoder input, we take a fixedsize sequence of vectors added with positional encoding. The hidden vector encoded by the network is mapped to the dimension of the vocabulary, and then the output is the word with the highest probability in each position. Furthermore, we introduce the attention mechanism into the vector-to-sequence model to solve the problem that the decoder does not perform well in decoding long sentences.

For Transformer-based decoder, we establish the model with a single Transformer layer.

## 3 Experiments

## 3.1 Datasets

We experiment with data from two corpora in the English language. The first one is the Tatoeba corpus in which sentences are short and are basically composed of only one main clause. The second one is BookCorpus [13]. The sentences come from novels by many different authors.

We randomly select around 60,000 (exactly 63,336) English sentences from each corpus, which we divide into training, validation, and test sets with the respective proportions of $80 \%, 10 \%$, and $10 \%$. The average length of sentences from the Tatoeba corpus is 6.7 in words and 28.5 in characters. For BookCorpus, it is 13.2 in words and 62.7 in characters.

## 3.2 Setups

We use the pre-trained fastText model [14] to encode words into vectors.

To explore the decoding performance in terms of the quality of sentence representations, we use four different vector composition methods: the unweighted sum of the word vectors (sum) and the weighted sum of the word vectors using scalar factors of the idf weighting (wsum), fixed-size vector generated by BiLSTM (enc) and the concatenation of word vectors (concat). We conduct four experiments on decoder models ${ }^{2}$ in the following settings:
- sum-RNN: this is the model proposed in [8]. The
^{2}$ The model size is affected by the size of the vocabulary. Considering that we want to use a small model for this task, the vocabulary of each model is just initialized with the training data.
}

(a) Tatoeba

(b) BookCorpus

Figure 1 Performance, in BLEU, of the different models, by lengths of sentences, for each of the corpora.

sentence vector is the unweighted sum of the word vectors of the words in the sentence. This model is our baseline model.
- wsum-RNN: same as the previous model, except that the sentence vector is the idf-weighted sum of the word vectors.
- enc-RNN: the sentence representation is the fixed-size vector generated by the encoder of autoencoder . The decoder part of the autoencoder is used to output a sequence of words.
- concat-Trans: the sentence representation is the concatenation of the sequence of word vectors. A Transformer-based decoder is used to output a sequence of words. This Transformer model is trained from scratch.

## 4 Results and discussion

Figure 2 Performance of models learned from training data of different sizes.

## 4.1 Results

We use three evaluation metrics to quantify the decoding performance: accuracy, BLEU, and Levenshtein distance. Table 1 shows the results of the four experiments introduced in the previous section.

In terms of accuracy, i.e., outputting exactly the input sentence, the idf-weighted sum sentence representation provides an improvement of $16.0 \%$ and $3.1 \%$ on the two corpora, Tatoeba and BookCorpus, in comparison with the unweighted sum sentence representation (baseline model). On Tatoeba, the two proposed models (RNN model with the autoencoder structure and Transformer decoder) outperform the baseline by $34.7 \%$ and $51.4 \%$, respectively. On BookCorpus, their accuracy is lower than on Tatoeba, especially for the RNN model. Although the accuracy of the Transformer decoder has also declined, it is still the best among all models, by a large margin.

It is worth mentioning that the Levenshtein distance using Transformer decoder is only 0.1 . This means that even when decoding a not exactly same sentence, only less than one word in the sentence is incorrect on average.

Moreover, the Transformer decoder obtain 94.2 BLEU score, indicating that the decoded wrong sentences are still highly similar to the reference sentences.

We explore the effect of length of sentences and size of dataset on decoding result. As shown in Figure 1, on Tatoeba, the performance of baseline model using two sentence representations drop heavily as the length of sentence increasing. For the RNN-based autoencoder, the BLEU score only decreases slightly. Transformer decoder still

} & \multicolumn{2}{|c|}{ Model } & \multirow[t]{2}{*}{ BLEU } & \multirow{2}{*}{} & \multicolumn{2}{|c|}{ Levenshtein distance } \\

Table 1 Performance of the different models on the two datasets Tatoeba and BookCorpus. Recall that the sentences are three times longer in average in BookCorpus than in Tatoeba. The model sizes for each corpus is different because we filter out any word that does not belong to the training set from the word embedding space. The vocabulary size of Tatoeba is much lower that that of BookCorpus.

 &  &  &  &  \\

Table 2 Various text generation results on BookCorpus with the different models.

maintain the great performance even when the sentences become longer.

On the BookCorpus corpus, in which the sentence length varies greatly, the performance of the three RNN models decreases rapidly as the sentence length increases. When the sentence length is close to 30, the BLEU scores of the three RNN models are close to 0 . However, the BLEU score of Transformer decoder is stable across all sentence lengths. The model with attention mechanism exhibits better performance than the RNN models when decoding longer sentences. Some decoding examples with different lengths are presented in Table 2.

For the size of the training data set, the three models show interesting and different trends. As shown in Figure 2, for the Transformer decoder, increasing the training data improves the BLEU Score, but the improvement is not significant. With the increase of training data, BLEU Score has a more noticeable improvement for the other two models of RNN structure, especially the RNN of the autoencoder structure.

## 4.2 Discussion and Future Work

The use of sequence of vectors as sentence representation achieved better results in the decoding experiments.
The performance of the Transformer decoder is much better than that of other models, especially on BookCorpus according to four different indicators. The attention mechanism plays a critical role in it. In the future, we will also apply attention on the RNN structure to let model focus on important words.

Although the experiments on sequence of vectors obtain better results than sentence vector, sentence vector is a lighter representation than sequence of vectors. The sentence representation in vector form is more efficient in manipulation and computation than the form of the sequence of vectors. Research on improving sentence vector decoding is indispensable.

## 5 Conclusion

We proposed two different models for decoding sentence representations into actual sentences. Our results showed that both the Transformer decoder and the RNN-decoder have a specific improvement compared with the latest research results. The Transformer decoder can also perform well in more general cases. Improving the decoder effect is of great significance for exploring the potential information of the vector space and future work from sentence representation mapping to text.

## References

[1] Albert Gatt and Emiel Krahmer. Survey of the state of the art in natural language generation: Core tasks, applications and evaluation. J. Artif. Int. Res., Vol. 61, No. 1, p. 65-170, jan 2018.

[2] Wenlin Wang, Zhe Gan, Hongteng Xu, Ruiyi Zhang, Guoyin Wang, Dinghan Shen, Changyou Chen, and Lawrence Carin. Topic-guided variational auto-encoder for text generation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 166177, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Samuel R. Bowman, Luke Vilnis, Oriol Vinyals, Andrew Dai, Rafal Jozefowicz, and Samy Bengio. Generating sentences from a continuous space. In Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning, pp. 10-21, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Jiwei Li, Will Monroe, Tianlin Shi, Sébastien Jean, Alan Ritter, and Dan Jurafsky. Adversarial learning for neural dialogue generation. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2157-2169, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, , 2017.

[6] Genta Indra Winata, Andrea Madotto, Zhaojiang Lin, Rosanne Liu, Jason Yosinski, and Pascale Fung. Language models are few-shot multilingual learners. In Proceedings of the 1st Workshop on Multilingual Representation Learning, pp. 1-15, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[7] Kelvin Guu, Tatsunori B. Hashimoto, Yonatan Oren, and Percy Liang. Generating sentences by editing prototypes. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 437-450, 2018.

[8] Liyan Wang and Yves Lepage. Vector-to-sequence models for sentence analogies. In 2020 International Conference on Advanced Computer Science and Information Systems (ICACSIS), pp. 441-446, 2020.

[9] Pengjie Wang, Liyan Wang, and Yves Lepage. Generating the middle sentence of two sentences using pre-trained models: a first step for text morphing. In Proceedings of the 27th Annual Conference of the Association for Natural Language Processing, pp. 1481-1485, Kokura, Japan, March 2021. Association for Natural Language Processing.

[10] Sanjeev Arora, Yingyu Liang, and Tengyu Ma. A simple but tough-to-beat baseline for sentence embeddings. In International conference on learning representations, 2017.

[11] Marek Rei and Ronan Cummins. Sentence similarity measures for fine-grained estimation of topical relevance in learner essays. In Proceedings of the 11th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 283-288, San Diego, CA, June 2016. Association for Computational Linguistics.

[12] Yves Lepage. Analogies between short sentences: A semantico-formal approach. In Human Language Technology. Challenges for Computer Science and Linguistics: 9th Language and Technology Conference, LTC 2019, Poznan, Poland, May 17-19, 2019, Revised Selected Papers, p. 163-179, Berlin, Heidelberg, 2019. Springer-Verlag.

[13] Yukun Zhu, Ryan Kiros, Rich Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Aligning books and movies: Towards story-like visual explanations by watching movies and reading books. In The IEEE International Conference on Computer Vision (ICCV), December 2015.

[14] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135-146, 2017.