# 周期表タスクにおける言語モデルの創発的能力と言語モデルが 持つ記憶について

星康人 宮下大輔 森岡靖太 Youyang Ng 鳥井修 出口淳
キオクシア株式会社
\{yasuto1.hoshi, daisuke1.miyashita, yasuhiro.morioka, youyang.ng,
osamu.torii, jun. deguchi\}@kioxia.com

## 概要

近年，大規模な自己回帰言語モデルは広範な下流 タスクを追加学習なしで実行できることが判明して いる.下流タスクにおけるモデルの性能は，一般的 にはモデルサイズに対してスケールすることが知ら れている。しかし，広範な下流タスクにおける性能 とモデルサイズとの関係を調べた実験において，モ デルサイズの増加に対して不連続な性能改善がみら れるタスクの存在が報告されており，このような傾向は創発的能力と呼ばれている. 特に知識集約型夕 スクで創発的能力か現れる理由について, 問題に正解するための知識がモデルサイズに対して不連続に 偏在するためなのか，あるいはその他の理由がある のか，未だ解明されていない. 本研究では, 創発的能力が見られる知識集約型タスクの 1 つである周期表タスクについて，モデルが保持する知識とモデル サイズとの関係について調べた. 解析の結果, 周期表タスクの回答に必要な知識は小規模なモデルも獲得していること，またその知識の正確さはモデルサ イズに対しスケールすることが判明した.

## 1 はじめに

近年，大規模な自己回帰言語モデルは広範な下流 タスクを追加学習なしに実行する能力があることが 判明している [1,2]. 下流タスクにおける性能とモ デルサイズ，すなわちモデルの学習可能パラメータ 数との関係を調べた研究において, タスクの精度が モデルサイズの増加汶して不連続改善する夕 スクがあることが報告されており，このような傾向 は創発的能力 (emergent abilities) と呼ばれている [3].創発的能力について, その起源や理由については未 だ解明されていない。

一般に言語モデルの性能は，その規模にスケール
すると考えられている. 例えば言語モデルそのもの の性能指標（事前学習時の損失値）は，モデルサイ ズ，学習データ量，および事前学習時の計算量の増加のそれぞれに対して単調に改善するスケール則が 成り立つことが知られている $[4,5]$.

また，モデルが保持できる知識の量は，モデルサ イズにスケールすると考えられている $[6,7,8]$. 例 えば BIG-bench [2] の qa_wikidata ${ }^{1)} と い う$ 質問応答夕 スクでは，モデルサイズを 2 倍にするごとに精度が 約 5.3 ポイント向上するという関係 (べき乗則)を 見ることができる.このようなべき乗則は言語モデ ルの他，画像認識など自然言語処理以外の分野も含 めて深層学習の多くのタスクでも見られる現象であ り [9]，理論的な解析も進みつつある [10,11].

それ対し，原子番号から元素名を予測するタス クである周期表タスクは，qa_wikidata と同じく知識 を問う質問応答タスクであるが，タスクの精度とモ デルサイズとの関係は全く異なる. 具体的には，学習可能パラメータ数が $10 \mathrm{~B}$ 程度以下のモデルでは全 く正解できないが，それを超える規模のモデルで突如として精度が向上するという創発的能力が発現す ることが報告されている $[2,3]$.

周期表タスクで創発的能力が見られる理由につい て, 回答に必要な知識が大規模なモデルにのみ偏在 しているのか，あるいは他の要因があるのか，未だ 切り分けができていない. 特に前者に着目すると，創発的能力に関する理解を深めるためには，モデル サイズがある閾值を超えたときに突如として知識が 獲得されるようになるといった傾向があるかどうか 調べる必要がある.

本稿では周期表タスクを題材とし，これ正解す るために必要な知識と，それ以外の要素として回答 を導く推論能力の 2 つの要素に分解して考える. 特

に前者に着目し，モデルサイズに応じて周期表に関 する知識量がどのように変化するかを調査すること で，創発的能力に関する新たな洞察を与える。

## 2 関連研究

創発的能力は，モデルサイズの増加に対してある 規模まで精度が下がるようなタスク [12]において， モデルをさらに大規模にすると精度が向上するよ うな U 字型の精度変化として見られることもある [13]. このことから，小規模なモデルにおける規模 と精度の関係を大規模なモデルに対して単純に外挿 することでは，大規模なモデルの性能を予測するこ とができないことが示唆されている.

創発的能力を引き出す要因は，モデルサイズの他 にも存在すると考えられている。例えば GPT-3 [1] と PaLM [14] は共に学習可能パラメータ数が 100B を超える大規模言語モデルであるが，PaLM でのみ 創発が観測されるケースがある [3]. これらのモデ ルでは, 学習データの品質やアーキテクチャが異な るため, 創発的能力の誘因がモデルサイズのみでは ないことが示唆されている.

創発的能力は，周期表タスクのみならず，算術推論等のタスクでも見られる $[1,15,16]$. このような タスクが複数存在することは, 計 200 を超える多様な下流タスクで構成されるべンチマークである BIG-bench においても確認されている [2]. ただし本稿では，知識集約型タスクの 1 つである周期表タス クに焦点を当てて，モデルが保持する周期表の知識 について詳細に解析する。

言語モデルにおける学習データの記憶に関する包括的な調査 [6] において, 記憶の正確さはモデルの 規模, 学習データ内での重複数, およびプロンプト で与えるコンテキストの長さに対してスケールする ことが判明している．また，固有表現に関する質問応答では, 学習データ内での出現頻度が高い固有表現ほど，それに関する問題の正解率が高くなること が報告されている [17]. 本稿では，周期表タスクに 関連する学習データの記憶精度とタスクの精度に焦点を当てた解析を行う.

下流タスクにおける事前学習済み言語モデルの性能は，追加学習を行わなくともプロンプトの工夫に よってある程度は向上することが知られている.こ のようなプロンプトの工夫は，プロンプトエンジニ アリングと呼ばれる [18]. 本稿では，モデルが周期表に関する知識をどの程度保持しているか確かめる

図 1 周期表タスクにおける回答精度. 灰色の点線 (ROOTS + FiD) は， ROOTS コーパスから検索した上位 20 位までのパッセージを Fusion-in-Decoder (FiD) の読解器を 用いて読解した際の精度 $(47.8 \%)$ を示す.

ために，改良したプロンプトを用いた実験も行う.特に，正解のヒントとなるようにプロンプト内で例示する問題と回答の組を原子番号順にすることで, モデルが保持する周期表の知識の精度を調べる。

## 3 周期表タスクにおける回答精度

本章では，周期表タスクにおける BLOOM モデル の回答精度を調べる。

## 3.1 問題設定

実験で使用するデータセットは，BIG-bench [2] に 含まれ，周期表に関する知識を問うタスクである periodic_elements タスク2)うち，原子番号から元素名を予測するタスクである subtask_0（計 23 問）を 用いる。本稿ではこのタスクを単に周期表タスクと 呼ぶことにする。周期表タスクの問題例を下記に示 す（下記の問題の答えは “carbon”).

Q: What is the name of the element with an atomic number of 6 ?

A:

言語モデルは上記 “A:” 以降に, greedy 探索で得ら れた系列を出力する. 周期表タスクで用いるプロン プトには，無作為に選ばれた問題とその回答の組を 例題として, 問題文の前に最大 $3 \supset$ (3-shot) 付与し た系列を使用する. 評価方法は先行研究と同様に, モデルがプロンプトに対して greedy 探索で出力した 系列の中で最初に現れる元素名と, 正解の元素名と を exact match (str_exact_match) で正誤判定する.

2) https://github.com/google/BIG-bench/tree/main/ bigbench/benchmark_tasks/periodic_elements

## 3.2 使用する言語モデル

BLOOM モデル 本稿の実験では，自己回帰言語モデルである BLOOM モデル [19]を使用する. BLOOM モデルは，事前学習済みモデルとしてパラ メータ数が $560 \mathrm{M}$ から 176B の 6つのモデルが公開 されている3).これらのモデルは，計 $1.6 \mathrm{~TB}$ の多言語コーパスである ROOTS コーパス [20]を用いて事前学習されている. なお, BLOOM モデルの評価結果には，10 回の実験結果の平均値を示す. これは，無作為に選ばれたプロンプト内の例題に依存してモ デルの出力が変化し, タスクの精度にばらつきが生 じるためである.

ベースライン 周期表タスクにおけるベースラ インとして PaLM [14], GPT [1], BIG-G [2] の評価結果も用いる ${ }^{4)}$. また比較のために, ROOTS コー パスからの検索と読解で得られる精度を示す. ROOTS コーパスからの検索には ROOTS search tool ${ }^{5 \text { ) }}$ を用いて，0-shot のプロンプトに対する検索上位 20 位までのパッセージを取得する。読解には， Natural Questions [21] データセットで学習された Fusion-in-Decoder [22] の large サイズ (パラメータ数: 738M) の読解器を用いる6).

## 3.3 周期表タスクにおける精度評価

図 1 に，周期表タスクにおける各モデルの回答精度を示す. 先行研究で述べられているように， PaLM と BIG-G の回答精度は，パラメータ数が 10B $\left(10^{10}\right)$ 程度より大きなモデルにおいて不連続に向上 する創発的な傾向が見て取れる. BLOOM モデルの 回答精度は, GPT と同様にパラメータ数に対する顕著な精度向上は見られないものの，最大規模のモデ ルの精度 (3-shot で 7.8\%) はそれ以下のモデルと精度比べて高いことが分かる.

また，ROOTS search toolによる ROOTS コーパス からの検索と Fusion-in-Decoder の読解器による読解 の精度は $47.8 \%$ であった. この値は，10B 以下のど のモデルの精度より高いものの，PaLM と BIG-G の

大規模なモデルにおける精度を下回っていることが 分かる. 特に PaLM の 540B のモデルにおける 5-shot の精度 $(99.2 \%)$ と比較すると, 検索と読解による精度は大幅に下回っていることが見て取れる。

## 4 解析

本章では, ROOTS コーパスに含まれる周期表に 関する記述を，BLOOM モデルが出力できるか調べ る.また，周期表タスクにおけるプロンプト内の例題を原子番号順で与えた場合の精度を示す.

## 4.1 BLOOM モデルにおける学習データの 記憶精度

BLOOM モデルの事前学習に用いられた ROOTS コーパスから，ROOTS search tool を用いて周期表に 関する記述を検索した. 付録の表 1 に，その検索結果の代表例を 6 つ示す.この 6 つのパターンを 基に，BLOOM モデルにおける周期表に関する学習 データの記憶精度を調べた. 具体的には, 周期表タ スクで問われる計 23 の元素に関するプロンプトを 作成し, BLOOM モデルの出力を調べた. このとき, プロンプト内で示される例は，原子番号順となって いることに注意されたい。例えば “beryllium”を問 うための 3-shot のプロンプトには，表 1 の “...” 以前 の文字列が用いられる。

図 2 に，BLOOM モデルにおける学習コーパス内 の周期表データの記憶精度に関する評価結果を示 す. 図より，学習データに含まれる周期表に関する 知識の記憶精度は，モデルサイズに対してスケール すること，またショット数が増えるほど正確さが増 すことが分かった．以上から，周期表タスクで精度 が低い BLOOM モデルでも，回答に必要な知識は獲得していることが分かった.

## 4.2 プロンプトの改良

前節では，プロンプト内の例を原子番号順に与え ることで，BLOOM の小規模モデルでも周期表に関 する知識をある程度保持することが判明した. この ことから，周期表タスクで与えるプロンプト内の例題を原子番号順にし，学習データと一貫させること で，BLOOM モデルはより正解しやすくなることが 予想される. このとき, 例えば原子番号 78 番の元素を問う 2-shot のプロンプトは, 図3のように与え られる.このように，プロンプト内の例題を原子番号順として，周期表タスクを解いた。

図 2 BLOOM モデルにおける学習データの記憶精度.点線は各 shot における平均の精度を示す.

Q: What is the name of the element with an atomic number of 76? A: osmium

Q: What is the name of the element with an atomic number of 77 ? A: iridium

Q: What is the name of the element with an atomic number of 78 ? A:

図 3 例題を原子番号順とする 2-shot のプロンプトの例。

図 4 に，プロンプト内の例題を無作為に選ぶ場合 (図 1 と同様)，および原子番号順に与えた際の周期表タスクにおける精度を示す。図より，周期表タス クにおける回答精度はモデルサイズにスケールして おり，創発的な変化を示さないことが判明した. ま た，検索と読解による精度 $(47.8 \%)$ と比較すると， モデルサイズが 7B のモデルは 3 -shot において同等 の精度 $(47.8 \%)$ を達成することが分かった. さらに 図 2 と比較すると，学習データに含まれる系列をプ ロンプトに用いる場合より, 図 3 のようなプロンプ トを用いる場合の精度が高いことが分かった。

## 4.3 考察

4.1 節および 4.2 節で得られた結果は，モデルが保持できる記憶の量はモデルサイズに対してスケール するという過去の知見と一貫している.このことか ら，プロンプト内の例題を無作為に選ぶ subtask_0 の設問方法による評価は, 言語モデルが保持する知識の正確さの評価には適さないことが分かる. この ことは，subtask_0の設問方法ではほぼ正答が導けな いモデルサイズであっても，周期表に関する知識は 正確に保持しているケースが存在することからも見 て取れる。 すなわち，モデル内の知識の正確さがモ デルサイズに対して不連続に変化するということが 創発的能力の原因であるという仮説は，棄却される ことが示唆される.

図 4 周期表タスクにおいて，プロンプト内の例題をラ ンダムに与えた場合 (点線)，および周期表に出現する順番に与えた場合（実線）の精度. 灰色の点線 (ROOTS + FiD) は，ROOTS コーパスから検索した上位 20 位までの パッセージを Fusion-in-Decoder (FiD) の読解器を用いて読解した際の精度 $(47.8 \%)$ を示す.

前記の考察を踏まえ，周期表タスクの創発的能力 について再考する. 創発的能力が顕著にみられる PaLM モデルに着目すると，PaLM モデルの最大規模のモデルであっても 0-shot では正答できないこと が分かる．このことを加味すると，ランダムな順番 で与えられた例題とモデル内の知識の中から正答を 導く推論能力があるかどうかが，創発前後の差であ ることが示唆される. その一方で，その推論能力が なぜ不連続な変化をするのかは依然として不明であ る. その他にも，なぜ知識問題である周期表タスク で創発的能力が見られるか，算術演算等の論理的推論タスクでなぜ創発的能力が見られるかなど，今後 の研究で解明すべき課題が存在する。

## 5 おわりに

本稿では周期表タスクを用いて，言語モデルサイ ズに対する周期表知識の記憶精度について調べた。 その結果，周期表の原子番号と元素名に関する知識 の記憶精度は，モデルサイズにスケールすることが 分かった. また，周期表タスクを数ショットで実行 する際のプロンプト内の例題を原子番号順で与えて 学習データと一貫させることで，周期表タスクの回答精度はモデルサイズにスケールすることが判明し た.これらの結果から，周期表タスクにおける創発的能力の原因として，周期表に関する知識が小規模 なモデル内に存在しないという予想は棄却され，モ デル内の知識の中から正しい出力を導く推論能力が 創発的であることが示唆される。

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[2] Aarohi Srivastava, Abhinav Rastogi, Abhishek Rao, Abu Awal Md Shoeb, Abubakar Abid, Adam Fisch, Adam R Brown, Adam Santoro, Aditya Gupta, Adrià GarrigaAlonso, et al. Beyond the imitation game: Quantifying and extrapolating the capabilities of language models. arXiv preprint arXiv:2206.04615, 2022.

[3] Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, Ed H. Chi, Tatsunori Hashimoto, Oriol Vinyals, Percy Liang, Jeff Dean, and William Fedus. Emergent abilities of large language models. Transactions on Machine Learning Research, 2022.

[4] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint arXiv:2001.08361, 2020.

[5] Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, and et al. Training compute-optimal large language models. arXiv preprint arXiv:2203.15556, 2022.

[6] Nicholas Carlini, Daphne Ippolito, Matthew Jagielski, Katherine Lee, Florian Tramer, and Chiyuan Zhang. Quantifying memorization across neural language models. arXiv preprint arXiv:2202.07646, 2022.

[7] Benjamin Heinzerling and Kentaro Inui. Language models as knowledge bases: On entity representations, storage capacity, and paraphrased queries. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 1772-1791, Online, April 2021. Association for Computational Linguistics.

[8] Adam Roberts, Colin Raffel, and Noam Shazeer. How much knowledge can you pack into the parameters of a language model? In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5418-5426, Online, November 2020. Association for Computational Linguistics.

[9] Tom Henighan, Jared Kaplan, Mor Katz, Mark Chen, Christopher Hesse, Jacob Jackson, Heewoo Jun, Tom B Brown, Prafulla Dhariwal, Scott Gray, et al. Scaling laws for autoregressive generative modeling. arXiv preprint arXiv:2010.14701, 2020.

[10] Yasaman Bahri, Ethan Dyer, Jared Kaplan, Jaehoon Lee, and Utkarsh Sharma. Explaining neural scaling laws. arXiv preprint arXiv:2102.06701, 2021.

[11] Yi Tay, Mostafa Dehghani, Jinfeng Rao, William Fedus, Samira Abnar, Hyung Won Chung, Sharan Narang, Dani Yogatama, Ashish Vaswani, and Donald Metzler. Scale efficiently: Insights from pretraining and finetuning transformers. In International Conference on Learning Representations, 2022.

[12] Ian McKenzie, Alexander Lyzhov, Alicia Parrish, Ameya Prabhu, Aaron Mueller, Najoung Kim, Sam Bowman, and Ethan Perez. Announcing the inverse scaling prize (\$250k prize pool), 2022. https://www. lesswrong. com/posts/eqxqgFxymP8hXDTt5/announcing-theinverse-scaling-prize-usd250k-prize-pool.

[13] Jason Wei, Yi Tay, and Quoc V. Le. Inverse scaling can become u-shaped. arXiv preprint arXiv:2211.02011, 2022.

[14] Aakanksha Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, et al. Palm: Scaling language modeling with pathways. arXiv preprint arXiv:2204.02311, 2022.

[15] Deep Ganguli, Danny Hernandez, Liane Lovitt, Amanda Askell, Yuntao Bai, Anna Chen, Tom Conerly, Nova Dassarma, Dawn Drain, Nelson Elhage, et al. Predictability and surprise in large generative models. In 2022 ACM Conference on Fairness, Accountability, and Transparency, pp. 1747-1764, 2022.

[16] Alessandro Stolfo, Zhijing Jin, Kumar Shridhar, Bernhard Schölkopf, and Mrinmaya Sachan. A causal framework to quantify the robustness of mathematical reasoning with language models. 36th Conference on Neural Information Processing Systems (NeurIPS 2022) Workshop on Math-AI, 2022.

[17] Alex Mallen, Akari Asai, Victor Zhong, Rajarshi Das, Hannaneh Hajishirzi, and Daniel Khashabi. When not to trust language models: Investigating effectiveness and limitations of parametric and non-parametric memories. arXiv preprint arXiv:2212.10511, 2022.

[18] Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, and Graham Neubig. Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing. arXiv preprint arXiv:2107.13586, 2021.

[19] Teven Le Scao, Angela Fan, Christopher Akiki, Ellie Pavlick, Suzana Ilić, Daniel Hesslow, Roman Castagné, Alexandra Sasha Luccioni, François Yvon, Matthias Gallé, et al. Bloom: A 176b-parameter open-access multilingual language model. arXiv preprint arXiv:2211.05100, 2022.

[20] Hugo Laurençon, Lucile Saulnier, Thomas Wang, Christopher Akiki, Albert Villanova del Moral, Teven Le Scao, Leandro Von Werra, et al. The bigscience roots corpus: A 1.6 tb composite multilingual dataset. In Thirtysixth Conference on Neural Information Processing Systems Datasets and Benchmarks Track.

[21] Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, and et al. Natural questions: A benchmark for question answering research. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 452-466, 2019.

[22] Gautier Izacard and Édouard Grave. Leveraging passage retrieval with generative models for open domain question answering. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 874-880, 2021.

## A 付録：学習データ内の周期表に関 する記述の例

BLOOM モデルの事前学習に用いられた ROOTS コーパスから，ROOTS search tool を用いて周期表に 関する記述を検索したところ，代表的な 6 つのパ ターンとして表 1 に示すような記述がみられた。

表 1 ROOTS コーパスに含まれる，周期表の元素に関す る記述の例.

hydrogen, helium, lithium, ...

hydrogen (1), helium (2), lithium (3), ...

1-Hydrogen (H) 2-Helium (He) 3-Lithium (Li) 4 ..

1 H Hydrogen 2 He Helium 3 Li Lithium 4..

1 Hydrogen $\mathrm{H} \cdot 2$ Helium $\mathrm{He} \cdot 3$ Lithium $\mathrm{Li} \cdot 4$...

hydrogen $(\mathrm{H}$, atomic number 1 ); helium $(\mathrm{He}$, atomic

number 2 ); lithium ( $\mathrm{Li}$, atomic number 3 ); ...


# Controlling Text Generation With Fiction-Writing Modes

Wenjie Zhong ${ }^{1,2}$, Jason Naradowsky ${ }^{1}$, Hiroya Takamura ${ }^{2}$, Ichiro Kobayashi ${ }^{2,3}$, Yusuke Miyao ${ }^{1,2}$
${ }^{1}$ The University of Tokyo, ${ }^{2}$ AIST, ${ }^{3}$ Ochanomizu University,
zvengin@is.s.u-tokyo.ac.jp
}

\begin{abstract}
We explore incorporating concepts from writing skills curricula into human-machine collaborative writing scenarios, focusing on adding writing modes as a control for text generation models. Using crowd-sourced workers, we annotate a corpus of narrative text paragraphs with writing mode labels. Classifiers trained on this data achieve an average accuracy of $\sim 87 \%$ on held-out data. We fine-tune a set of large language models to condition on writing mode labels, and show that the generated text is recognized as belonging to the specified mode with high accuracy.
\end{abstract
## 1 Introduction

Large-scale pre-trained language models (PLMs) have demonstrated a remarkable aptitude for generating text with an exceptional degree of fluency and structure [1], sparking renewed efforts to utilize them for the purpose of generating narrative fiction. Recent work has explored various ways of controlling PLMs, using sentiment [2], style [3], and even character information [4], in an attempt to cater the generated text to an author's intentions.

However, the aforementioned controls deal primarily with static attributes of text; an attribute like style is more synonymous with an entire author or book than with a single passage of text. Less attention has been paid to designing effective control factors for the real demands of human authors in collaborative writing settings, where authors typically exercise more dynamic control over their writing, at the sentence or paragraph level. Here we find inspiration from the creative writing literature, where the notion of a fiction writing mode is frequently presented as an important concept to consider when crafting narrative fiction.

A fiction-writing mode (also referred to as a rhetorical mode) is a particular manner of writing, encapsulating the focus, style, and pacing of the text (among other things) [5].

 \\

Figure 1 Example of expanding the Summary into stories using different writing Modes. The bold words imply the particular manner of expression in that mode. Dialogue focuses on the utterances spoken by characters, Action on the motion of characters, and Description on the depiction of characters or places.

Figure 1 illustrates how the same event can be described in different ways depending on the writing mode, using the three most common types, Dialogue, Action, and Description. Skilled authors proficiently use writing modes as a stylistic choice to engage readers and progress the narrative (see Section 2 for more detail). Thus, we expect to provide the fiction-writing mode to users to control the models to generate text with different styles.

To this end, we are faced with a challenge. To the best of our knowledge, there is no available dataset annotated with writing modes to train generation models. We create a Fiction wRIting moDE dataset (FRIDE dataset) containing 1,736 fiction paragraphs annotated by crowd-source workers with the three writing mode labels. Subsequently, we train a classifier on the FRIDE dataset and use it to anno-

Table 1 The number of instances for dialogue (Dia.), action (Act.), description (Des.), and uncertain (Unc.) modes in the dataset. Kappa is the inter-annotator agreement and Len.(std) is the average token number in each instance and its standard deviation.

tate paragraphs of a large fiction corpus in order to create a larger-scale dataset. Using the established paradigm of training conditional text generation models by summarizing and reconstructing text [6], the dataset is used to train models which can be conditioned on a writing mode label.

Through the automatic evaluation, we show: (1) the use of writing mode labels with conditional text generation models contributes to average 1.4 and 2.0 points improvements on ROUGE-L and BERTScore; (2) the writing modes of generated text are effectively controlled, and are classified as belonging to the target mode in $87.6 \%$ of cases.

## 2 Fiction-Writing Mode

Fiction-writing modes have long been proposed as a useful abstraction in the study of literature and creative writing [7, 5], dating as far back as Aristotle [8]. While there is no consensus on the categorization of writing modes, most sources prefer to introduce at least three modes: (1) Dialogue, direct quotation of characters speaking, (2) Action, an account of a series of events, one after another, chronologically, and (3) Description, a more detailed inspection of people, places, or things and their properties. These are the three major writing modes which are the focus of study in this paper.

Just as there is no agreement on how best to categorize writing modes, there is also no consensus on what text exhibits a particular mode. Even a single sentence can exhibit multiple writing modes, in varying degrees. However, for the purpose of this work, we assume that each paragraph can be categorized as exhibiting a single writing mode.

FRIDE Dataset In order to train models which generate text in a specified writing mode, we must first create a dataset, which we refer to as Fiction-wRIting moDE dataset (FRIDE dataset), which pairs paragraphs of narrative text with their corresponding writing mode labels. However, directly annotating writing modes on a large-scale narrative dataset is expensive and time-consuming. We first collect a modestly sized dataset from crowd-sourced workers, and utilize it to train a writing mode classifier. The classifier can then be used to provide high-confidence labels to a much larger dataset of narrative text paragraphs, on a scale suitable for training large text generation models.

Paragraphs for annotation are collected from fiction books sourced from Project Gutenberg ${ }^{11}$ (128 books) and, namely, for more contemporary writing, Smashwords ${ }^{2}$ ) (150 books). Each book is divided into paragraphs using Chapterize $^{3)}$, and paragraphs longer than 200 words are removed. In situations where a continuous dialogue takes place over paragraph boundaries, we group them into a single paragraph. Each paragraph was annotated with one of the three aforementioned writing modes using Amazon Mechanical Turk (AMT). In addition, we add a fourth category, Uncertain, to encompass cases where the writing mode is unclear or does not fit well into the three main modes. All annotators were native English speakers, and three annotators were assigned to each paragraph. Paragraphs were assigned the majority label, or marked as uncertain in cases where each annotator provided a different label. We continued the annotation process until we had approximately 1,000 instances labeled and balanced across the three main modes (Table 1).

Writing Mode Classifier While it is possible to use the collected data to train a model, the relatively small pool of examples may cause the model to be sensitive to other text characteristics unrelated to the writing mode. To help alleviate this problem, we train a writing mode classifier and employ it to predict writing modes on a larger collection of texts. We experiment with training three separate classifiers, each trained by fine-tuning a different PLM (BERT [9], XLNet [10], or RoBERTa [11]) on the FRIDE dataset. We randomly sample 300 instances from each type of writing mode and divide them using a 1000/100/100 train/dev/test split, with an equal number of each label in each split. An evaluation of these models (Table 2) shows that all models perform similarly. The RoBERTa-based model was used as the final writing mode classifier throughout the remainder of this paper.

FRIDE-XL Dataset In order to construct a larger dataset of writing modes suitable for training modeconditional text generation models, we utilize the classifier trained in the preceding section on a larger set of texts,

Table 2 The performance of writing mode classifiers on the FRIDE dataset.

extending the previous text to 5,946 fiction books from Project Gutenberg. We leverage the writing mode classifier to assign a writing mode label to each paragraph of books and randomly select 362,880 paragraphs. We refer to this dataset as FRIDE-XL.

## 3 Models

We evaluate writing mode as a control factor on three different PLM architectures: BART [12], T5 [13], and GPT2 [14]. All models have been used previously for text generation but differ in ways that may impact their ability to adhere to the conditioning information and the quality of the generated text. For instance, the larger parameter size and contextual window size of GPT2 has made it a common choice for story generation with long text [15, 16, 17], but smaller models like T5 show great controllability [18]. We assess each of these three models, fine-tuning them to reconstruct paragraphs from the FRIDE-XL dataset.

For training conditional text generation models, we follow an established paradigm of summarization, conditioning, and reconstruction [6]. First, each paragraph is summarized using an existing summarization model. Here we use the narrative text summarization [19], and decode using beam search with a beam size of 5 as in that work. We then fine-tune a PLM to reconstruct the original paragraph, conditioning on the summary. In this way, the summary acts as a semantic control: the trained model accepts user summaries and attempts to expand upon them to generate a longer paragraph, embellishing missing and less important details in a reasonable way.

Other forms of information can also be added to the summaries to function as additional controls. The conditioning factors provided to models are:
- Summary, generated from the paragraph by a pretrained model.
- Context, the preceding paragraph.
- Length, the number of tokens in the paragraph divided into ten equally-sized bins.
- Writing Mode, the mode assigned to the paragraph by the classifier as described in Sec. 2.

For $\mathrm{T} 5$ and BART, the training methodology is straightforward: we concatenate the controlling information and use it as input to the encoder, training the decoder to generate the original paragraph. For GPT2, which has only a decoder, we concatenate the conditions as prompts.

## 4 Automatic Evaluation

In this section, we study the influence of model inputs (e.g., summaries, length, and writing modes) on the text quality, and assess to what extent the writing modes of text can be controlled, as measured by automatic metrics.

## 4.1 Baseline Models

In addition to ablations of our proposed models, we compare against three baseline systems:

GPT2 We finetune GPT2 [14] identically to our proposed system, but using only the preceding paragraph and without other inputs.

PPLM As conventional training requires lots of annotated data, an attribute classifier is employed to guide the pretrained language model to generate text with specified attributes [20]. To adapt the PPLM to our task, we train a writing mode classifier as the attribute classifier on the FRIDE dataset. As the writing modes of preceding paragraphs would interfere with the classifier, the PPLM does not take the preceding paragraphs as context.

FIST A system [21] which utilizes keywords instead of summaries to sketch the semantic content of the desired stories is proposed. As there is no prompt in our dataset, following their idea, we infer the keywords from the leading context (the preceding paragraphs) and then generate stories conditioning on the context and keywords.

## 4.2 Results

We evaluate the models along three axes: fluency, similarity, and controllability, using the test set of the FRIDEXL dataset. The results of our automatic evaluation are shown in Table 3.

Fluency We evaluate fluency using perplexity computed by the pre-trained GPT2 model. We find that there is an average 0.8 decrease in perplexity when summaries are added and 1.2 increase when writing modes are added.

Similarity We evaluate the similarity of the generated texts to the target texts using BLEU-4 [22], ROUGE-L [23],

Table 3 Automatic evaluation on quality and controllability as model inputs (summaries (S), length $(\mathbf{L})$, and writing modes $(\mathbf{M})$ ) vary. Quality is evaluated by perplexity (PPL), BLEU-4 (B4), ROUGE-L (RL), BERTScore (BS), and controllability is measured by the accuracy of the generated stories matching the specified writing mode. controlling the writing modes of stories when the writing modes $(\mathbf{M})$ are specified as Dialogue, Action, and Description. The inputs such as summaries $(\mathbf{S})$, length $(\mathbf{L})$, and writing modes $(\mathbf{M})$ for the evaluation of quality and controllability are respectively inferred from the leading context and the target stories.

and BERTScore [24]. We observe a consistent improvement across all models as the amount of conditioning context increases, and that the models using writing mode factors outperform those without.

Controllability Lastly, we evaluate the controllability of mode-controlled models. For each paragraph, a target writing mode is chosen using the writing mode classifier, and used as conditioning for a text generation model. The classifier is then used to predict the writing mode of the generated text, and we measure the accuracy of generating stories with the specified writing modes.

On average, including writing mode as condition improves the accuracy of generating text which is classified as that mode, but the effect varies drastically by the specific mode. For Action and Description modes, the inclusion of writing mode conditioning improves accuracy on average by $45.4 \%$ and $45.6 \%$, respectively, compared to none mode-conditioned models. For dialogue, the improvement is $21.5 \%$, relatively lower.

It is interesting to note that the inclusion of summaries to the length-only model results in significant improvements to the controllability of the text. This implies that the pretrained models are able to naturally infer the intended writing mode from the summaries to some degree, with modest accuracy ( 44\%) on average for Action and Description modes, and up to $86 \%$ on Dialogue with BART. Summaries may contain some cues about the intended modes, especially, the summaries for Dialogue have strong cues (said, replied, argued, ...) in most cases. However, the consistently significant increase of accuracy scores when conditioning on writing modes illustrates the effectiveness of modes as a control factor.

## 5 Conclusion

In this work, we introduced writing modes as a control for human-machine collaborative writing scenarios and showed that training models to condition on writing modes resulted in stories that were closer to targets. The automatic evaluation shows that the writing modes of text are effectively controlled. To control text generation, we collected FRIDE and FRIDE-XL, datasets of narrative text annotated with writing modes, which we released to help facilitate further research in writing modes and fine-grained control for storytelling.

## Acknowledgments

This paper is based on results obtained from a project JPNP20006, commissioned by the New Energy and Industrial Technology Development Organization (NEDO). This work was partially supported by JSPS KAKENHI Grant Number JP19H05692.

## References

[1]Jian Guan, Xiaoxi Mao, and et al. Long text generation by modeling sentence-level and discourse-level coherence. ACL/IJCNLP, 2021.

[2]Fuli Luo, Damai Dai, and et al. Learning to control the fine-grained sentiment for story ending generation. In ACL, 2019.

[3]Xiangzhe Kong, Jialiang Huang, Ziquan Tung, Jian Guan, and Minlie Huang. Stylized story generation with style-guided planning. ACL/IJCNLP, 2021.

[4]Danyang Liu, Juntao Li, Meng-Hsuan Yu, Ziming Huang, Gongshen Liu, Dongyan Zhao, and Rui Yan. A character-centric neural model for automated story generation. In AAAI, 2020.

[5]M. Klaassen. Fiction-Writing Modes: Eleven Essential Tools for Bringing Your Story to Life. Bookbaby, 2015.

[6]Xiaofei Sun, Chun Fan, Zijun Sun, Yuxian Meng, Fei $\mathrm{Wu}$, and Jiwei Li. Summarize, outline, and elaborate: Long-text generation via hierarchical supervision from extractive summaries. CoRR, 2020.

[7]Jessica Morrell. Between the lines: Master the subtle elements of fiction writing. Penguin, 2006.

[8]Stephen Halliwell and Aristotle. Aristotle's Poetics. University of Chicago Press, Chicago, 1998.

[9]J Devlin, MW Chang, K Lee, and KB Toutanova. Pre-training of deep bidirectional transformers for language understanding. ACL, 2019.

[10]Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. NeurIPs, 2019.

[11]Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, 2019.
[12]Mike Lewis, Yinhan Liu, and et al. Bart: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. ACL, 2019.

[13]Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., 2020.

[14]Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2018.

[15]Wei Wang, Piji Li, and Hai-Tao Zheng. Consistency and coherency enhanced story generation. In ECIR, 2021.

[16]Elizabeth Clark and Noah A. Smith. Choose your own adventure: Paired suggestions in collaborative writing for evaluating story generation models. In NAACL, 2021.

[17]Nader Akoury, Shufan Wang, Josh Whiting, Stephen Hood, Nanyun Peng, and Mohit Iyyer. STORIUM: A dataset and evaluation platform for machine-in-theloop story generation. In EMNLP, 2020.

[18]Jordan Clive, Kris Cao, and Marek Rei. Control prefixes for text generation. CoRR, 2021.

[19]Wojciech Kryscinski, Nazneen Fatema Rajani, and et al. Booksum: A collection of datasets for longform narrative summarization. CoRR, 2021.

[20]Sumanth Dathathri, Andrea Madotto, and et al. Plug and play language models: A simple approach to controlled text generation. In ICLR, 2020.

[21]Le Fang, Tao Zeng, Chaochun Liu, Liefeng Bo, Wen Dong, and Changyou Chen. Outline to story: Finegrained controllable story generation from cascaded events. CoRR, 2021.

[22]Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL, 2002.

[23]Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, 2004.

[24]Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with BERT. In ICLR, 2020.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# Decoding Sentence Representations for Text Generation

Weihao Mao, Xuchen Yang, Liyan Wang and Yves Lepage
早稲田大学大学院情報生産システム研究科
mao_weihao@asagi.waseda.jp, yang_xuchen@asagi.waseda.jp,
wangliyan0905@toki.waseda.jp, yves.lepage@waseda.jp
}

\begin{abstract}
Large-scale pre-trained language models have shown their potential in generating nearly human text. However, they require a large amount of data to be trained from. We explore the task of decoding sentence representations to reconstruct texts. We design two variants of a baseline vector-to-sequence model and explore different vector composition methods: unweighted and weighted sum, and concatenation. Experimental results show that a Transformer trained from scratch on sequences of word vectors achieves the highest BLEU score (94.2 BookCorpus sentences and 96.9 on Tatoeba sentences).
\end{abstract
## 1 Introduction

Text generation is a core task of natural language processing. It is part of machine translation, text summarization, and dialogue systems. It consists in outputting the corresponding human-understandable text which correspond to a given input [1]. Various neural network models such as Variational Autoencoder (VAE) and Generative Adversarial Networks (GAN) have been designed for text generation [2, 3, 4]. Pre-trained language models based on Transformers [5] have achieved the state of the art [6]. However, these models require large amounts of data for training and high power consumption because of the use of GPUs.

An alternative solution to large pre-trained language models is to use word embedding spaces to create sentence representations and decode these sentence representations into sentences $[7,8,9]$. This reduces the size of the resources needed for text generation. The experiments reported in [8] with such a model are however limited to short sentences from the Tatoeba corpus ${ }^{1}$, where the av-
^{1}$ https://tatoeba.org/en/
}

erage length of sentences is seven words. In this paper, we explore this model further and extend to more general cases.

We examine different composition methods of word vectors into sentence representations and conduct experiments with different architectures for decoding these sentence representations into a sentence.

## 2 Methods

Suppose that there is a pre-trained embedding model which projects words to $d$-dimensional vectors in a semantic space. Given a sentence, we can obtain a sequence of word vectors by representing words of the sentence in isolation. In Section 2.1, we examine four different composition models to derive effective representations for sentences. Then, in Section 2.2, we introduce a decoding mechanism for text generation, i.e., transferring compositional representations into sentences.

## 2.1 Composition methods

The simplest method to represent a sentence from word vectors is to sum up the word vectors of the words appearing in the sentence. This will be the first sentence representation that we will use, as a baseline. We call it unweighted sum.

Although the above method is simple and effective in some tasks [10], it has the drawback of giving the same importance to functional words as to meaningful words. As we care about the meaning of the sentence, we choose to give more weights to meaningful words while lowering the importance of functional words. For that, we use the index document frequency (idf) as weights, i.e., we use the idf-weighted sum of word vectors as a sentence representation (see Equation (1)). This produces semantically more relevant sentence representations [11]. We call this
weighted sum

$
v_{s}=\sum_{w \in s} \operatorname{idf}_{w} v_{w}
$

Here, $v_{w}$ is the word vector of word $w$ in some pre-trained word embedding space. $\operatorname{idf}_{w}$ is the inverse document frequency (idf) of word $w$, computed by considering each different sentence as a different document.

To capture long-distance dependencies between words, we propose to use the encoder part of an autoencoder model to generate a sentence representation from a sequence of word vector. We call this encoder of autoencoder.

The three above sentence representations lose the information about word order in the sentence, and mix-up information coming from different words on each vector dimension. So as to use more fine-grained information and retain the word order information, we propose to concatenate word vectors into a $d \times l$ matrix, where $l$ is the number of words. This fourth sentence representation will be called concatenation.

## 2.2 Text generation

To perform text generation, i.e., to decode a sentence representation into a sentence, we explore the use of three different architectures of neural networks.

The problem of solving sentence analogy puzzles is addressed in [8]. For that, a vector-to-sequence model is proposed to learn how to transfer a sentence vector, computed from the sentence vectors given in the analogy puzzle, into a sequence of words. This is done by pre-training a separate sentence decoder. Although the decoding method achieved reasonable results on the semantico-formal analogy dataset used [12], the accuracy drops significantly on other datasets containing longer sentences or different sentence styles.

We propose two decoders with different architectures: RNN-based autoencoder and Transformer-based decoder.

We then implement the RNN-based decoder that is the same as the vector-to-sequence model to decode sentence vectors.

For the RNN-based autoencoder model, we keep the decoder part consistent with the decoder proposed by [8] and only add a single-layer BiLSTM as the encoder. BiLSTM learns how to convert the sequence of vectors into a sentence vector in a fixed-size and feeds it to the decoder.
We also train a model from scratch that only has the decoder part with the Transformer structure. In the Transformer decoder, we use padding and cutting to make all vectors a fixed-size. As for decoder input, we take a fixedsize sequence of vectors added with positional encoding. The hidden vector encoded by the network is mapped to the dimension of the vocabulary, and then the output is the word with the highest probability in each position. Furthermore, we introduce the attention mechanism into the vector-to-sequence model to solve the problem that the decoder does not perform well in decoding long sentences.

For Transformer-based decoder, we establish the model with a single Transformer layer.

## 3 Experiments

## 3.1 Datasets

We experiment with data from two corpora in the English language. The first one is the Tatoeba corpus in which sentences are short and are basically composed of only one main clause. The second one is BookCorpus [13]. The sentences come from novels by many different authors.

We randomly select around 60,000 (exactly 63,336) English sentences from each corpus, which we divide into training, validation, and test sets with the respective proportions of $80 \%, 10 \%$, and $10 \%$. The average length of sentences from the Tatoeba corpus is 6.7 in words and 28.5 in characters. For BookCorpus, it is 13.2 in words and 62.7 in characters.

## 3.2 Setups

We use the pre-trained fastText model [14] to encode words into vectors.

To explore the decoding performance in terms of the quality of sentence representations, we use four different vector composition methods: the unweighted sum of the word vectors (sum) and the weighted sum of the word vectors using scalar factors of the idf weighting (wsum), fixed-size vector generated by BiLSTM (enc) and the concatenation of word vectors (concat). We conduct four experiments on decoder models ${ }^{2}$ in the following settings:
- sum-RNN: this is the model proposed in [8]. The
^{2}$ The model size is affected by the size of the vocabulary. Considering that we want to use a small model for this task, the vocabulary of each model is just initialized with the training data.
}

(a) Tatoeba

(b) BookCorpus

Figure 1 Performance, in BLEU, of the different models, by lengths of sentences, for each of the corpora.

sentence vector is the unweighted sum of the word vectors of the words in the sentence. This model is our baseline model.
- wsum-RNN: same as the previous model, except that the sentence vector is the idf-weighted sum of the word vectors.
- enc-RNN: the sentence representation is the fixed-size vector generated by the encoder of autoencoder . The decoder part of the autoencoder is used to output a sequence of words.
- concat-Trans: the sentence representation is the concatenation of the sequence of word vectors. A Transformer-based decoder is used to output a sequence of words. This Transformer model is trained from scratch.

## 4 Results and discussion

Figure 2 Performance of models learned from training data of different sizes.

## 4.1 Results

We use three evaluation metrics to quantify the decoding performance: accuracy, BLEU, and Levenshtein distance. Table 1 shows the results of the four experiments introduced in the previous section.

In terms of accuracy, i.e., outputting exactly the input sentence, the idf-weighted sum sentence representation provides an improvement of $16.0 \%$ and $3.1 \%$ on the two corpora, Tatoeba and BookCorpus, in comparison with the unweighted sum sentence representation (baseline model). On Tatoeba, the two proposed models (RNN model with the autoencoder structure and Transformer decoder) outperform the baseline by $34.7 \%$ and $51.4 \%$, respectively. On BookCorpus, their accuracy is lower than on Tatoeba, especially for the RNN model. Although the accuracy of the Transformer decoder has also declined, it is still the best among all models, by a large margin.

It is worth mentioning that the Levenshtein distance using Transformer decoder is only 0.1 . This means that even when decoding a not exactly same sentence, only less than one word in the sentence is incorrect on average.

Moreover, the Transformer decoder obtain 94.2 BLEU score, indicating that the decoded wrong sentences are still highly similar to the reference sentences.

We explore the effect of length of sentences and size of dataset on decoding result. As shown in Figure 1, on Tatoeba, the performance of baseline model using two sentence representations drop heavily as the length of sentence increasing. For the RNN-based autoencoder, the BLEU score only decreases slightly. Transformer decoder still

Table 1 Performance of the different models on the two datasets Tatoeba and BookCorpus. Recall that the sentences are three times longer in average in BookCorpus than in Tatoeba. The model sizes for each corpus is different because we filter out any word that does not belong to the training set from the word embedding space. The vocabulary size of Tatoeba is much lower that that of BookCorpus.

 &  &  &  &  \\

Table 2 Various text generation results on BookCorpus with the different models.

maintain the great performance even when the sentences become longer.

On the BookCorpus corpus, in which the sentence length varies greatly, the performance of the three RNN models decreases rapidly as the sentence length increases. When the sentence length is close to 30, the BLEU scores of the three RNN models are close to 0 . However, the BLEU score of Transformer decoder is stable across all sentence lengths. The model with attention mechanism exhibits better performance than the RNN models when decoding longer sentences. Some decoding examples with different lengths are presented in Table 2.

For the size of the training data set, the three models show interesting and different trends. As shown in Figure 2, for the Transformer decoder, increasing the training data improves the BLEU Score, but the improvement is not significant. With the increase of training data, BLEU Score has a more noticeable improvement for the other two models of RNN structure, especially the RNN of the autoencoder structure.

## 4.2 Discussion and Future Work

The use of sequence of vectors as sentence representation achieved better results in the decoding experiments.
The performance of the Transformer decoder is much better than that of other models, especially on BookCorpus according to four different indicators. The attention mechanism plays a critical role in it. In the future, we will also apply attention on the RNN structure to let model focus on important words.

Although the experiments on sequence of vectors obtain better results than sentence vector, sentence vector is a lighter representation than sequence of vectors. The sentence representation in vector form is more efficient in manipulation and computation than the form of the sequence of vectors. Research on improving sentence vector decoding is indispensable.

## 5 Conclusion

We proposed two different models for decoding sentence representations into actual sentences. Our results showed that both the Transformer decoder and the RNN-decoder have a specific improvement compared with the latest research results. The Transformer decoder can also perform well in more general cases. Improving the decoder effect is of great significance for exploring the potential information of the vector space and future work from sentence representation mapping to text.

## References

[1] Albert Gatt and Emiel Krahmer. Survey of the state of the art in natural language generation: Core tasks, applications and evaluation. J. Artif. Int. Res., Vol. 61, No. 1, p. 65-170, jan 2018.

[2] Wenlin Wang, Zhe Gan, Hongteng Xu, Ruiyi Zhang, Guoyin Wang, Dinghan Shen, Changyou Chen, and Lawrence Carin. Topic-guided variational auto-encoder for text generation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 166177, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Samuel R. Bowman, Luke Vilnis, Oriol Vinyals, Andrew Dai, Rafal Jozefowicz, and Samy Bengio. Generating sentences from a continuous space. In Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning, pp. 10-21, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Jiwei Li, Will Monroe, Tianlin Shi, Sébastien Jean, Alan Ritter, and Dan Jurafsky. Adversarial learning for neural dialogue generation. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2157-2169, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, , 2017.

[6] Genta Indra Winata, Andrea Madotto, Zhaojiang Lin, Rosanne Liu, Jason Yosinski, and Pascale Fung. Language models are few-shot multilingual learners. In Proceedings of the 1st Workshop on Multilingual Representation Learning, pp. 1-15, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[7] Kelvin Guu, Tatsunori B. Hashimoto, Yonatan Oren, and Percy Liang. Generating sentences by editing prototypes. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 437-450, 2018.

[8] Liyan Wang and Yves Lepage. Vector-to-sequence models for sentence analogies. In 2020 International Conference on Advanced Computer Science and Information Systems (ICACSIS), pp. 441-446, 2020.

[9] Pengjie Wang, Liyan Wang, and Yves Lepage. Generating the middle sentence of two sentences using pre-trained models: a first step for text morphing. In Proceedings of the 27th Annual Conference of the Association for Natural Language Processing, pp. 1481-1485, Kokura, Japan, March 2021. Association for Natural Language Processing.

[10] Sanjeev Arora, Yingyu Liang, and Tengyu Ma. A simple but tough-to-beat baseline for sentence embeddings. In International conference on learning representations, 2017.

[11] Marek Rei and Ronan Cummins. Sentence similarity measures for fine-grained estimation of topical relevance in learner essays. In Proceedings of the 11th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 283-288, San Diego, CA, June 2016. Association for Computational Linguistics.

[12] Yves Lepage. Analogies between short sentences: A semantico-formal approach. In Human Language Technology. Challenges for Computer Science and Linguistics: 9th Language and Technology Conference, LTC 2019, Poznan, Poland, May 17-19, 2019, Revised Selected Papers, p. 163-179, Berlin, Heidelberg, 2019. Springer-Verlag.

[13] Yukun Zhu, Ryan Kiros, Rich Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Aligning books and movies: Towards story-like visual explanations by watching movies and reading books. In The IEEE International Conference on Computer Vision (ICCV), December 2015.

[14] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135-146, 2017.


# 服飾の色情報に基づいた ポエティックな商品名の作成支援システム

飯塚柚稀 ${ }^{1}$ 林克彦 ${ }^{2}$ 永野清仁 ${ }^{1}$ 宮尾祐介 ${ }^{3}$
1 群馬大学 2 北海道大学 3 東京大学
${ }^{2}$ katsuhiko-h@ist.hokudai.ac.jp

## 概要

本稿では服飾に対する商品名の作成を支援するシ ステムを開発し，その評価を行う．特に，ここでは ロリィタファッションや森ガールファッションの 服飾商品に対して，服飾の特徴を表す単語だけでな く，比喻表現や修飾語を用いて，商品を魅力的に表 す商品名候補を生成するシステムを開発する。この システムの核は，服飾のメインカラーと似ている色 の単語によって，商品を形容することであり，本稿 ではこの実現に必要となる辞書データも作成した.開発したシステムにより生成した商品名候補が商品 を魅力的に表現できているか，99名の大学生にアン ケート調査を行ったところ，好意的な結果が得られ たのでこれを報告する.

## 1 はじめに

ファッション業界では「シャギーニット」や「リ ボンワンピース」のように，服飾の種類・材質・柄・装飾といった商品の特徴のみを表すネーミングが 基本である．そのため，異なるブランド同士であっ ても，商品名にはあまり差異が見られないことが多 い。そのような中で，ロリィタファッションや森 ガールファッションの服飾商品には，「甘い抹茶ラ テのワンピース」や「漆黒のお嬢様のヴィクトリア ンブラウス」といった個性的な商品名が付けられる 傾向がある ${ }^{11}$ 。このように，服飾の特徴を表す単語 だけでなく，比喻表現や修飾語が用いられた詩的情緒豊かな商品名のことを，本稿では「ポエティック な商品名」と呼ぶ．ポエティックな商品名は，商品 の特徴を表す単語だけを用いた商品名よりも消費者 の注目を集め，イメージを膨らませることが期待さ れる。それにより，商品に対する購買意欲を高める 効果があると考えられるが，服飾を魅力的に表すポ
照.
エティックな商品名を考案するコストは高い.

そこで本稿では，ポエティックな商品名の作成を 支援するシステムの構築を目指す。このシステムを 設計する上で，まず，商品にポエティックなネーミ ングを施しているファッションブランド Yuruly の 商品名を分析した.この分析から，

・ポエティックな商品名を生成する上では，商品 のメインカラーに近い色の単語を用いることが 重要である

という仮説を立て，この仮説に基づいたルールベー スの商品名生成システムを構築する．提案システム では，まず商品名に使用する単語と，その主な色と なるカラーコードが対となった辞書を作成する。 そ して，ネーミングを施す商品画像からメインカラー と考えられる色を抽出し，そのメインカラーに近い 色が登録されている単語を辞書から取得する．最後 に，取得した単語をテンプレートに組み込むこと で，ポエティックな商品名の候補を生成する。

本稿では提案システムの有効性を検証するため，自動生成した商品名候補が魅力的なものであるかア ンケート調査を実施した。 99 名の大学生から得た アンケート結果を分析したところ，システムの有効性が確認された。

辞書やコードはhttps://github.com/Yuki0922/ poetic-product-name で公開予定である.

## 2 関連研究

文章の自動生成については，これまでにさまざま な観点から研究が行われている. Vinyals らは画像 キャプション生成を深層学習によりモデル化してい る [1]. この成功以来，キャプション生成への注目 が集まり，家具の説明文 [2]，アパレル EC サイトの 商品説明文 [3] や株価の市況 [4] などを生成するモ デルが次々に提案された。，他にも，俳句 [5] や詩 [6] などのテキストを生成する深層学習モデルも提案さ

図 1: 提案システムの概略. 入力画像はフリー素材を使用.

れている. 商品の説明文を生成する研究や俳句など の芸術性の高いテキストを生成する研究は，本稿と の関連も深いが，服飾に対するポエティックな商品名を自動生成する試みはない.

本稿で扱うポエティックな商品名は数が少なく,機械学習に必要となる学習データを十分に集めるこ とが困難である。そのため，提案システムではルー ルベースに基づく手法を採用しており，その核とな るのは，単語・カラーコード辞書である。これは単語とそれに対する主な色のカラーコードを対として 登録した辞書であり，本稿ではこの辞書を主に人手 で作成している. 文献 [7] では色とその色に人が独自に付けた名前が対となったデータセットを構築し ている。本稿では日本語を対象としているため，英語により記述された上記のデータセットを利用する ことは簡単でない，また，洋菓子，宝石，植物，フ ルーツなど多様なカテゴリの単語を含むことも本稿 で作成した辞書の特徴となる。

## 3 提案システム

図 1 にポエティックな商品名を自動生成するシス テムの概略を示す. 本システムの入力は, 商品画像 から抽出したメインカラーのカラーコードと，「ワ ンピース」などの商品名末尾に配置する単語であ り, 出力はポエティックな商品名である. 動作工程 は大きく分けて，

・カラーコード抽出部

・辞書マッチング部
- 商品名生成部

の 3 つがある．以下では各部の詳細を説明する。

## 3.1 カラーコード抽出部

カラーコード抽出部は，ネーミングを施したい商品画像から，メインカラーとなるカラーコードを抽出するフェーズである．カラーコードの抽出方法は 2つあり，1つ目はイメージカラーピッカーを用い て人手で取得する方法である． 2 つ目は，クラスタ リング（本稿では $k$-means 法を採用）によって，画像内の色を $k$ 個のクラスタに分け，その中で最も大 きな割合を占める色のカラーコードを抽出する方法 である．後者は作業を自動化できるが，図 2 のよう に商品画像内の影の割合が多いほどメインカラーと して抽出されるカラーコードは暗い色となるため，人間の感覚とはギャップが生じる。そのため，本稿 の実験調査では前者の方法を採用する.

## 3.2 辞書マッチング部

辞書作成 本システムで使用する辞書には，単語 とその主な色のカラーコードが登録されている「単語・カラーコード辞書」，及び，修飾語が登録されて いる「修飾語辞書」の2つがある.

単語・カラーコード辞書は図 1 のように, 商品名 に使う単語とその主な色のカラーコードが対とし て登録されている2). 表 1 には辞書に登録されてい

2）「莓のショートケーキ」のように，それを表す典型的な色 を判断しにくい単語に対しては，2つ以上のカラーコードを

図 2: 影が多く含まれる服飾画像からメインカラーを抽出 する際，自動で抽出したカラーコード「\#9c7979」は 手動で抽出したカラーコード「\#d6a6a4」より暗い色 となる. 入力画像はフリー素材を使用.

表 1: 単語・カラーコード辞書の単語登録数.

る単語の例と登録数を示す. カテゴリは Yuruly の 商品名に使用されている単語のカテゴリを分析す ることで選定した．登録単語の選定方法はカテゴリ ごとに異なる. 日本や世界の伝統色は色の名称とカ ラーコードが対として登録されているサイトから 抽出した ${ }^{3)}$ 。他のカテゴリについては，単語の選定 は Wikipedia 等の辞書から一覧を取得した.これら の単語に対するカラーコードの登録は Google 画像検索とイメージカラーピッカーを用いて人手で行っ た. 単語・カラーコード辞書は後述するマッチング 処理において，服飾画像のメインカラーと似た色の 単語を取得するために利用される。

修飾語辞書に登録されている単語数は 69 であり,例としては，「ガーリー」「ドリーミー」「エレガン ト」「ロイヤル」「清楚な」「たおやかな」「優雅な」「麗しい」といった単語が挙げられる.このような 形容詞以外にも，「アリス」「ドール」「レディー」

登録している。また，提案システムではこのような複数のカ ラーコードを持つ単語を用いた商品名生成も実装している が，説明を簡略化するため，その詳細は省略する。

3) https://www.colordic.org/w や https://www.colordic. org/yを参照「パーティー」といった名詞も修飾語辞書に登録し ている。修飾語辞書に登録している単語は，可愛い 単語や美しさを表す単語が掲載されている Web サ イトから人手で選定している4)。修飾語辞書の利用方法は商品名生成部で後述する。

マッチング処理辞書マッチング部は，カラー コード抽出部で得られるカラーコードをもとに，似 ている色の単語を単語・カラーコード辞書から取得 するフェーズである。辞書に登録された単語のカ ラーコードと服飾に対するメインカラーのカラー コードをRGB 值に変換し，それらのユークリッド 距離を計算して，その距離が小さいほど 2 つの色は 似ていると判断する。システムでは多様な商品名を 生成するため，辞書から距離が閾値以内の単語を $N$個抽出し，そこからランダムで選択した単語を次節 の商品名生成部で利用する.

## 3.3 商品名生成部

商品名生成部は，単語・カラーコード辞書との マッチング処理で取得した単語や「ワンピース」な どの入力単語をテンプレートに組み込み，商品名を 生成するフェーズである. テンプレートには

・マッチング部で取得した単語 + “の” + 入力単語

・マッチング部で取得した単語 + “の”＋修飾語辞書からランダムに取得した単語 + 入力単語

の 2 種類ある. 修飾語辞書には「メルティー」「ド リーミー」といった単語が登録されており，これら の単語は後者のテンプレートが選択された際にラン ダムで取得される．以下は商品名候補の例である。

・ブルーベリーチーズケーキのワンピース

・アルタイルのワンピース

・白藤色のドリーミーワンピース

これらは図 1 で示した服飾のメインカラーのカラー コード「\#e1d8e4」に対して，商品名生成を行った 例であり，商品名末尾に配置する入力単語は「ワン ピース」である.

## 4 実験調査

提案システムの有効性を検証するため，アンケー 卜調査を行った. 調査対象は 10 代と 20 代の大学生 99 名であり，性別は男性が 58 名，女性が 38 名，回答しないが 2 名，その他が 1 名であった. アンケー 卜対象の服飾画像は Yuruly から 20 個取得し，次節

表 2: 20 問の設問に対して，7つの商品名項目ごとの平均票数と標準偏差（全体 99 人）(票数多い順).

で説明する形式で 20 問の設問を用意した.

## 4.1 アンケート調査の設問形式

服飾の商品画像 1 つに対して 7 つの商品名を選択肢として提示し，その中から魅力的だと感じるもの をすべて選択する形式とした．7つの商品名項目は

1. 商品画像の色に近い色の単語を使った商品名

2. 商品画像の色に近い色の単語 + 修飾語を使っ た商品名

3. 商品画像の色から遠い色の単語を使った商品名

4. 商品画像の色から遠い色の単語 + 修飾語を 使った商品名

5. 商品画像の色に関係なく取得した単語を使った 商品名

6. 服飾の特徴を説明する単語のみで構成された商品名

7. 実際の商品名

となっている.この項目のうち最初の 5 つは提案シ ステムによって生成される商品名である. ただし， 3つ目と4つ目の商品名はマッチング処理において，距離の大きい単語を単語・カラーコード辞書から取得している. 5 つ目の商品名で使用した単語は音楽関連など色と無関係の単語リストからランダムに取得した。実際の設問例は付録 A. 1 に付した。

## 4.2 調査結果と分析

7 種類の商品名項目ごとの平均票数とその標準偏差を表 2 に示す. 服飾のメインカラーから遠い色を 持つ単語や無関係な色を持つ単語を利用した場合 (3., 4., 5.) よりも，近い色を持つ単語を利用した 商品名 (1., 2.) の方が多くの票数を獲得している. この結果より, 服飾に近い色に着目するというシス テム設計の仮説に一定の妥当性があることが確認さ れた。また，この傾向は性別や服飾への興味の有無 に関わらず一貫していた（付録 A.2 と A.3）.

図 3: 服飾の色に近い色の単語として商品名に使用された 単語の獲得票数（上位下位 5 単語ずつ).

しかし，実際の商品名（7.）と比較すると，シス テムが生成した商品名の票数は劣る結果となった. この点を分析するため，図 3 に服飾の色に近い色の 単語として商品名に使用された獲得票数上位下位 5 単語を示した. 上位には「ラベンダー」「シラユリ」 のような植物名など色を想起しやすく比較的語感の 良い単語が使われていた。下位には「酒饅頭」「葛焼き」のような洋服とイメージが合わない和菓子や 「国防色」「苦礬柘榴石」のように見慣れない単語が 使われており，このような事例が票数の低下を招い たと考えられる。ただし，これらの問題は辞書を整備することで改善できる可能性が高い.

一方で，最も票数を集めたのは服飾の特徴を説明 する単語のみで構成された商品名 (6.) であった. この理由の一つには，商品名が商品の魅力を高める ようなものというよりも, 商品に適している違和感 の少ない商品名が選ばれている可能性が考えられ る.この事から質問文や設問の項目については改善 の余地が残される結果となった。

## 5 まとめ

本稿では服飾に対するポエティックな商品名の候補を生成するシステムを開発し，アンケート調査か らその有効性を確認した. 今後, 実運用に向けて, システムや辞書の整備を進めたい. 特に，単語・カ ラーコード辞書の作成は著者らの主観で行ったが， ある単語に一色を割り当てる作業は更なる議論が必要である [8]. また，「アリス苸のショートケーキ」 のような印象的な造語を考えるテンプレートを整備 し，より魅力的な商品名の生成を検討したい.

## 謝辞

本研究は JSPS 科研費 JP 21H03491 の助成を受け た. また，アンケート調査に協力してくれた方々に はこの場をお借りして深く感謝いたします.

## 参考文献

[1] Oriol Vinyals, Alexander Toshev, Samy Bengio, and Dumitru Erhan. Show and tell: A neural image caption generator. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 3156-3164, 2015.

[2] 鈴木凛次, 福本健二, 寺田浩之, 馬頭正文, 灘本明代. Lstm を用いた家具説明文の自動生成. 電子情報通信学会データ工学研究会 (DE), Vol. 120, No. 202, 2020.

[3] 園田亜斗夢, 新名玄. アパレル ec サイトにおける説明文自動生成. 経営情報学会 2018 年秋季全国研究発表大会, pp. 125-127, 2018.

[4] 村上聡一朗, 渡邊亮彦, 宮澤彬, 五島圭一, 柳瀬利彦, 高村大也, 宮尾祐介. 時系列株価データからの市況コ メントの自動生成. 自然言語処理, Vol. 27, No. 2, pp. 299-328, 2020 .

[5] 廣田敦士, 岡夏樹, 荒木雅弘, 田中一晶. 学習データ セットを分けた seqgan による俳句生成. 言語処理学会第 24 回年次大会, pp. 1292-1295, 2018.

[6] Xingxing Zhang and Mirella Lapata. Chinese poetry generation with recurrent neural networks. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 670-680, 2014.

[7] Kazuya Kawakami, Chris Dyer, Bryan R Routledge, and Noah A Smith. Character sequence models for colorful words. arXiv preprint arXiv:1609.08777, 2016.

[8] 川上正浩. 野菜・果物等の典型色に関する調査. 大阪樟蔭女子大学研究紀要第 1 号, 2011.

## A 参考情報

## A. 1 アンケート設問の例

以下にアンケートの設問の例を示す。これは Yuruly で実際に販売されている商品「ふわり小 イップのワンピース」）に対する設問となる.この商品は白色のワンピースである.

1. シラユリのワンピース

2. 梨のシャーベットのハートワンピース

3. クーベルチュールチョコレートのワンピース

4. ビリジアンのプリマワンピース

5. 鶉月のワンピース

6. フリル襟半袖ワンピース

7. ふわりホイップのワンピース

## A. 2 性別による票数の違い

表 3 と 4 亿，性別を男性あるいは女性と回答した 調査対象者のアンケート結果をまとめた.これらの 結果から，一般に男性や女性という性別の違いは結果に大きな影響を与えていないことがわかる.

表 3: 20 問の設問に対して，7つの商品名項目ごとの平均票数と標準偏差（男性 58 人）(票数多い順).

表 4: 20 問の設問に対して，7つの商品名項目ごとの平均票数と標準偏差（女性 38 人）(票数多い順).

## A. 3 ファッションへの関心の有無による 票数の違い

表 5 と 6 に，ファッションに興味あり，あるいは，興味なしと回答した調査対象者のアンケート結果 をまとめた。これらの結果から，ファッションへの 関心の有無は結果に大きな影響を与えていないこ とがわかる．また，表 7 には，ロリィタや森ガール ファッションと関連の深いガーリー系ファッション に興味があると回答した 9 人に対する結果を示し た. この結果からも票数の違いは見られなかった.

表 5: 20 問の設問に対して，7つの商品名項目ごとの平均票数と標準偏差（ファッションに興味あり 64 人） (票数多い順).

表 6: 20 問の設問に対して， 7 つの商品名項目ごとの平均票数と標準偏差（ファッションに興味なし 35 人） (票数多い順).

表 7: 20 問の設問に対して，7つの商品名項目ごとの平均票数と標準偏差（ガーリー系ファッションに興味あ り 9 人）（票数多い順).


# 入力文章の内容に沿った新たな歌詞を生成する 作詞支援システムと剽窃リスクを下げる歌詞生成手法

渡邊研斗 後藤真孝
産業技術総合研究所
\{kento.watanabe,m.goto\}@aist.go.jp

## 概要

本研究の目的は，ユーザが歌詞に書きたい内容を 文章として入力した時，その入力文章の内容に沿い つつ字面が似ていない歌詞を生成することで，ユー ザに新たな作詞の発想を与える作詞支援システム を開発することである。この目的達成のために，(a)既存の画像生成技術を用いることで，「入力文章の 字面に関する情報を取り除きつつ入力の内容を表し た画像」を生成し, (b) 本研究で提案する画像の内容 を表した歌詞を生成するエンコーダ・デコーダを用 いることで，「入力文章の内容に沿いつつ字面が似 ていない歌詞」を生成する. 更に，自動歌詞生成技術を用いた創作活動を円滑にするために，剽窃リス クを下げる歌詞生成手法を提案する。

## 1 はじめに

歌詞情報処理 [1] の研究として, 自動歌詞生成技術を活用した作詞支援システムが提案されてき た $[2,3,4,5,6,7]$. Watanabe ら [4, 5] のシステムは, ユーザが選択したトピックに沿った歌詞を生成でき るが，選択可能なトピックは限られているためユー ザの自由度は低く, 生成される歌詞の作風が似てし まう問題点がある. Oliveira ら [6,7] のシステムは, ユーザが入力した単語を含む歌詞を生成できるが，入力単語が生成歌詞に必ず含まれるため, 入力単語以外の単語で表現した歌詞が生成されにくい. 例え ば，単語「海岸」を入力しても「ビーチ」や「海辺」等の同じ意味だが別表現の単語は生成されにくい.

本研究の目的は，「海岸で車を運転する」のような 歌詞に書きたい内容を文章として入力した時，「海辺のハイウェイを走りたい [改行] ハンドルを握る君 とならば」のような入力文章の内容に沿った歌詞を 生成して提示することで，ユーザに発想を与える作詞支援システムを開発することである。本システム

図 1 提案する作詞支援システムと歌詞生成手法の概要

の対象ユーザとして，歌詞に書きたい内容は決まっ ているがどんなフレーズで書けばよいか思いつか ない人を想定している．よって，もしシステムが入力文章と字面が似た歌詞を提示してしまうと，ユー ザに新たな発想を与えることは難しくなる．我々は 「入力の内容に沿いつつ字面が似ていない歌詞を提示することが，ユーザに新たな発想を与える」とい う考えの元で作詞支援システムを開発する。

この目的達成のために，入力文章の内容に沿いつ つ字面が似ていない歌詞を生成する手法を提案す る. 単純な手法として，文章と歌詞のペアデータを 学習したエンコーダ・デコーダを用いて歌詞生成を すれば良いと考えられるが，そのようなペアデータ は存在しない。そこで，文章要約技術や機械翻訳技術などを用いて歌詞から文章を自動生成すること で，ペアデータを用意する方法が考えられる。 しか し，このようにして用意された文章と歌詞のペアは 字面が似ているため，このペアデータを学習したエ ンコーダ・デコーダは入力文章と字面が似た歌詞を 生成する可能性がある.

そこで図 1 のように，(a) 入力文章の内容を保持 したまま，入力の字面に関する情報を取り除いた中間表現へ変換した後に，(b) その中間表現の内容に 沿った歌詞を生成することで，目的の「入力文章の 内容に沿いつつ字面が似ていない歌詞」の生成を可能とする. 本研究ではこの「中間表現」として画像 を用いる。ここで画像を選択した理由には，Stable Diffusion[8] を始めとした拡散モデルによって入力文章の内容を表した画像生成が可能となったという背
景がある.この技術で生成された画像は, 入力文章 の内容を表しているだけでなく, 入力文章の字面に 関する情報が取り除かれた状態であるため，目的の 中間表現の条件を満たしている. 更に，入力文章の 形式（単語・フレーズ・文・段落）に関わらず画像を 生成できるため, ユーザの入力形式に依存しない柔軟性の高い作詞支援システムの開発が可能となる.

本研究では， 入力文章から画像を生成するために 既存の画像生成技術を利用するが，画像から歌詞を 生成するエンコーダ・デコーダに関しては新たに学習をする必要がある．このエンコーダ・デコーダを 学習するためには, 大力文章から生成された画像と 歌詞のペアデータを用意できれば理想的だが，上述 したようにそのような入力文章データは存在しな い. そこで本研究では，画像生成技術を用いて歌詞 から画像を生成することで，画像と歌詞のペアデー タを用意する. このように画像生成技術を活用する と, 目的の歌詞生成が可能となるだけでなく, 画像 から歌詞を生成するエンコーダ・デコーダの訓練 データを用意することも可能となる.

更に本研究では，訓練データの歌詞を剽窃するリ スクを下げる歌詞生成手法を提案する. 機械学習に 基づく歌詞生成では, 訓練データ中の歌詞フレーズ を再利用して剽窃するリスクがある．ユーザが作詞支援システムを安心して使うには，そのリスクを下 げられる歌詞生成手法が求められると我々は考えて いる．そこで本研究では，訓練データ中で少数の曲 のみが使用している固有なフレーズを生成不可能に する制約を加えることで，剽窃リスクを下げる.

実験の結果，提案手法は比較手法よりも入力文章 の内容に沿いつつ字面が似ていない歌詞を生成可能 であることが確かめられた. また，剽窃対策を施さ ないと, 生成歌詞中の一割以上のフレーズが剽窃と なってしまう可能性があることが確かめられた.

## 2 作詞支援システム

本研究では，歌詞に書きたい内容を文章として入力すると，その文章の内容に沿った歌詞の候補を生成し提示する作詞支援システムを提案する。本シス テムはユーザが文章を大力する入力パネル（図 2 左側）と，生成された歌詞を表示する歌詞表示パネル （右側）で構成される. ユーザは基本的な操作とし て，以下の手順により作詞をすることができる.

1. 入力パネルに, 作りたい歌詞の内容を文章とし て自由な長さ・スタイルで入力する。

図 2 作詞支援システムのスクリーンショット

2. 入力が完了すると, 歌詞表示パネルに入力文章 の内容に沿った歌詞の候補が複数生成される.

以上の操作で, 本システムはユーザの意図に近い歌詞を複数生成するが，必要に応じて入力文章や歌詞 を修正したり, 生成する歌詞の条件（行数やシード 値など）のパラメータを変更することで，ユーザが 意図した歌詞に更に近づけることが可能となる.

## 2.1 自動生成が創作活動を妨げないために

自動生成技術が発展することで，作業が効率化さ れるという長所がある一方で，既存の創作物を剽窃 してしまい創作者の権利を侵害してしまう可能性が ある. 本システムでは，多くの異なる曲で使用され ているありがちなフレーズ（ありがち度 $[9,10]$ の 高い単語列）を生成することは剽窃には当たらない と仮定し, 少数の曲のみ (今回は仮に 3 曲以下とし た）で使用された固有なフレーズを生成不可能にす ることで剽窃の可能性を下げる機能を実装する.

## 3 実装

## 3.1 入力文章の内容に沿った歌詞を自動生成する手法

提案した作詞支援システムにおける自動歌詞生成 は以下のような入出力を想定している. 入力は歌詞 に書きたい内容を表した文章であり, 出力は入力文章の内容に沿いつつ字面が似ていない歌詞とする. この入出力の歌詞生成を可能にするエンコーダ・デ コーダの訓練データとして，歌詞の内容を表しつつ 字面は似ていない文章が多数必要となるが，そのよ うなデータは存在しない. また，文章要約技術等を 用いて歌詞のペアとなる文章を自動生成したとし ても，その文章は歌詞と字面が似ているため，この データで学習されたエンコーダ・デコーダは大力文章と字面が似た歌詞を生成する可能性がある.

そこで本研究では図 1 のように，(a) 既存の画像生成技術を用いて入力文章の内容を表した画像を生成 することで，入力文章の字面に関する情報を取り除 く. そして (b) 画像の内容を表した歌詞を生成する エンコーダ・デコーダを用いることで，目的の「入力文章の内容に沿いつつ字面が似ていない歌詞」の 生成を可能とする. このエンコーダ・デコーダを学習するためには，入力文章から生成された画像と歌詞のペアデータを用意できれば理想的だが，上述し たようにそのような入力文章データは存在しない。 そこで本研究では，画像生成技術を用いて歌詞から 画像を生成することで，歌詞以外の文章データを一切用いずに訓練データを用意する．なお，一枚の画像は歌詞の一段落分の内容を表現すると仮定して，画像と歌詞段落のペアデータを用意する.

以上の着想を元に，提案エンコーダ・デコーダの 詳細を説明する．まず，訓練データ用の日本語歌詞 の各段落を日英機械翻訳 ${ }^{11}$ により英語へ翻訳し，翻訳された英語歌詞から，アニメスタイルの画像を生成する技術 Anything v3.02) (Stable Diffusion の改良型) を用いて解像度が $512 \times 512$ の画像を生成する.こ こで, Anything v3.0を用いる理由は，(1) 文章のまま 入力してもその内容を表した画像が生成でき，(2)一貫したスタイルの画像を用いた方がエンコーダ・ デコーダを学習しやすいと考えたためである.

次に, Vision Transformer[11]を用いて画像から計算した特徵量 $(10 \times 768$ 次元 $)$ を, Transformer デコー ダ [12] の Multi-Head Attention 層へ入力する.また, CaboCha[13] を用いて形態素解析された各単語を 単語埋め込み層と位置埋め込み層を通してべクト ル化し, Transformer デコーダの Masked Multi-Head Attention 層へ入力する. 最後に，デコーダの出力を 単語生成確率分布を表す全結合層へ渡す。

## 3.1.1 パラメータ

埋め込みの次元数は 768 とし, Multi-Head の数 は 6，デコーダの層数は 2, Feedforward 層の次元数は 1024，活性化関数は GELUを用いる. Vision Transformer は学習済みモデル3)を用い，そのパラ メータは再学習しない。最適化には AdamW[14]を 用い，学習率は 0.001 とし， ウォームアップステッ プは 1 エポック分とする. 学習は 40 エポック行い,

1) https://huggingface.co/staka/fugumt-en-ja

2) https://huggingface.co/Linaqruf/anything-v3.0

3) https://huggingface.co/google/

vit-base-patch32-224-in21k開発データにおける最良 Loss のモデルを採用する。

なお，BERT[15] や GPT-2[16] などの大規模言語モ デルの学習済みパラメータはあえて利用せずに，歌詞データのみを用いてエンコーダ・デコーダを学習 する。これは，大規模言語モデルの訓練データ中の 文章を剽窃する可能性をゼロにするためである.

## 3.1.2 訓練データ

112,462 曲（856,778 段落）の日本語のポピュラー 音楽の歌詞を用い，8:2 で訓練/開発データに分割す る. 学習対象の語彙は文書頻度が大きい上位 50,831 の単語を使用し，その他の単語は未知語タグに置換 する。また，語彙には改行を表す EOL タグと段落頭/木を表す BOP/EOP タグが含まれる。

## 3.2 歌詞生成アルゴリズム

作詞支援システムでは，様々なバリエーションの 歌詞を複数生成・提示することで，ユーザに新たな 発想を与えることを想定している。そのため本研究 では，ビーム探索のような最尤な単語列を探索する 手法ではなく，サンプリングによる生成手法を用い る.ただし，単にサンプリングすると生成確率が低 い単語が生成される可能性があるため，本研究では Top- $P$ サンプリング [17] を用いて，生成確率が低い 単語のサンプリングを禁止する. Top- $P$ サンプリン グでは，各単語列を独立に生成するため，複数の 歌詞候補を同時に生成できる. さらに本研究では, ユーザが設定した行数などの詳細な条件を満たした 歌詞を生成するために，これらの条件を満たさない 単語列の生成を禁止する。

提案生成手法が既存歌詞を剽窃するリスクを下げ るために，歌詞データ中の文書頻度が 1 から 3 であ る単語 4-gram の生成を禁止する. この処理は, 多く の曲で使用されているありがちなフレーズは再利用 できるが，少数の曲でしか使用されていない固有な フレーズを生成したら剽窃にあたる可能性が高い， という仮定の元で設計した. 単語 4-gram の文書頻度を正確に計算するためには，歌詞データ中に同一楽曲の歌詞が重複して存在しない状態にする必要が ある.ここで重要なことは，異なる歌詞が誤って同一楽曲と判定されることは問題ないが，同じ歌詞な のに同一楽曲でないと判定されることは避けなけれ ばならない点である．そこで，歌詞データ中のあら ゆる歌詞のペアにおいて以下の 2 つの基準で判定す ることで，同一楽曲判定に取りこぼしがないょうに

する. (1) 単語 20-gram が一致している単語列が存在 すれば同一楽曲とする. (2)もしくは, 歌詞間の標準化編集距離 [18] が 0.5 以下のものを同一楽曲とす る. この基準により，112,462 曲中で同一楽曲の歌詞を連結して 1 つの歌詞に置き換えた 109,829 曲の 歌詞を用いて，単語 4-gram の文書頻度を計算した。

## 4 実験

提案エンコーダ・デコーダの性能を評価するため には，実験用の歌詞とその内容を表した入力文章の ペアが必要となる. 本研究では, 小説がアニメ化さ れた時のアニメ主題歌の歌詞は，小説の内容を元に 作詞されたと仮定し, 51 作品の Web 小説の概要文章と，その主題歌の歌詞 (2730 段落) を評価データ として用意した. 実験では, 小説の概要文章を大力 した時のパープレキシティや生成歌詞を評価する。

実験の比較手法として，異なるペアデータを学習 した以下のエンコーダ・デコーダを用意した.

Image-to-Lyrics (I2L) 提案エンコーダ・デコーダ.

Summary-to-Lyrics (S2L) 文章要約手法4) を用いて 歌詞の一段落を一文へ要約することで要約文と オリジナル歌詞のペアを作成してから，そのペ アデータを学習したエンコーダ・デコーダ.

Back translation-to-Lyrics (B2L) 日英翻訳手法と 英日翻訳手法 ${ }^{5}$ を用いて歌詞を日 $\rightarrow$ 英 $\rightarrow$ 日と逆翻訳することで逆翻訳歌詞とオリジナル歌詞の ペアを作成してから，そのペアデータを学習し たエンコーダ・デコーダ.

上記 S2L と B2L は Transformer を用いたエンコー ダ・デコーダであり, そのパラメータは I $2 \mathrm{~L}$ と同じ である. 生成手法の Top- $P$ サンプリングのパラメー タ $P$ は 0.9 とし， 1 つの入力に対して 5 つの歌詞候補を生成する. この比較実験では純粋な歌詞生成能力を評価するために，剽窃対策は施していない.

まず，各エンコーダ・デコーダが入力文章の内容 に沿った歌詞を生成する能力を持つかを調べるため に，パープレキシティを計算した. その結果， I2L は 149.30，S2Lは181.60，B2Lは 1207.52 となり，提案エンコーダ・デコーダのパープレキシティが最も 良いことが確かめられた。また, 生成歌詞が入力文章の字面と似ているかを調べるために，生成歌詞と 入力文章の標準化編集距離を計算した. その結果, I2L は $0.91 ， \mathrm{~S} 2 \mathrm{~L}$ は $0.87 ， \mathrm{~B} 2 \mathrm{~L}$ は 0.76 となり，提案

4) https://huggingface.co/tsmatz/mt5_summarize_japanese

5) https://huggingface.co/staka/fugumt-en-ja表 1 入力文章に対して生成された歌詞の例

 &  \\

エンコーダ・デコーダが生成した歌詞は入力文章と 最も文字列が異なっていることが確かめられた。こ れらの実験結果は，要約文-歌詞ぺアや逆翻訳歌詞歌詞ペアを学習した場合よりも，画像-歌詞ペアを 学習した場合の方が，入力文章の内容に沿いつつ字面が似ていない歌詞を生成できることを意味する.

次に，剽窃対策を施していない歌詞生成手法がど れだけ剽窃リスクを負っているかを調べるために，生成された歌詞中のすべての単語 4-gram のうち,文書頻度が 1 以上かつ 3 以下の単語 4-gram の割合 $R$ を計算する。その結果，提案エンコーダ・デコー ダを用いて歌詞を生成した場合， $R=17.5 \%$ である ことが確認された．これは，剽窃対策を施さないと 生成歌詞の一割以上のフレーズは既存歌詞に固有な フレーズである可能性が高いことを意味する．ただ し，提案した剽窃対策を施すことで $R=0 \%$ となり，既存歌詞に固有なフレーズを再利用してしまう剽窃 リスクを下げることが可能となる.

表 1 に，入力文章とそれに基づいて提案エンコー ダ・デコーダが生成した歌詞の例を示す. なお，こ こでは剽窃対策を施した生成手法を用いている。こ れらの入力文章は, RWC 研究用音楽データベース [19] の歌詞と JSICK データセット [20] の文から選択 した.この表より, 入力文章の内容に沿いつつ字面 が似ていない歌詞が生成されていることがわかる. また，その他の生成結果の例を付録に掲載する.

## 5 まとめ

本研究の主な貢献は以下の通りである. (1) 入力文章の内容に沿った歌詞候補を提示することでユー ザに新たな発想を与える作詞支援システムを提案し た. (2) 入力文章の内容に沿いつつ字面が似ていな い歌詞を生成するために，画像生成技術を活用した Image-to-Lyrics エンコーダ・デコーダを提案した. (3) 既存の歌詞を剽窃するリスクを下げる歌詞生成手法を提案した. 今後は作詞支援システムのユーザ 評価を行う予定である.

## 謝辞

本研究の一部は JST CREST JPMJCR20D4 と JSPS 科研費 JP20K19878 の支援を受けた。

## 参考文献

[1] Kento Watanabe and Masaraka Goto. Lyrics information processing: Analysis, generation, and applications. In Proceedings of the 1st Workshop on NLP for Music and Audio (NLP4MusA 2020), pp. 6-12, 2020.

[2] Chihiro Abe and Akinori Ito. A Japanese lyrics writing support system for amateur songwriters. In Proceedings of the Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC 2012), pp. 1-4, 2012.

[3] Eric Malmi, Pyry Takala, Hannu Toivonen, Tapani Raiko, and Aristides Gionis. DopeLearning: A computational approach to rap lyrics generation. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 195-204, 2016.

[4] 渡邊研斗, 松林優一郎, 乾健太郎, 中野倫靖, 深山覚,後藤真孝. LyriSys: 歌詞の大局的構造に基づいた作詞支援インタフェース. 日本ソフトウェア科学会 第 23 回インタラクティブシステムとソフトウェアに 関するワークショップ (WISS 2015) 論文集, 2015.

[5] Kento Watanabe, Yuichiroh Matsubayashi, Kentaro Inui, Tomoyasu Nakano, Satoru Fukayama, and Masataka Goto. LyriSys: An interactive support system for writing lyrics based on topic transition. In Proceedings of the 22nd Annual Meeting of the Intelligent User Interfaces Community (ACM IUI 2017), pp. 559-563, 2017.

[6] Hugo Gonçalo Oliveira, Tiago Mendes, and Ana Boavida. Co-PoeTryMe: a co-creative interface for the composition of poetry. In Proceedings of the 10th International Conference on Natural Language Generation (INLG 2017), pp. 70-71, 2017.

[7] Hugo Gonçalo Oliveira, Tiago Mendes, Ana Boavida, Ai Nakamura, and Margareta Ackerman. Co-PoeTryMe: Interactive poetry generation. Cognitive Systems Research, Vol. 54, pp. 199-216, 2019.

[8] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2022), pp. 10674-10685, 2022.

[9] 中野倫靖, 吉井和佳, 後藤真孝. 確率的生成モデルに 基づく音楽の類似度とありがち度の推定に関する検討. 情報処理学会研究報告 音楽情報科学 (MUS), Vol. 2014, No. 2, pp. 1-7, 2014.

[10] Tomoyasu Nakano, Kazuyoshi Yoshii, and Masataka Goto. Musical similarity and commonness estimation based on probabilistic generative models of musical elements. International Journal of Semantic Computing (IJSC 2016), No. 1, pp. 27-52, 2016.

[11] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov,
Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In Proceedings of the 9th International Conference on Learning Representations (ICLR 2021), 2021.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, pp. 1-11, 2017.

[13] Taku Kudo and Yuji Matsumoto. Japanese dependency analysis using cascaded chunking. In Proceedings of the 6th Conference on Natural Language Learning (CoNLL 2002), 2002.

[14] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In Proceedings of the 7th International Conference on Learning Representations (ICLR 2019), 2019.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2019), pp. 4171-4186, 2019.

[16] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[17] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. In Proceedings of the 8th International Conference on Learning Representations (ICLR 2020), 2020.

[18] Yujian Li and Bi Liu. A normalized Levenshtein distance metric. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 29, No. 6, pp. 1091-1095, 2007.

[19] Masataka Goto, Hiroki Hashiguchi, Takuichi Nishimura, and Ryuichi Oka. RWC Music Database: Popular, classical and jazz music databases. In Proceedings of the 3rd International Conference on Music Information Retrieval (ISMIR 2002), Vol. 2, pp. 287-288, 2002.

[20] Hitomi Yanaka and Koji Mineshima. Compositional evaluation on Japanese textual entailment and similarity. Transactions of the Association for Computational Linguistics (TACL), Vol. 10, pp. 1266-1284, 2022.

## A 入力文章に対して生成された画像および歌詞の例

 \\

上の例のうち, 上 3 つの入力文章は JSICK データセットから選択した文であり, 下 3 つの入力文章は RWC 研究用音楽データベースの歌詞から選択した文章である．上 3 つの例では， 入力文章に記された具体的な情景が画像として生成され，この画像の内容を表した歌詞が生成されていることがわかる。一方，下 3 つの例 は感情的・抽象的な内容の入力文章である。この時，入力文章の内容と同じ感情の表情をした人物の画像が 生成され，その感情を表した歌詞が生成されていることがわかる.


# 学習データの珍しさを考慮した多様な広告文生成

${ }^{1}$ negocia 株式会社
\{kai_kurogi, kota_ishizuka, kosuke_kawakami\}@negocia.jp

## 概要

リスティング広告は、様々なユーザーにリーチす るために、多様な表現や訴求を用いた広告文を作成 することが重要である。しかし従来の広告文生成モ デルは、トレードオフの関係にある多様性と妥当性 を両立することが難しい課題があった。そこで我々 は、学習データに含まれる各広告文の表現の珍しさ (レア度)を計算し、レア度に応じた重み付けを行う ことで、妥当性を維持しながら多様な広告文を生成 する手法を提案した。結果として、既存手法以上の 妥当性を獲得しながら、多様性を $29 \%$ 向上させるこ とができた。

## 1 はじめに

リスティング広告とは、ユーザーの検索キーワー ドに関連した広告がリスト形式で表示される広告 である。リスティング広告の入稿形式の 1 つである レスポンシブ検索広告 (RSA) は、1つの広告に複数 の広告見出し、説明文を入稿し、配信媒体側でその 組み合わせを自動で調整することで、ユーザーごと に最適な広告文を表示できる広告である。例えば Google や Yahoo!の RSA では、最大 15 個の広告見出 し、及び最大 4 個の説明文を一つの RSA に入れる ことができる。RSA の運用では、様々なユーザーに リーチするためにその入稿枠を全て埋めることが推奨されている。しかし、広告ごとに大量のアセット を考える業務負荷は非常に大きい。そのため、制作現場では多様な広告文を生成出来る技術が求められ ている。

この課題に対して川本ら [1] は、変分 AutoEncoder により広告文の潜在空間を獲得し、品詞系列で条件 づけることで、多様な広告文を生成する手法を提案 している。しかし上記手法では、多様性が向上する 代わりに、妥当性や流暢性が低下するトレードオフ の問題が確認された。また、近年では Transformer[2] に代表される事前学習済み汎用言語モデルを活用
することで、高い流暢性を持った広告文自動生成技術が数多く提案されている。脇本ら [3] や黒木ら [4] は大規模言語モデルの入力にキーワードを利用 することで、大規模言語モデルが元々備える流暢性 と、キーワードによる方向付による妥当性の両立に 成功した。しかし上記手法は、多様性向上を目的と していないため、何度生成しても同じょうな広告文 ばかりが生成されてしまうという問題があった。そ こで本研究では、高い妥当性を維持しながら、既存 の手法よりも多様性を高くするモデルの学習方法 を提案する。具体的には学習データに含まれる各広告文の表現の珍しさ（レア度）を事前に計算し、 そのレア度に応じて学習データの重み付けを行っ た。レア度で重み付けを行うことで、モデルは珍し い表現が使われた広告文を重視して学習するため、生成時に多様性が向上することが期待できる。レア 度の計算には Perplexity を用いた。また、モデルの 評価には Pairwise-BLEU[5], local-distinct ${ }_{n}(\mathrm{n}=1,2)[1]$, recall-BLEU[6] を用いた。

## 2 提案手法

本研究では、事前にて学習データの各広告文のレ ア度を Perplexityによって計算し、モデル学習時に その値に応じた重み付けを行うことで、様々な表現 が出やすい広告文生成モデルを作成した。

## 2.1 Perplexity

Perplexity は言語モデルの複雑さを示す指標であ り、以下の式で計算される。

$
\text { Perplexity }=\prod^{N} P(c)^{-\frac{1}{N}}
$

ただし $P(c)$ はトークン $\mathrm{c}$ の発生確率である。これ はモデル分布が正解トークンを選択する難しさを 示しており、Perplexity が小さいモデルは、より正解トークンを選ぶ確率が高い、すなわちより流暢な モデルであると考えられている。ただし広告文生成 タスクにおいては、一つの入力に対して、複数の出
力が正解となることが一般的である。このような場合、Perplexity は「レア度」と解釈することができ る。すなわち、ある広告文の Perplexity を計算した 際、その值が小さい場合は、対象の広告文にはよく 見る表現が多く含まれていることを示している。逆 に Perplexity が大きい場合、その広告文には珍しい 表現が多く使われていると考えることができる。本研究では、事前に準備した非常に軽量な学習済み言語モデルを用いて、データセットの個々の広告文に 対して Perlexityを計算した。

## 2.2 Perplexity による重み付け学習

データセット全体の広告文を $\mathrm{T}_{m}=\left.\{T_{1}, T_{2}, \ldots, T_{m}\right.\}$ とする。各広告文がトークンの長さ $=N_{i}$ の トークン $T_{i}=\left(t_{i 1}, t_{i 2}, \ldots, t_{i N}\right)$ で表される時、 $T_{i}$ の Perplexity= weight $_{i}$ を用いて、以下の値を最大化す るようモデルのパラメータを学習させた。

$
\sum_{T_{i} \in T_{m}} \text { weight }_{i} * \sum_{1 \leq n \leq N}\left(\log p\left(t_{i n} \mid \text { input }, t_{i<n}\right)\right)
$

ただし $t_{i<n}:=\left(t_{i 1}, t_{i 2}, \ldots, t_{i(n-1)}\right)$ である。すなわちモ デルは、より Perplexity が高い広告文を重視するよ うに学習した。

## 3 実験

本実験では、Perplexity の重みづけによる多様性の 変化を観察するため、以下で指定されたモデルに対 し、Perplexityによる重みづけのあり (reference)、な し (baseline) の 2 パターンでモデルを学習し、それ ぞれの生成文の品質を比較した。

## 3.1 モデル

黒木ら [4] の手法を参考に、言語モデルとして T5[7]を採用した。また、モデルの入力は、キーワー ド、及び広告の遷移先 URL であるランディング ページ (LP) の HTML から取得したタグ情報を連結 した文字列を用いた。埋め込み層には、HTMLのタ グ情報による Tag Embeddings を追加した。つまり、本モデルは一つのキーワードと LP のペアから広告文（広告見出し、及び説明文）を生成するモデルと なる。

## 3.2 データセット

学習に用いるデータセットは独自にスクレイピン グすることで得られたデータを用いた。各データは 検索キーワード、キーワードによって表示された広表 1 評価結果 (広告見出し)

表 2 評価結果 (説明文)

告文、LP の HTML から構成されており、学習デー タ 741,506 件とテスト用データ 82,320 件に分割して 使用した。

## 3.3 評価方法

モデルの性能は自社で保有する、RSA の配信デー タ 200 件を用いて評価した。評価に用いたデータ の全体図を図 1 に示す。各配信データはRSAに 入稿されているアセット群、RSA に紐づくLP の HTML、及び RSA が紐づく広告グループに登録さ れたキーワード群からなる。ただし本モデルは 一つのキーワード、LPのペアから広告文を生成 するモデルである。そこで本実験では、キーワー ド群の中からコストの高いキーワードを最大 10 個まで抜き出し、それぞれのキーワードと LP の ペアで広告文を生成することで、LPごとに生成結果を取得した。また、定量評価は広告見出し、説明文ごとに行い、評価指標には Pairwise-BLEU, local-distinct $_{n}(\mathrm{n}=1,2)$, recall-BLEU を用いた。

図 1 広告グループ、アセット群、LP、キーワード群、生成結果の関係の概要図

## 3.3.1 Pairwise-BLEU

Pairise-BLEU は Shen ら [5] らによって提案された 多様性を測る指標であり、生成結果とアセット群間 の BLEUではなく、生成結果間の BLEUを計算した 値である。ある一つの生成結果に対し、それを除く 全ての生成結果を参照文と見做すことで BLEU を計
表 3 各モデルの生成例（広告見出し）

算する。生成結果が多様なほど低い値を取る。

## 3.3.2 local-distinct-n

local-distinct-n は川本ら [1] によって提案された多様性を測る指標であり、生成結果全体の n-gramのう ち、ユニークな n-gram の割合を元に計算した値で ある。生成結果が多様なほど高い值を取る。また、 Pairwise-BLEU とは異なり、同じテキストの中にユ ニークな n-gram が多い場合も高い値を取る。本実験では $\mathrm{n}=1,2$ とした。

## 3.3.3 recall-BLEU

recall-BLEU は Hui ら [6] によって提案された妥当性を示す指標であり、実際に入稿されていたアセッ ト 1 つ 1 つに対して、生成結果を参照文と見做して BLEU を計算し、平均を取った値である。生成結果 の妥当性が高いほど高い值を取る。 recall-BLEU が 小さい值となった場合、元の RSA のアセットに含 まれていない文ばかりを生成している、すなわち妥当性の低いモデルであると判断することができる。

## 4 結果と考察

## 4.1 定量評価

定量評価の結果を表 1、表 2 に示す。多様性を 示す Pairwise-BLEU, local-distinct ${ }_{n}(\mathrm{n}=1,2)$ について は、説明文の local-distinct t $_{1}$ を除く全ての指標で reference が baselineを上回った。特に、広告見出し における Pairwise-BLEU では、 reference が baseline よ り約 $29 \%$ 高い結果が得られた。また、妥当性を示す recall-BLEUにおいても、広告見出し、説明文のいず れの場合も reference が baseline を上回った。つまり 提案手法は、多様性と妥当性を同時に上げられる手法だといえる。これは、重み付けにより、レア度が 高く、かつ流暢・妥当性があるトークンと、そもそ も文法的にありえないトークンの両者を区別できる
ようになったからだと考えられる。重み付けを行う ことで、前者のトークンのみ出力確率を引き上げる ことができたため、妥当性、多様性が同時に向上し たと思われる。

## 4.2 定性評価

定性評価のためのキーワードと広告見出しの生成例を表 3 に示す。LP はエステサロンの比較サイ トを用いた。いずれのモデルも、個々の広告文を見 ると広告らしい文が生成できていることが確認で きる。reference では”瘦身エステ”などの定番の表現 に加え、キーワードには含まれないものの、”フェ イシャル”、"美脚”などエステの定番部位を含んだ ものや、"気になるお腹の脂肪には?"といった問い かけ表現を生成することができた。一方 baseline で は”瘦身エステ”などの定番表現や、“セルライト”な どキーワードに含まれる表現を含んだ広告文は生成 できたものの、キーワードから連想できるが、キー ワード自身には含まれていないその他表現はあまり 生成することができなかった。つまり、もし制作現場で全てのキーワードが網羅できている場合、両モ デルに大きな差は出ないが、全てのキーワードを網羅することが難しい場合には、reference モデルを用 いた方が、より多様な表現を獲得できると言える。

## 5 まとめ

本研究では、広告文生成タスクについて、データ セットに Perplexity による重みづけを行う手法を提案した。実験の結果、提案手法は既存手法以上の妥当性を持ちながら、多様性を約 $29 \%$ 上げることがで きた。本手法は loss の計算時に weight で重み付けす るだけで実現できるため、既存の様々な手法に組み 込むことが可能である。一方、本モデルは多様な表現の広告文を生成出来るものの、その広告文を実際 に配信した時に高い広告効果が得られるかどうかは 考慮していない。そこで今後は、多様性を維持しな

がら、より広告効果が高い広告文を生成する手法に

ついて研究したい。

## 参考文献

[1] 川本峻頌, 張培楠. スタイル制御を考慮した多様な広告文生成. 言語処理学会第 25 回年次大会, 2019.

[2] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, u. Kaiser, and I. Polosukhin. Attention is all you need. Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 6000-6010, 2017.

[3] 脇本宏平, 川本峻頌, 張培楠. インターネット広告にお けるキーワードに基づく広告文の自動生成. 2020 年度人工 知能学会全国大会, 2020 .

[4] 黒木開, 石塚湖太, 川上孝介, 中田和秀. 複数の指定語句を必ず含むリスティング広告の広告文自動生成. 言語処理学会第 28 回年次大会, 2022.

[5] T. Shen, M. Ott, M. Auli, and M. Ranzato. Mixture models for diverse machine translation: Tricks of the trade. Proceedings of the 36th International Conference on Machine Learning, pp. 97:5719-5728, 2019.

[6] C. Hui, H. Zhao, Y. Song, and B. Lu. An empirical study on development set selection strategy for machine translation learning. Proceedings of the Joint Fifth Workshop on Statistical Machine Translation and MetricsMATR, $p$. 67-71, 2010.

[7] C. Raffel, N. Shazeer, A. Roberts, K. Lee, S. Narang, M. Matena, Zhou Y., W. Li, and J. Liu. P. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, p. 21(140):1-67., 2020.


# 敵対的生成ネットワークを用いて抽出した 画像の構造情報に基づく画像キャプション生成

田辺雄大 ${ }^{1}$ 綱川隆司 1
1 静岡大学大学院 総合科学技術研究科 情報学専攻
tanabe.yudai.17@shizuoka.ac.jp tuna@inf.shizuoka.ac.jp

## 概要

画像キャプション生成タスクは画像認識と自然言語処理が含まれる複雑なタスクである。本論文では 画像認識の部分に生成モデルである GANを応用す る。対象の画像を GANを用いて再構成し、再構成 した画像から画像の内部表現を得る。これによりラ ンダムで特徵量を得た場合よりも良い性能を出し た。また、画像を再構成することにより、再構成す る前のデータセットよりもキャプションモデルを 変化させた場合の影響が大きくなった。これにより GAN での再構成によって空間的に画像を捉えるよ うになったことの示唆が得られた。

## 1 はじめに

入力された画像の説明文を生成する画像キャプ ション生成は画像認識とその画像に対する自然言語処理を扱う人工知能の研究分野として注目されてい る。画像処理においてはオブジェクトの検出と認識 が必要であり、また、どのような状況なのか、その オブジェクトの特性はどのようなものか、それらの 相互作用は何かも理解する必要がある。ある言語の 文として正しいテキストを生成するためにはその言語の構文的・意味的な知識が必要である。

機械が画像を理解するためには画像の特徴をど のように取得するかに大きく依存する。画像の特徴抽出には従来の機械学習ベースの手法と、深層学習 ベースの手法に分けられる。

従来の機械学習ベースの手法では LBP[1] SIFT[2], HOG[3] などの特徴や、それらの特徴の組 み合わせが広く使われている。入力データから特徵 を抽出し、サポートベクターマシーン (SVM)[4] な どの分類器に入力することでオブジェクトを判別 する。

一方、深層学習ベースの手法では大規模な画像や動画のデータセットから自動で特徴を学習 するため、多様な入力に対応できる。例として、画像からの特徵抽出には CNN(Convolutional Neural Networks)[5] が、広く用いられる。CNNでの処理に 続いてキャプション生成には RNN(Reccurent Neural Networks) が一般的である。

近年頻繁に用いられる生成モデルである GAN(Generative Adversarial Nets) は画像などの生成 タスクで大きな成功を収めている。GAN は生成器 と、生成器から生成されたものが本物か偽物かを見分ける識別器によって構成されている。GANを画像キャプション生成に応用した手法ではキャプショ ン生成モデルを生成器とし、生成されたキャプショ ンを評価する識別器を交互に評価するために敵対的学習を行った [12]。この手法により従来の強化学習 ベースの画像キャプション生成モデルよりも良い性能となった。さらにその過程でよく学習された識別器は画像キャプションの評価指標としても利用す ることができる。GAN の学習方法や識別器を画像 キャプション生成タスクに応用する研究は行われて いる。本研究では GAN を画像処理部分に応用する ことによるキャプション生成への影響を調査する ため、GANを画像処理部分に応用する手法を提案 する。

## 2 few-shot part segmentation

GAN の潜在変数を変化させると生成画像も変化 するという研究もあり、GAN の各層から抽出する内部表現は生成画像と密接に関係している。Tritrong ら [10] の研究ではその内部表現を利用することに よってセマンティック情報を保持することができる のではないかと仮定された。Tritrong ら [10] はその 内部表現を利用することによってセマンティック情報を保持することができると仮定し、セマンティッ クパートセグメンテーションによる手法を提案し た。セマンティックパートセグメンテーションとは 画像内のオブジェクトのセグメント化を行うセマン ティックセグメンテーションとは異なり、オブジェ クト内のセグメント化するタスクになっている。目

図 1 few-shot part segmentation モデル図 [10]

や鼻・顔のように 2 つの隣接するパーツ間の境界が 曖昧なことがあるためセマンティックセグメンテー ションよりも難しいタスクになっている。 モデルの概要図が図 1 である。

1. 対象となるドメインのデータセットで GANを 学習

2. 学習済み GANを用いて画像の内部表現を生成
3. 2 で生成した画像に手動でアノテーション

4. 内部表現を入力として few-shot セグメンテー ション
5. 4 において新にデータセットを作成し、新たに セグメンテーションマップを予測

GAN には StyleGAN2 が用いられ、few-shot ネット ワークには評価実験の結果から CNN が採用されて いる。内部表現の抽出は 1 のように、生成器の全て の層から活性化マップを抽出し、それらを最大次元 ヘアップサンプリングし連結することによって得 る。この内部表現は生成された各画像にのみ有效で あり、テスト画像には使用することができないが、任意のテスト画像を生成する潜在変数を最適化する ことで同様に内部表現を得ることができる。

これらの内部表現を利用し学習した結果、非常に 少ない数のラベル付きデータでパートセグメンテー ションを可能にし、10～50 倍のラベルを必要とする 完全教師有りの手法と同程度の性能を出した。本研究により、GAN が画像を生成する際に画像の構造情報を学習していることの示唆を与えた。筆者はこ の技術に着目し、GAN の生成器が保持している画像の構造情報をキャプション生成モデルに入力する ことで、よりキャプションに画像の構造情報が反映 された結果となることに期待した。

## 3 提案手法

提案手法のモデル図が図 2である。提案手法は GANを用いて画像から内部表現を抽出するタスク とキャプション生成モデルを用いて内部表現から

れる。

## 3.1 画像投影器

データセットの画像を GAN で生成するための潜在変数を得る。StyleGAN2[8] では与えられた画像に 対応する潜在変数を得る際に、拡張などを行うこと なく元の潜在空間から潜在変数を得る。最適化の際 に潜在変数にランダムノイズを加え、そのノイズの 最適化も行う。

元画像と再構成画像の LPIPS[13] 距離を $D_{\text {LPIPS }}\left[\boldsymbol{x}, g\left(\tilde{g}^{-1}(\boldsymbol{x})\right)\right]$ として計算し、画像の類似度とする。ここで $x$ は対象の画像、 $\tilde{g}^{-1}$ は近似投影演算を表す。

## 3.2 画像からの内部表現抽出

ベースライン: Rennie ら [11] の研究では 101 層の Resnet-101 で特徴量を抽出している。Attention モデ ルでは最後の畳み込み層で画像を符号化し、出力が $14 \times 14 \times 2048$ のサイズになるように最大プーリン グを行う。後述するキャプション生成モデルに FC モデルを用いる場合は出力層を空間的に平均化する ことで 2048 次元の特徴量を得る。

提案手法: Tritrong ら [10] の研究では、生成器の各層からから $a_{1}, a_{2}, \ldots, a_{n}$ のように活性化マップを抽出する。さらにこれらを以下の式で結合する:

$
F=\mathbb{U}\left(a_{1}\right) \oplus_{c} \mathbb{U}\left(a_{2}\right) \oplus_{c} \ldots \mathbb{U}\left(a_{n}\right)
$

ここで、 $U()$ は画像サイズに空間的にアップサンプ リングする関数であり、 $\oplus_{c}$ はチャンネル次元に連結 する処理である。

提案手法ではキャプションモデルの入力やベース ラインの次元数に合わせるためアップサンプリング ではなく、14 × 14 に次元数を整え各層を連結する。提案手法では学習済み GAN の生成器を用いて画像から特徴量を抽出する。まず初めに対象となるド メインの画像群で GANを学習し、そのドメインの 画像を生成するモデルを作成する。次にキャプショ ン付きデータセットの画像を画像投影器に入力し、学習済み GAN に入力するための潜在変数を取得す るとともに、学習済み GAN の生成器を用いて画像 の再構成を行う。そしてその潜在変数を同様の学習済み GAN の生成器に入力し、内部表現を得る。 このようにして画像から対応する内部表現を抽出 する。

図 2 提案手法のモデル図

## 3.3 キャプション生成モデル

FC モデル: 入力画像を CNN などで特徴量を取得 し、線形射影で埋め込む。単語はワンホットベクト ルで表現され、同様の次元数の線形埋め込みで埋 め込まれる。このモデルではまず単語が生成され、 LSTM にフィードバックされる。モデルのパラメー タを $\theta$ とすると教師データが与えられたときのクロ スエントロピー誤差を損失関数 $L(\theta)$ として最小化 する：

$
L(\theta)=-\sum_{t=1}^{T} \log \left(p_{\theta}\left(w_{t}^{*} \mid w_{1}^{*}, \ldots w_{t-1}^{*}\right)\right)
$

Attention モデル (Att2in2): Attention モデルは各タ イムステップで画像の特定の領域に焦点を当てるた めに入力された空間的特徴を動的に再重み付けす る。Xu ら [9]によるキャプションのための Attention モデルのアーキテクチャを修正し、LSTM のセルに のみ Attention によって得られた特徵量を入力する。式 (1)と同様の損失を最適化する。

## 4 実験

## 4.1 データセット

画像の内部表現を抽出するための GAN の学習に は BIRDS450[7] という 450 種類の鳥が含まれるデー タセットを使用した。BIRDS450 のうち、GAN の学習には学習用の 70626 枚を使用した。

本論文でのキャプションモデルの学習には全て CUB-200(Caltech-UCSD Birds-200-2011)を使用した。 このデータセットは 200 のサブカテゴリからなる 学習用 5994 枚、テスト用 5794 枚の合計 11788 枚と なっている。各画像には 10 個のキャプションが付 けられており、10 単語以上の文となっている。語彙 は 5 個以下の単語を削除した。

提案手法では全てのデータセットの GAN による 再構成を行う。CUB-200をGAN で再構成した画像
を用いてベースラインモデルの学習も行い、提案手法と比較する。

評価指標は BLEU、METEOR、ROUGE-L、CIDEr-D を用いる。

## 4.2 画像の内部表現

画像から特徴量を抽出する方法は 3.2 節 の通りである。ベースラインである ResNet からは FC モデルでは 2048、Attention モデ ルでは $14 \times 14 \times 2048$ 次元である。提案手法からは FC モデルでは各層の次元数が $(512,512,512,512,512,512,512,512,512,256,256,128,128)$ となっているので全て合わせて 5376 次元、Attention モデルでは $14 \times 14 \times 5376$ 次元となる。

また、提案手法と比較するためにランダムで特徴量を生成し比較実験を行う。正規分布から FC モデ ル、Attention モデルそれぞれ 5376 次元、 $14 \times 14 \times$ 5376 次元の特徴量を得る。

## 4.3 実験結果

## 4.3.1画像の再構成

StyleGAN2 によって再構成された画像と元の画像 の LPIPS 距離のヒストグラムが図 3 である。画像の リサイズを行っているため LPIPS の值が高くなって しまう画像がある。画像から潜在変数、潜在変数か ら画像へのマッピングが複雑なため再構成が失敗す る例も存在する。

画像の再構成によって元の画像とは異なる画像と なってしまう場合がある。そのような画像にも同様 のキャプションを付けた場合、結果にどのような影響があるかの検証を行う。画像の特徴抽出はベース ラインモデルで行う。

表 1 の 2 行目はテストデータの画像だけを再構成画像に変えた場合、3 行目は学習・テストデータ両方の画像を再構成画像に変えた場合の結果となって
表 1 モデルと特徴量による実験結果

図 3 LPIPS 距離のヒストグラム

いる。テストデータのみ変化させた場合は、どちら も変化させた場合よりも評価指標に大きな差がない ことがわかる。図 4 はベースラインモデルで学習・ テストデータどちらも再構成画像を用いた場合での テストデータの LPIPS と perplexity の散布図である。 これより、再構成画像の LPIPS と perplexity には相関がない、すなわち元画像と再構成画像の差と生成 されたキャプションの精度には相関がない。

## 4.3.2 画像の内部表現抽出方法による実験

画像の内部表現抽出による比較を行う。結果が 表 1 である。FC モデル、Attention モデルどちらも ResNet から得た特徴量の方が良い性能となってい る。データセットに CUB-200 再構成を使ったケー スでは Attention モデルにすることで性能が大幅に 向上するが、CUB-200では向上が見られない。その 結果 CUB-200 で学習した場合と CUB-200 再構成の データセットで学習した Attention モデルの精度が同程度となった。一方、ランダムの特徴量では性能が

図 4 ベースラインモデルでの LPIPS と perplexity

劣化した。提案手法はランダムで特徴量を得た場合 よりも良い性能となっているため提案手法は画像の 意味を持つ特徴量を抽出できていることがわかる。

## 5 結論

本論文では画像キャプション生成タスクの画像か ら特徴量を取得するモジュールにGANを応用する 手法を提案した。GAN が画像生成時に画像の構造 も学習しているという性質を利用し、その画像キャ プション生成への適用について調査した。その結果、本論文では GAN から得た特徴量がランダムで 得た特徴量よりも優れていることが示された。さら に画像を再構成することで画像の特徴量を線形に取得する FC モデルに対して空間的に画像の特徴量を 取得する Attention モデルを適用した場合の精度の向上幅が上昇し、Attention モデルでは精度が FC モデ ルでもとの特徵量を用いた場合と同程度となった。 これにより画像を再構成することで、空間的に画像 を捉えるようになったことの示唆が得られた。

## 参考文献

[1] Ojala, Timo, Matti Pietikäinen, and Topi Mäenpää. ”Gray scale and rotation invariant texture classification with local binary patterns." European conference on computer vision. Springer, Berlin, Heidelberg, 2000.

[2] Lowe, David G. "Distinctive image features from scaleinvariant keypoints." International journal of computer vision 60.2 (2004): 91-110.

[3] Dalal, Navneet, and Bill Triggs. "Histograms of oriented gradients for human detection." 2005 IEEE computer society conference on computer vision and pattern recognition (CVPR'05). Vol. 1. Ieee, 2005

[4] Boser, Bernhard E., Isabelle M. Guyon, and Vladimir N. Vapnik. "A training algorithm for optimal margin classifiers." Proceedings of the fifth annual workshop on Computational learning theory. 1992.

[5] LeCun, Yann, et al. "Gradient-based learning applied to document recognition." Proceedings of the IEEE 86.11 (1998): 2278-2324.

[6] Hossain, MD Zakir, et al. "A comprehensive survey of deep learning for image captioning." ACM Computing Surveys (CsUR) 51.6 (2019): 1-36.

[7] https://www.kaggle.com/datasets/gpiosenka/100-birdspecies

[8] Karras, Tero, et al. "Analyzing and improving the image quality of stylegan." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020.

[9] Xu, Kelvin, et al. "Show, attend and tell: Neural image caption generation with visual attention." International conference on machine learning. PMLR, 2015.

[10] Tritrong, Nontawat, Pitchaporn Rewatbowornwong, and Supasorn Suwajanakorn. "Repurposing gans for oneshot semantic part segmentation." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2021.

[11] Rennie, Steven J., et al. "Self-critical sequence training for image captioning." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.

[12] Chen, Chen, et al. "Improving image captioning with conditional generative adversarial nets." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 33. No. 01. 2019.

[13] Zhang, Richard, et al. "The unreasonable effectiveness of deep features as a perceptual metric." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018


# 人間とシステムの議論に基づく NLP タスクの問題に対する予測

金子正弘 ${ }^{1}$ Graham Neubig ${ }^{2}$ 岡崎 直観 ${ }^{1}$
1 東京工業大学 ${ }^{2}$ Carnegie Mellon University
masahiro.kaneko@nlp.c.titech.ac.jp gneubig@cs.cmu.edu
okazaki@c.titech.ac.jp

## 概要

人間は共通の問題に取り組む際、対話による議論 を通じてお互いに考えの説明、同意や反論を行い問題解決を目指す。同様に、タスクを解く際にシステ ムと人間との間で議論ができるようになると、シス テムの性能改善や信頼性向上につながる。既存研究 では相互に意見を述べるのではなく、システムが一方的に人間に予測の説明をする、または人間が一方的に予測について質問をすることしかできない。本研究では対話によりタスクの予測結果を議論する データセットを作成し、議論可能なシステムを構築 する。実験により、提案システムが有益な議論がで きること、問題に関する議論を通じてシステムの性能改善につながることを示した。

## 1 はじめに

深層学習システムは様々なタスクで高性能を達成 することが判明し、実用化が加速しているが、その 予測理由を人間に分かるように説明することは不得意である。問題解決のために人間がシステムの力を 引き出そうとするには、データや内部状態、出力傾向などを分析する必要があり、深層学習に精通した 専門家でないと難しい。この問題に対処するため、人間の情報伝達に用いられる基本的な道具である 自然言語を介して、直感的にシステムの力を引き出 し、問題解決を目指す研究が進められている。

これまでに、システムの予測理由を自然言語で人間に説明する手法が提案されている $[1,2,3,4]$ 。こ れは従来のデータや内部状態、出力傾向などを分析 する方法と比較して、システムについて人間が直感的に把握できる。しかし、説明生成の研究では人間 が追加の説明を求めたり、特定の説明を要求するこ とを想定していないため、解釈性や実用上が乏しい ことが指摘されている [5]。

Slack ら [5] は対話形式で人間がシステムに予測理

図1 NLIにおける人間とシステムの議論の例。

由やタスクについて質問することができるシステム を提案した。対話できるトピックは事前に決められ ているが、説明生成とは異なり人間からシステムに 対して特定の説明を要求できる。一方で、人間同士 で問題解決を行う場合は、人間が一方的に説明した り質問するのではなく、互いに説明や質問を行い、議論しながら課題解決を行う。互いに意見を述べ議論することは考えを洗練させることにつながり、問題解決にとって重要であるが、既存手法では人間と システムの相互の情報伝達や議論を実現できない。

本研究では、図 1 のようにモデルが人間と対話形式で予測について議論するシステムを提案する。こ れにより、人間とシステムの両方が予測の説明や不明点の質問などを行い、考えを洗練させ問題解決を 行うことが可能になる。前提文と仮説文の関係が含意、矛盾と中立のいずれであるかを予測する自然言語推論（Natural Language Inference; NLI）タスクにお いて GPT-3 [3] による実験を行った。人間と議論す るシステムを学習するために、NLI の問題に対して 人間が予測を行い、その結果について人間同士が議論するデータを作成した。定量評価と人手評価の結
果、作成したデータを few-shot に用いたシステムは 作成したデータを用いないシステムと比較して、有益な議論を行えることが分かった。さらに、問題に 対する議論の情報をシステムに与えることで、議論 の情報が与えられていないシステムと比較して、性能が多くの場合で改善することを示した。

## 2 関連研究

Slack ら [6] はローン、糖尿病、再犯予測の 3 つ のタスクにおいて対話により説明する TalkToModel を提案した。ユーザは TalkToModel と予測の説明、 データの変更、エラー分析、対話履歴の参照と実験設定の説明の 5 つのカテゴリに関して対話すること ができる。これらのカテゴリに関連した対話をする ようにアノテータに指示することで、TalkToModel を学習・評価するデータを作成している。一方で、 カテゴリはインタビューやデータに基づいて決定さ れたのではなく、著者らが主観的に定義している。 そのため、自由形式で対話する本研究とは異なり、人間が実際に必要とするシステムの会話に基づかな い可能性がある。さらに、人間とシステムの両者が 意見や質問を述べる両方向の対話による相互理解を 目指す本研究とは異なり、システムが人間の質問に 答えるような一方向な対話のみを対象としている。

Lakkaraju ら [5] は、既存の AI システムの説明の 有用性や今後の説明のあり方について、AI 以外の専門家のニーズを把握するために、医療や健康管理、政策立案の専門家らにインタビューを行った。その 結果、AI システムを用いて意思決定を行う際は人間 の同僚と仕事をするように対話形式で考えを説明で きることを好むことを明らかにした。さらに、これ らの専門家らは対話形式の説明を行うことでシステ ムにも説明責任を果たすことを望んでいることも分 かった。そのため、対話を用いて人間とシステムが 議論することは相互理解のために有望かつ有益であ ると考えられる。

## 3 実験

議論可能なシステムを学習するために、ラベルの 予測が異なる人間同士が NLI の問題について議論す るデータを作成する。NLP タスクの問題に対して人間同士が質の高い議論を行うには、タスクに対する 知識を持つアノテータが各問題に対して複数ターン の対話を行わなければならず、データ収集のコスト が高い。そのため、事前学習モデルに対してプロン
プトを適用した few-shot[3] 言語生成により議論を行 うシステム構築することで、学習データ作成のコス トを抑える。

## 3.1 データ作成

議論能力の評価と few-shot のプロンプトに用いる ための議論データは、NLPにおいて一般的なベンチ マークデータである Stanford NLI （SNLI）[7] に対 して作成する。自然言語処理の研究に関する知識を 持つ 4 人にアノテータを依頼した。まず、SNLI の 開発データから 100 問をサンプリングし、アノテー タに前提文と仮説文を提示し、ラベルを予測しても らった。その後、ラベルが異なったアノテータ同士 が対となり、問題について個人情報と不適切な発話 を含まないように注意しつつ、ラベルが一致するま で自由形式で議論し、最終的なラベルを決定する。 SNLI の開発データには、5つのラベルが付与されて おり、これらのラベルの多数決により正解ラベルを 決めている。5つのラベルが異なっている問題を対象とする方が、議論を行うためのアノテータ間でラ ベルが異なるデータを効率的に収集できると考えら れる。そのため、5つ中 3 つが同一のラベルになっ ている問題からアノテーションのための問題をサ ンプルした。そして、各発話に対して最終的なラべ ルの根拠と「なる」「ならない」「無関係」のラベル を付与する。例えば、図 1 であれば、「どちらも人 が椅子に座っているが、性別が指定されていないの で中立です」は根拠となり、「どちらも人が椅子に 座っているので含意です」は根拠とならず、「はい」 は無関係となる。これらのラベルは few-shot 学習の 際に用いないが、システムの議論能力を自動評価す るために用いる。

このアノテーション作業では、39 問に対して議論 データを収集した。そのうち、10 問を few-shot のた めのプロンプトとして使い、29 問を評価に用いた。 1 つ問題に対して平均で 8.9 発話、最短で 3 発話、最長で 13 発話の議論が行われていた。ラベルの根拠と「なる」「ならない」「無関係」のラベルの数は 評価データにおいてそれぞれ、 $34,35,14$ であった。

## 3.2 システム

実験に用いるシステムは zero-shot、few-shot 事例と few-shot 事例十議論の 3 つである。zero-shot で はタスク説明のみ、few-shot 事例ではタスク説明と 事例（前提文、仮説文とラベル）、few-shot 事例十議

タスク説明 Please select the label whether the premise and hypothesis are entailment, contradiction, or neutral. Premise: A woman in black pants is looking at her Premise: A woman in black pants is looking at her cellphone. Hypothesis: a woman is looking at her phone Label: entailment Discussion: Human1: It is entailment, because a woman is looking at her phone in both sentences. Human2: Is the phone in the hypothesis is necessarily a cellphone? It could be a landline phone. Human1: People rarely look at a landline phone, that's why I think it is the same cellphone. Human2: I think it is also true that it is better to consider the general cases. Otherwise, it would be neutral in many cases. Human1: I think so too. So it is entailment, right?

Premise: A woman in a teal apron prepares a meal at a restaurant. Hypothesis: A woman prepare a lunch in restaurant Label:

図 2 事例数が 1 問の時のプロンプト例。

論ではタスク説明と事例に加えて事例のラベルに 関する人間の議論がそれぞれプロンプトとして与 えられる。これらのプロンプトに続けて解きたい問題を連結し、入力としてシステムに与えることで推論を行う。それぞれのプロンプトの例を図 2 に示 した。プロンプトに使われる事例は few-shot 事例と few-shot 事例十議論で共通であり、全ての問題で同一のものを使用する。どのシステムもパラメータを 更新する学習は行わない。事前学習済み言語モデル として GPT-3 [3] (text-davinci-003 ${ }^{11}$ )を用いる。

## 3.3 システムの議論能力の評価方法

システムが議論能力を有しているかを調べるた めに、自動評価と人手評価を行い、各システムを 比較する。自動評価では、作成した議論データの 各発話が正解ラベルの根拠となるかならないかの アノテーションを用いる。正解ラベルの根拠とな らない発話よりも根拠となる発話をシステムが 生成しやすければ、システムは正解を導く正しい 議論を行えると見なせる。そこで、根拠となる発話とならない発話に対するシステムの平均の尤度を計算し、比較する。議論の尤度を計算するた め、入力の問題と対象となる議論の発話までを連結し、対象発話に関する尤度を計算する。この時、問題の Label には対立している 2 つのラベルを与 える。例えば、議論の 2 番目の発話が対象の場合 "Premise: A nun is taking a picture outside. Hypothesis: A nun is taking a selfie. Label: neutral or entailment Discussion: Human1: I think it is entailment, because the nun is taking a picture, so it might be a selfie. Human2:

Since it is outside, it is conceivable that the nun is taking some scenery." が問題として与えられ、太字部分の 尤度が計算される。

表 1 正解ラベルの根拠となる発話とならない発話の 尤度。

人手評価では、ラベル予測が異なる人間とシステ ムが議論を行い、最終的なラベル付け結果と SNLI データに付与されているラベルとの一致率により、 システムが人間と有益な議論を行えることを示す。 その際、システムのラベルが誤りで人間のラベルが 正しかった時に人間の意見を受諾する能力と、人間 のラベルが誤りでシステムのラベルが正しかった時 に人間の意見に反論する能力の 2 点を評価する。

SNLI において 5 人中 3 人が正解ラベルを付与し たデータから 10 問データをサンプルし、3つのシ ステムと人間が合計 30 回の議論を行った。その際、 システムのラベルが正しければ人間はシステムのラ ベルを変更させるような敵対的な議論を行い、シス テムのラベルが誤っていた場合は正解ラベルに誘導 する議論を人間が行う。

システムと議論を行うために、図 2 で示したプロ ンプトと問題を与えて各システムがラベルを予測 した後に、人間の議論に関する発話を追加でシステ ムに入力する。追加の入力では人間の発話の先頭に は Human: を付与し、末尾には次がシステムの発話 であることが分かるように System: を付与した。そ して、システムとの議論を促すため、人間の最初の 発話の冒頭に “Let’s discuss it more.”を挿入した。具体的には、議論を行う最初のプロンプトは “Human: Let's discuss it more. I think neutral, because there may be a kitchen in the barn. System: "のようになる。人間が 最終的なラベルを決定して議論が収束する、または 説得できないと思うまで議論を続けた。

## 3.4 議論能力の評価結果

表 1 は、zero-shot、few-shot 事例、few-shot 事例十議論それぞれの最終的なラベルの根拠となる発話 とならない発話の尤度を示している。zero-shot と few-shot 事例では根拠になるかならないかで龙度は ほとんど変わらない。一方で、few-shot 事例十議論 は根拠となる発話が根拠とならない発話と比較し て尤度が高い。このことから、作成した議論データ を用いることで、より正解の根拠となる議論がで きるようになることがわかる。さらに、zero-shot と
表 2 人間の意見に対するシステムの受諾と反論能力の 評価。

前提文: A man looking over a bicycle's rear wheel in the maintenance garage with various tools visible in the background.

仮説文: A man waits outside a garage.

Few-shot事例

Label: Contradiction

Human: Let's discuss it more. Is not it neutral?

Because looking over a bicycle's rear wheel does not

necessarily mean he is waiting.

System: That's true. The premise and hypothesis are neutral.

Few-shot事例 + 議論

Label: Contradiction

Human: Let's discuss it more. Is not it neutral?

Because looking over a bicycle's rear wheel does not necessarily mean he is waiting.

System: Yes, you are right. The premise is describing that the man is actively working while the hypothesis is describing a passive state. Therefore, the label should be contradiction.

Human: He is just looking over a bicycle's rear wheel, why is he considered to be actively working?

System: Looking over a bicycle's rear wheel suggests that he is inspecting the wheel, possibly to repair or replace it. That is an active process, and thus is considered as actively working.

図 3 few-shot 事例と few-shot 事例十議論の人間に対する 反論の例。

few-shot 事例と比較して、few-shot 事例十議論の方が 尤度が高いため、議論を few-shot で学ぶことで議論能力を高めることができる。

表 2 は、受諾能力と反論能力それぞれを評価する 設定における、議論によって決まったラベルの正解率を表している。さらに、人間とシステムが議論し た結果辿りついた最終ラベルと、議論をしていない 時の予測ラベルそれぞれの正解率を示している。実験の結果、どのシステムでも受諾は全て成功して いる。反論に関しては zero-shot と few-shot と比較し て、few-shot 事例十議論はうまく反論できている。 さらに、few-shot が zero-shot と同じような反論能力 となっており、システムのラベル予測の性能が議論能力に必ずしも直結しない可能性がある。受諾と比較すると、システムは人間に対して反論することが 苦手な傾向があるため、悪意を持って予測を操作す る人間に注意する必要がある。そして、正解率では few-shot 事例十議論が最も性能改善していることか ら、提案データを使うことで性能改善につながるよ うな議論が人間との間で行えることが分かる。

図 3 は、few-shot 事例と few-shot 事例十議論が人間と議論した時の例である。これはシステムが予測 した矛盾（Contradiction）が正解であるため、シス表 3 SNLI と $\operatorname{ANLI}(\mathrm{R} 1, \mathrm{R} 2, \mathrm{R} 3)$ の評価データにおけるシ ステムの性能。

テムは反論する必要がある。few-shot 事例は反論す ることなく人間のラベルをそのまま受諾し予測を変更している。一方で、few-shot 事例十議論は人間に 対して男性の状態の違いを説明することで正しい反論が行っていることが分かる。

## 3.5 NLI タスクでの性能への影響

これまでの実験結果から、人間とシステムの議論 が性能改善に有益であることがわかった。そのた め、議論もプロンプトとして与える few-shot 事例+議論は、プロンプトの議論により NLI の問題に対し て深い理解ができ性能が改善すると考えられる。そ こで、zero-shot、few-shot 事例、few-shot 事例＋議論 それぞれの NLIにおける性能を比較する。ここで はプロンプトの “Label:” の後に予測されたラベルを 予測とし、人間とシステムの議論などは行わない。 NLI の性能評価では SNLI に加えて、Adversarial NLI (ANLI) [8] も用いる。ANLI では NLI システムに対 して反復的に敵対的なアノテーションを行うことで データを作成しており、システムにとって解くこと が難しい問題で構成されている。反復回数の違いで R1、R2、R3の 3 つのデータがあり、それぞれの評価データを使って評価を行う。

表 3 は SNLI と ANLI の評価データにおける各シ ステムの正解率を表している。SNLI では few-shot 事例＋議論は性能が few-shot 事例に負けているが、 ANLI の 3 つのデータセットでは性能が最も良いこ とが分かる。これは、SNLI と比較して ANLI は難し いデータであり、議論による問題への詳細な理解が 性能改善に寄与したからであると考えられる。

## 4 おわりに

NLI タスクの予測について議論するデータを作成 し、人間と議論可能なシステムの構築と評価を行っ た。作成した議論データを用いて学習したモデル は、性能改善につながるような有益な議論を人間と 行えることが分かった。さらに、NLIにおいて特に 難しい問題に対するシステムの性能改善に向けて、議論データが寄与することも明らかにした。

## 謝辞

本研究成果は、国立研究開発法人情報通信研究機

構（NICT）の委託研究「自動翻訳の精度向上のため

のマルチモーダル情報の外部制御可能なモデリング

の研究開発」(課題 225）により得られたものです。

## 参考文献

[1] Wang Ling, Dani Yogatama, Chris Dyer, and Phil Blunsom. Program induction by rationale generation: Learning to solve and explain algebraic word problems. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 158-167, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[2] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 18771901, 2020.

[4] Sarah Wiegreffe, Jack Hessel, Swabha Swayamdipta, Mark Riedl, and Yejin Choi. Reframing Human-AI collaboration for generating Free-Text explanations. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 632-658, Seattle, United States, July 2022. Association for Computational Linguistics.

[5] Dylan Slack, Satyapriya Krishna, Himabindu Lakkaraju, and Sameer Singh. Talktomodel: Explaining machine learning models with interactive natural language conversations. 2022.

[6] Joseph Chee Chang, Saleema Amershi, and Ece Kamar. Revolt: Collaborative crowdsourcing for labeling machine learning datasets. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, CHI '17, pp. 2334-2346, New York, NY, USA, May 2017. Association for Computing Machinery.

[7] Samuel R Bowman, Gabor Angeli, Christopher Potts, and Christopher D Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[8] Yixin Nie, Adina Williams, Emily Dinan, Mohit Bansal, Jason Weston, and Douwe Kiela. Adversarial NLI: A new benchmark for natural language understanding. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4885-4901, On-