# 学習データの珍しさを考慮した多様な広告文生成

${ }^{1}$ negocia 株式会社
\{kai_kurogi, kota_ishizuka, kosuke_kawakami\}@negocia.jp

## 概要

リスティング広告は、様々なユーザーにリーチす るために、多様な表現や訴求を用いた広告文を作成 することが重要である。しかし従来の広告文生成モ デルは、トレードオフの関係にある多様性と妥当性 を両立することが難しい課題があった。そこで我々 は、学習データに含まれる各広告文の表現の珍しさ (レア度)を計算し、レア度に応じた重み付けを行う ことで、妥当性を維持しながら多様な広告文を生成 する手法を提案した。結果として、既存手法以上の 妥当性を獲得しながら、多様性を $29 \%$ 向上させるこ とができた。

## 1 はじめに

リスティング広告とは、ユーザーの検索キーワー ドに関連した広告がリスト形式で表示される広告 である。リスティング広告の入稿形式の 1 つである レスポンシブ検索広告 (RSA) は、1つの広告に複数 の広告見出し、説明文を入稿し、配信媒体側でその 組み合わせを自動で調整することで、ユーザーごと に最適な広告文を表示できる広告である。例えば Google や Yahoo!の RSA では、最大 15 個の広告見出 し、及び最大 4 個の説明文を一つの RSA に入れる ことができる。RSA の運用では、様々なユーザーに リーチするためにその入稿枠を全て埋めることが推奨されている。しかし、広告ごとに大量のアセット を考える業務負荷は非常に大きい。そのため、制作現場では多様な広告文を生成出来る技術が求められ ている。

この課題に対して川本ら [1] は、変分 AutoEncoder により広告文の潜在空間を獲得し、品詞系列で条件 づけることで、多様な広告文を生成する手法を提案 している。しかし上記手法では、多様性が向上する 代わりに、妥当性や流暢性が低下するトレードオフ の問題が確認された。また、近年では Transformer[2] に代表される事前学習済み汎用言語モデルを活用
することで、高い流暢性を持った広告文自動生成技術が数多く提案されている。脇本ら [3] や黒木ら [4] は大規模言語モデルの入力にキーワードを利用 することで、大規模言語モデルが元々備える流暢性 と、キーワードによる方向付による妥当性の両立に 成功した。しかし上記手法は、多様性向上を目的と していないため、何度生成しても同じょうな広告文 ばかりが生成されてしまうという問題があった。そ こで本研究では、高い妥当性を維持しながら、既存 の手法よりも多様性を高くするモデルの学習方法 を提案する。具体的には学習データに含まれる各広告文の表現の珍しさ（レア度）を事前に計算し、 そのレア度に応じて学習データの重み付けを行っ た。レア度で重み付けを行うことで、モデルは珍し い表現が使われた広告文を重視して学習するため、生成時に多様性が向上することが期待できる。レア 度の計算には Perplexity を用いた。また、モデルの 評価には Pairwise-BLEU[5], local-distinct ${ }_{n}(\mathrm{n}=1,2)[1]$, recall-BLEU[6] を用いた。

## 2 提案手法

本研究では、事前にて学習データの各広告文のレ ア度を Perplexityによって計算し、モデル学習時に その値に応じた重み付けを行うことで、様々な表現 が出やすい広告文生成モデルを作成した。

## 2.1 Perplexity

Perplexity は言語モデルの複雑さを示す指標であ り、以下の式で計算される。

$
\text { Perplexity }=\prod^{N} P(c)^{-\frac{1}{N}}
$

ただし $P(c)$ はトークン $\mathrm{c}$ の発生確率である。これ はモデル分布が正解トークンを選択する難しさを 示しており、Perplexity が小さいモデルは、より正解トークンを選ぶ確率が高い、すなわちより流暢な モデルであると考えられている。ただし広告文生成 タスクにおいては、一つの入力に対して、複数の出
力が正解となることが一般的である。このような場合、Perplexity は「レア度」と解釈することができ る。すなわち、ある広告文の Perplexity を計算した 際、その值が小さい場合は、対象の広告文にはよく 見る表現が多く含まれていることを示している。逆 に Perplexity が大きい場合、その広告文には珍しい 表現が多く使われていると考えることができる。本研究では、事前に準備した非常に軽量な学習済み言語モデルを用いて、データセットの個々の広告文に 対して Perlexityを計算した。

## 2.2 Perplexity による重み付け学習

データセット全体の広告文を $\mathrm{T}_{m}=\left.\{T_{1}, T_{2}, \ldots, T_{m}\right.\}$ とする。各広告文がトークンの長さ $=N_{i}$ の トークン $T_{i}=\left(t_{i 1}, t_{i 2}, \ldots, t_{i N}\right)$ で表される時、 $T_{i}$ の Perplexity= weight $_{i}$ を用いて、以下の値を最大化す るようモデルのパラメータを学習させた。

$
\sum_{T_{i} \in T_{m}} \text { weight }_{i} * \sum_{1 \leq n \leq N}\left(\log p\left(t_{i n} \mid \text { input }, t_{i<n}\right)\right)
$

ただし $t_{i<n}:=\left(t_{i 1}, t_{i 2}, \ldots, t_{i(n-1)}\right)$ である。すなわちモ デルは、より Perplexity が高い広告文を重視するよ うに学習した。

## 3 実験

本実験では、Perplexity の重みづけによる多様性の 変化を観察するため、以下で指定されたモデルに対 し、Perplexityによる重みづけのあり (reference)、な し (baseline) の 2 パターンでモデルを学習し、それ ぞれの生成文の品質を比較した。

## 3.1 モデル

黒木ら [4] の手法を参考に、言語モデルとして T5[7]を採用した。また、モデルの入力は、キーワー ド、及び広告の遷移先 URL であるランディング ページ (LP) の HTML から取得したタグ情報を連結 した文字列を用いた。埋め込み層には、HTMLのタ グ情報による Tag Embeddings を追加した。つまり、本モデルは一つのキーワードと LP のペアから広告文（広告見出し、及び説明文）を生成するモデルと なる。

## 3.2 データセット

学習に用いるデータセットは独自にスクレイピン グすることで得られたデータを用いた。各データは 検索キーワード、キーワードによって表示された広表 1 評価結果 (広告見出し)

表 2 評価結果 (説明文)

告文、LP の HTML から構成されており、学習デー タ 741,506 件とテスト用データ 82,320 件に分割して 使用した。

## 3.3 評価方法

モデルの性能は自社で保有する、RSA の配信デー タ 200 件を用いて評価した。評価に用いたデータ の全体図を図 1 に示す。各配信データはRSAに 入稿されているアセット群、RSA に紐づくLP の HTML、及び RSA が紐づく広告グループに登録さ れたキーワード群からなる。ただし本モデルは 一つのキーワード、LPのペアから広告文を生成 するモデルである。そこで本実験では、キーワー ド群の中からコストの高いキーワードを最大 10 個まで抜き出し、それぞれのキーワードと LP の ペアで広告文を生成することで、LPごとに生成結果を取得した。また、定量評価は広告見出し、説明文ごとに行い、評価指標には Pairwise-BLEU, local-distinct $_{n}(\mathrm{n}=1,2)$, recall-BLEU を用いた。

図 1 広告グループ、アセット群、LP、キーワード群、生成結果の関係の概要図

## 3.3.1 Pairwise-BLEU

Pairise-BLEU は Shen ら [5] らによって提案された 多様性を測る指標であり、生成結果とアセット群間 の BLEUではなく、生成結果間の BLEUを計算した 値である。ある一つの生成結果に対し、それを除く 全ての生成結果を参照文と見做すことで BLEU を計
表 3 各モデルの生成例（広告見出し）

} & \multicolumn{2}{|c|}{ エステ 体験 瘦身 セルライト 瘦せる 体験 結果 コース } \\

算する。生成結果が多様なほど低い値を取る。

## 3.3.2 local-distinct-n

local-distinct-n は川本ら [1] によって提案された多様性を測る指標であり、生成結果全体の n-gramのう ち、ユニークな n-gram の割合を元に計算した値で ある。生成結果が多様なほど高い值を取る。また、 Pairwise-BLEU とは異なり、同じテキストの中にユ ニークな n-gram が多い場合も高い値を取る。本実験では $\mathrm{n}=1,2$ とした。

## 3.3.3 recall-BLEU

recall-BLEU は Hui ら [6] によって提案された妥当性を示す指標であり、実際に入稿されていたアセッ ト 1 つ 1 つに対して、生成結果を参照文と見做して BLEU を計算し、平均を取った値である。生成結果 の妥当性が高いほど高い值を取る。 recall-BLEU が 小さい值となった場合、元の RSA のアセットに含 まれていない文ばかりを生成している、すなわち妥当性の低いモデルであると判断することができる。

## 4 結果と考察

## 4.1 定量評価

定量評価の結果を表 1、表 2 に示す。多様性を 示す Pairwise-BLEU, local-distinct ${ }_{n}(\mathrm{n}=1,2)$ について は、説明文の local-distinct t $_{1}$ を除く全ての指標で reference が baselineを上回った。特に、広告見出し における Pairwise-BLEU では、 reference が baseline よ り約 $29 \%$ 高い結果が得られた。また、妥当性を示す recall-BLEUにおいても、広告見出し、説明文のいず れの場合も reference が baseline を上回った。つまり 提案手法は、多様性と妥当性を同時に上げられる手法だといえる。これは、重み付けにより、レア度が 高く、かつ流暢・妥当性があるトークンと、そもそ も文法的にありえないトークンの両者を区別できる
ようになったからだと考えられる。重み付けを行う ことで、前者のトークンのみ出力確率を引き上げる ことができたため、妥当性、多様性が同時に向上し たと思われる。

## 4.2 定性評価

定性評価のためのキーワードと広告見出しの生成例を表 3 に示す。LP はエステサロンの比較サイ トを用いた。いずれのモデルも、個々の広告文を見 ると広告らしい文が生成できていることが確認で きる。reference では”瘦身エステ”などの定番の表現 に加え、キーワードには含まれないものの、”フェ イシャル”、"美脚”などエステの定番部位を含んだ ものや、"気になるお腹の脂肪には?"といった問い かけ表現を生成することができた。一方 baseline で は”瘦身エステ”などの定番表現や、“セルライト”な どキーワードに含まれる表現を含んだ広告文は生成 できたものの、キーワードから連想できるが、キー ワード自身には含まれていないその他表現はあまり 生成することができなかった。つまり、もし制作現場で全てのキーワードが網羅できている場合、両モ デルに大きな差は出ないが、全てのキーワードを網羅することが難しい場合には、reference モデルを用 いた方が、より多様な表現を獲得できると言える。

## 5 まとめ

本研究では、広告文生成タスクについて、データ セットに Perplexity による重みづけを行う手法を提案した。実験の結果、提案手法は既存手法以上の妥当性を持ちながら、多様性を約 $29 \%$ 上げることがで きた。本手法は loss の計算時に weight で重み付けす るだけで実現できるため、既存の様々な手法に組み 込むことが可能である。一方、本モデルは多様な表現の広告文を生成出来るものの、その広告文を実際 に配信した時に高い広告効果が得られるかどうかは 考慮していない。そこで今後は、多様性を維持しな

がら、より広告効果が高い広告文を生成する手法に

ついて研究したい。

## 参考文献

[1] 川本峻頌, 張培楠. スタイル制御を考慮した多様な広告文生成. 言語処理学会第 25 回年次大会, 2019.

[2] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, u. Kaiser, and I. Polosukhin. Attention is all you need. Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 6000-6010, 2017.

[3] 脇本宏平, 川本峻頌, 張培楠. インターネット広告にお けるキーワードに基づく広告文の自動生成. 2020 年度人工 知能学会全国大会, 2020 .

[4] 黒木開, 石塚湖太, 川上孝介, 中田和秀. 複数の指定語句を必ず含むリスティング広告の広告文自動生成. 言語処理学会第 28 回年次大会, 2022.

[5] T. Shen, M. Ott, M. Auli, and M. Ranzato. Mixture models for diverse machine translation: Tricks of the trade. Proceedings of the 36th International Conference on Machine Learning, pp. 97:5719-5728, 2019.

[6] C. Hui, H. Zhao, Y. Song, and B. Lu. An empirical study on development set selection strategy for machine translation learning. Proceedings of the Joint Fifth Workshop on Statistical Machine Translation and MetricsMATR, $p$. 67-71, 2010.

[7] C. Raffel, N. Shazeer, A. Roberts, K. Lee, S. Narang, M. Matena, Zhou Y., W. Li, and J. Liu. P. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, p. 21(140):1-67., 2020.
 ${ }^{1}$ negocia 株式会社 \{kai_kurogi, kota_ishizuka, kosuke_kawakami\}@negocia.jp  