# 複数の指定語句を必ず含むリスティング広告の 広告文自動生成

黒木 開 1 石塚湖太 ${ }^{1,2}$ 川上 孝介 1 中田 和秀 2
${ }^{1}$ negocia 株式会社 2 東京工業大学
kai_kurogi@negocia.jp

## 概要

Google などの検索結果に表示されるリスティン グ広告の制作現場では、ブランド名や検索キーワー ドなどの効果が高かった指定語句を広告文に含め ることで、広告効果を高めたいニーズがある。しか し、従来の広告文自動生成モデルでは、指定語句を 必ず含む保証ができない課題や、複数の指定語句に 対応できない課題があった。我々は機械翻訳タスク で提案された指定語句を含む翻訳文生成技術を応用 して、複数の指定語句を必ず含む広告文自動生成技術、及び、実運用に向けた高速化手法を提案した。結果として、実用時間内に複数の指定語句を含む広告文が生成可能となった。

## 1 はじめに

リスティング広告とは、ユーザーが検索エンジン で検索すると、その検索キーワードに関連した広告文が表示される広告である。リスティング広告の広告文は、商品の特徴やアピールポイントなどの訴求点を含み、かつ、検索キーワードと連動した顧客に クリックされやすい魅力的な広告文であることが求 められる。そのため、制作現場では広告文を魅力的 に作り込む必要があるが、広告文は多様なキーワー ドに合わせて大量に作成する必要があり、制作現場 の限られた人材で、それを行うことは非常に難し い。さらに、リスティング広告の広告取引量は急速 なスピードで増加していることもあり、広告文の作成を支援する技術が求められている。

この課題解決に向け、自然言語処理技術を活用し た広告文自動生成技術が数多く提案されている。大曽根ら [大曽根 21] は広告文から抽出したキーワー ドとカテゴリ情報を入力として、GPT-2を用いた生成技術を提案している。Ishizuka ら [Ishizuka 21] は ランディングページ (LP) から抽出した HTML のタ
グ情報と検索キーワードを入力に、BERT2BERTを 用いた広告文生成モデルにより、人と同等品質な広告文が生成されることを示している。

ところで、これら広告文自動生成タスクには、ブ ランド名や検索キーワードなどの効果が高かった指定語句を広告文に含めることで、広告効果を高めた いニーズがある。黒木ら [黒木 21] は、Decode 時に 指定されたキーワードの挿入確率を上げることで、 キーワードが含まれた広告文を生成する手法を提案 している。山田らは [Yamada 21]、キーワードを中心に双方向に文章を生成することで、 $100 \%$ 指定語句を含む文章生成手法を提案している。

しかし、前者は指定語句が必ず含まれる保証がな く、後者は指定語句を複数含めることができない 問題があった。そこで、本研究では、広告文自動生成タスクにおいて、指定語句が複数指定されてい た場合であっても、全ての指定語句を必ず含む広告文を生成する手法である Phrase-based Grid Beam Search(Phrase-based GBS) を提案する。

加えて、指定語句の評価を先頭トークンのみに 限定することで、Phrase-based GBS における探索時 の評価速度に改善を加えた Phrase-based Approximate Grid Beam Search(Phrase-based AGBS) も併せて提案 する。Phrase-based AGBS を用いることで、生成品質 をほとんど落とすことなく、生成速度を向上させる ことに成功した。

なお、本研究は Chousa ら [Chousa 21] が提案した 翻訳文生成に対する指定語句を含ませる手法を参考としている。Chousa ら [Chousa 21] は Grid Beam Search(GBS) に LeCA モデル [Chen 20] と呼ばれる手法を組み合わせることで、翻訳精度を落とすことな く指定語句を必ず含む翻訳文生成手法を提案してい る。我々は、Chousa ら [Chousa 21] が提案したアル ゴリズムを広告文生成タスクへ適用し、かつ、実運用に向けた高速化手法を開発した。

図 1 本モデルの埋め込み層の図。指定語句、キーワード、LPのタグ情報の順に文字列を連結した上で、それぞれに対応するタグを割り当てている。Encoderへの入力は 2 つの埋め込みの和である。

## 2 提案手法

## 2.1 モデル構造と入力形式

本研究における広告文自動生成モデルは、様々な 自然言語処理タスクを"Text to Text"で解くモデルで ある T5[Raffel 20] をべースとして用いた。また、よ り高品質な広告文を生成するために、Ishizuka らの 手法 [Ishizuka 21] と LeCA モデルを組み合わた入力方式を採用する。自動生成モデルの概要を図 1 に 示す。埋め込み層に HTML のタグ情報による Tag Embeddings を追加した他、入力は指定語句、キー ワード、および LP の HTML からタグ抽出しして得 られたタグ情報を連結した文字列を用いる。

入力文字列先頭の指定語句は LeCA モデルによる ものである。LeCA モデルは入力に指定語句を含め ることで、モデルが指定語句を考慮しながら生成を 行えるようにする手法であるが、広告文生成の学習時には指定語句の情報がない。そこで本論文では、広告文からランダムに抽出した複数の単語を指定語句として学習時の入力に使用した。これにより、モ デルは指定語句を考慮しながら生成する方法を学ぶ ため、推論時に実際に広告文内に含めたいフレーズ を指定語句としたときに、指定語句を含んだ自然な 広告文を生成することが可能となる。

## 2.2 生成手法

リスティング広告の制作現場では、指定語句を広告文に含めたいニーズの他に、サービス名やテンプ レート文など、任意のフレーズを一言一句間違えず に生成したいニーズがある。そこで特定の表現をフ レーズ単位で扱いながら、複数の指定語句を必ず含 む広告文を生成するために、Phrase-based Decoding と Grid Beam Search(GBS) を組み合わせた Phrase-based GBS を提案する。また、Phrase-based GBS の評価回数を減らすことで高速化させた Phrase-based AGBS を併せて提案する。

## 2.2.1 Phrase-based Decoding

任意の表現をフレーズ単位で扱うために、Zhang ら [Zhang 17] が提案した Phrase-based Decoding を採用する。Phrase-based Decoding は、生成時に各トー クンを生成するのではなく、事前に登録された、複数トークンからなるフレーズ単位で文章を生成する 手法である。フレーズ単位で生成することで、事前 に登録したブランド名やテンプレート文などのフ レーズをそのまま出力することが可能となる。

## 2.2.2 Phrase-based Grid Beam Search

Phrase-based GBS は、Phrase-based Decoding と GBS を組み合わせた手法である。その疑似コードはアル ゴリズム 1 の通りである。GBS は、Start(指定語句 の最初のトークンを生成する)、Continue(生成中の 指定語句の次のトークンを生成する)、Generate(制約なく次のトークンを生成する）の3つの状態 を考慮しながら文章生成を行う。それに対して Phrase-based GBS では、Start と Continue を一体化 させることで、指定語句を生成する際にフレーズ単位で生成する。このとき、 $k$ をビームの幅、 $C$ を指定語句の数とすると、タイムステップあたりの計算量オーダーは $O\left(k C^{2}\right)$ となる。

## 2.2.3 Phrase-based Approximate Grid Beam Search

前述の Phrase-based GBS を用いることで、複数の 指定語句を必ず含む広告文を生成できるようになっ たが、Phrase-based GBS は、各タイムステップごと に全ての指定語句の生成確率を評価しているため、指定語句の数の二乗に比例して計算時間が増える。 そこで，指定語句の生成時に、各指定語句の 2 トー クン目以降の生成確率を計算せず、その評価を先頭 トークンの生成確率のみで行うことにより評価回数を減らす Phrase-based AGBS 法を提案する。本手法により、全ての指定語句の評価を 1 回で行えるた め、計算量オーダーを $O(k C)$ まで減らすことができ る。
表 1 実験結果の表

## 3 実験

## 3.1 実験設定

本実験では、Phrase-based GBS と Phrase-based AGBS のそれぞれで実際に広告文を生成し、広告文の生成品質および、生成速度を比較する。具体的なデータ セットは検索キーワードと LP と広告文の関係を学習するために、独自にスクレイピングすることで得 られたデータを用いた。各データは検索キーワー ド、リスティング広告で表示された広告文、LP の HTML から構成されており、学習データ 741,506 件 とテスト用データ 82,320 件に分割して使用した。

## 3.2 評価方法

生成品質は文章の流暢性や類似度を評価す る手法である BLEU[Papineni 02] と ROUGE[Lin 04]
で評価する。ROUGE は 1-gram(ROUGE-1) および 2-gram(ROUGE-2) の 2 通りで評価した。ただし今回用いたテストデータはスクレイピングによって得 られたデータで指定語句の情報がない。そこで本実験では、広告文からランダムに抜き出した複数のフ レーズを指定語句に指定して広告文を生成した。指定語句の数は $C=2$ or 5 とし、生成時のビーム幅は $k=8$ とした。

## 4 結果と考察

## 4.1 結果

自動評価の結果を表 1 に，指定語句数ごとの生成速度の比較を図 2 に示す。同じ指定語句数で比較し た場合、BLUE、ROUGE-1, ROUGE-2 の全ての生成品質指標で、Phrase-based GBS が優位であった。逆 に、生成速度は Phrase-based AGBS が常に速かった。 また、表 2、表 3 に実際の生成例を示す。表 2 は Phrase-based GBS による生成文、表 3 は Phrase-based AGBS による生成文である。それぞれの生成文はリ スティング広告のフォーマットに則り「タイトル 1 - タイトル 2 - 説明文 $1 」$ の 3 要素から構成されて いる。

図 2 指定語句数と生成時間のグラフ。指定語句が増えれ ば増えるほど、2つのアルゴリズムの生成速度差は開く。

## 4.2 考察

表 1 の結果から、Phrase-based AGBS は生成品質を 3\% 5\%下げる代わりに、生成速度を $24 \% \sim 43 \%$ 上げ

 & - &  \\

るアルゴリズムであると言える。品質をほとんど劣化させないまま生成速度を上げることができるた め、その実用性は高い。また、図 2 からも分かるよ うに、指定語句の数が多いほど Phrase-based AGBS の有効性は高くなると言える。

次に、実際の生成例に注目する。表 2、表 3 はい ずれも Commerce Flow と呼ばれる Amazon の広告運用ツールの LP に対して生成された広告文である。表 2 の phrased-based GBS を用いた場合には、いずれ の場合にも自然な広告文が生成された。指定語句が 複数設定された場合や、複合語が設定された場合に も適切に生成できていることが確認できる。

次に表 3 の Phrase-Based AGBS を用いた場合を確認する。こちらも全体的に自然な広告文を生成でき ることが確認できた。しかし指定語句に複合語、つ まり「最適な広告運用」を指定した場合には、「広告運用」というフレーズが多様され、生成品質の明ら かな低下が確認された。

この原因は Phrase-based AGBS の近似の仕様に よるものだと推測できる。Phrase-based AGBS は指定語句を先頭トークンで近似するため、「最適な 広告運用」は「最適」に近似される。つまり後半 の「広告運用」部分が見落とされることになるた め、同フレーズの多用に繋がったと考えられる。 Phrase-based AGBS を利用する場合には指定語句に 複合語を設定しないなど、やや工夫が必要であると 言える。

## 5 まとめ

本研究では、複数の指定語句を必ず生成文内に含 める Phrase-based GBS を提案した。加えて、Phrasebased GBS を高速化する手法である Phrase-based AGBS 提案した。実験の結果、Phrase-based GBS を 用いることで指定語句が全て含まれた高品質な広告文を生成出来た他、Phrase-based AGBS によって生成品質をほとんど落とすことなく高速化出来たこと が確認できた。今後は、生成品質を維持しながら、 より多様に、より高速に広告文を生成するような手法を考えていきたい。

## 参考文献

[大曽根 21] 大曽根宏幸, 張培楠. GPT-2 の転移学習によ るキーワードを考慮した広告文生成, 2021 年度人工知能学会全国大会（第 35 回）, 2021 .

[Ishizuka 21] Ishizuka, K., Kurogi, K., Kawakami, K., Iwai, D., Nakata, K. Generating Search Text Ads from Keywords and Landing Pages via BERT2BERT, 2021 年度人工知能学会全国大会（第 35 回）, 2021.

[Zhang 17] Zhang, J., Utiyama, M., Sumita, E., Neubig, G., Nakamura, S. Improving Neural Machine Translation through Phrase-based Forced Decoding, In Proceedings of the 8th International Joint Conference on Natural Language Processing (IJCNLP 2017), pages 11-20, November 28-30, 2017

[黒木 21] 黒木 開, 岩井大志, 川上孝介, 石塚湖太, 中田和秀.キーワードを考慮した BERT2BERTによる広告文生成, 2021 年度人工知能学会全国大会（第 35 回）, 2021.

[Yamada 21] 山田康輔, 人見雄太, 田森秀明, 岡崎 直観,

## 乾 健太郎: 指定語句を確実に含む見出し生成, 言語

処理学会第 27 回年次大会, 2021.

[Hokamp 17] Hokamp, C., Liu, Q. Lexically constrained decoding for sequence generation using grid beam search. ,In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1535-1546,Vancouver, Canada. Association for Computational Linguistics., 2017.

[Chen 20] Chen, G., Chen, Y., Wang Y., Victor O.K.Li. Lexicalconstraint-aware neural machine translation via data augmentation. In Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, International Joint Conferences on Artificial Intelligence Organization. Main track.(IJCAI-20), pages 3587-3593, 2020.

[Chousa 21] Chousa, K., Morishita, M. Input Augmentation Improves Constrained Beam Search for Neural Machine Translation: NTT at WAT 2021, The 8th Workshop on Asian Translation(WAT), 2021.

[Raffel 20] Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou Y., Li, W., J. Liu. P. Exploring the limits of transfer learning with a unified texttotext transformer. Journal of Machine Learning Research, 21(140):1-67., 2020.

[Papineni 02] Papineni, K., Roukos, S., Ward, T., and Zhu, W.J. BLEU: a method for auto- matic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pages 311-318., 2002.

[Lin 04] Lin, C.-Y. Rouge: A package for auto- matic evaluation of summaries. In Text summarization branches out, pages 74-81., 2004.
 黒木 開 1 石塚湖太 ${ }^{1,2}$ 川上 孝介 1 中田 和秀 2 ${ }^{1}$ negocia 株式会社 2 東京工業大学 kai_kurogi@negocia.jp  