# テキスト生成モデルを利用した 対話型広告におけるシナリオ設計に有用なキーフレーズの抽出

戸田隆道 友松祐太杉山雅和 邊土名朝飛東佑樹 下山翔
株式会社 AI Shift
\{toda_takamichi,tomomatsu_yuta,sugiyama_masakazu\}@cyberagent.co.jp
\{hentona_asahi, azuma_yuki, sho_shimoyama_xb\}@cyberagent.co.jp

## 概要

近年インターネット広告事業において対話型広告 が注目を集めている。ユーザーの反応に合わせた柔軟な広告展開が期待されており，バナー広告や SNS などで導入が増えてきている。対話型広告は広告か ら商品ページに遷移するまでの対話ストーリーを設計する作業が必要になる．ここで設計者が広告する 商品の知識を持っていない場合，企業のホームぺー ジやその商品を紹介しているブログなどを参照し て，対話ストーリーを考えなければならない。この 作業は非常にコストがかかる. 本稿ではテキスト生成モデルを利用して，対話型広告の対話ストーリー 設計の補助となるキーフレーズを抽出する手法を提案し，単純に関連文章からキーフレーズを抽出した 場合と比較する。

## 1 背景

現在のインターネット広告事業において主流と なっている行動データに基づくターゲティング配信に変わる新たな配信方法として，近年対話型広告 が注目を集めている。従来の広告形式には無かった 双方向の対話によって，ユーザーの反応に合わせた 柔軟な広告展開を期待されており，バナー広告や SNS，メッセンジャーアプリなど，さまざまな媒体 で導入されている.

## 1.1 Instagram における広告展開

Instagram は Meta Platforms, Inc. が所有する SNS サービスである。近年，Instagram はユーザー同士 の交流に加え, 商品の検索や購入の意思決定に利用されるケースが増えてきており，調査 ${ }^{1}$ によると 利用者の 8 割以上がこういった購買行動に利用し

1) https://netshop.impress.co.jp/node/6716

図 1 投稿から対話型広告への誘導

ていることがわかっている.こういった背景から Instagram はショッピング機能を強化しており，現在 は写真や動画の投稿から商品ページへの誘導が可能 になっている.

## 1.2 対話型広告

Instagram のショッピング機能の 1 つとして対話型広告がある. 対話型広告はダイレクトレスポンス 広告とも呼ばれ，配信された広告にスワイプ操作な どで反応するとダイレクトメッセージ画面に遷移 し，オペレータやボットとの対話を通して商品ぺー ジに誘導することができる機能になっている．従来 のインターネット広告では反応すると直接商品ぺー ジに遷移していたが，対話型広告ではユーザーの反応に合わせた商品の絞り込みや商品を購入するモチ ベーションを上げるための診断対話，加えて対話履歴からリターゲティングを行うことができるという 利点がある。

## 1.3 対話型広告の課題

従来のインターネット広告に比べて柔軟な広告展開が可能な対話型広告だが，商品ぺージに遷移する までの対話ストーリー設計，つまり商品に関する対話を想定し，ユーザーの選択肢やボット側の受け答 えの文章を作るという従来のインターネット広告と

は異なる運用作業が必要になる. 設計者が広告する 商品やその関連商品を利用している場合はユーザー と同じ目線に立って対話ストーリーを設計すること ができるが，設計者が広告する商品の知識を持って いない場合，企業のホームページやその商品を紹介 しているブログなどを参照して，対話ストーリーを 考えなければならない. 例えばファンデーションの 対話型広告を設計する場合，「乾燥肌」や「ニキビ 肌」など肌質にあった商品をレコメンドするような ストーリーが考えられる。これはファンデーション を日常的に使っている人であれば容易に思いつくス トーリーの切り口だが，そうでない人にとってはス トーリーの切り口を検討するための事前調査が必要 で，場合によっては調査のための検索ワードもわか らないケースも想定される.

本研究では対話型広告における対話ストーリーの 設計の自動化を目的とし, 本稿では対話ストーリー 設計の補助として，広告する商品に関するキーフ レーズの抽出を行う手法を提案する.

## 2 関連研究

オープンドメインな対話を生成する研究として Xiaoyu[1] や Pierre[2], Kun[3] などの研究が挙げられ る.これらは雑談のような終わりのない対話を人間 らしく自然に行うことを目的としているため, 最終的に特定の商品に誘導したい対話型広告とは目的が 異なる。また, 話題を抽出する手法として福永らの 研究 [4] が挙げられるが，こちらは対話のクラスタ リングによって対話から話題となる発話を抽出する ので，特定のワードからそれに関わる話題を抽出し たい我々のモチベーションとは異なる.

## 3 提案手法

広告する商品に関する知識がない設計者が対話型広告の対話ストーリーを設計する際の補助となるよ うに，広告する商品に関するキーフレーズの抽出を 行う手法を提案する. 運用者はこのキーフレーズを 元に対話ストーリーの設計や調査を行う. 手法は関連文章生成と生成文書からのキーフレーズ抽出の 2 段階で構成されている. また手法では広告する商品 のジャンルのことをターゲットワードと呼ぶ.

## 3.1 関連文章生成

テキスト生成モデルとして GPT-2[5]を用いて， ターゲットワードで始まる文章を複数生成する。

図 2 提案手法の流れ

Wikipedia のようなテキスト生成モデルの学習リ ソース自体からキーフレーズを抽出するより多様なキーフレーズが抽出できると考えている. ま た, 生成時にモデルに与えるワードは「ターゲット ワード＋ (格/副/係) 助詞」とする。例えばターゲッ トワードが「ファンデーション」の場合，「ファン デーションが」「ファンデーションを」のようにな る. ターゲットワードのみの場合, ターゲットワー ドを含む複合名詞が生成されることがある. ター ゲットワードに助詞を追加することで，ターゲット ワードが主語や目的語になる，つまりターゲット ワードがトピックとなる文章が生成されることを期待している.

GPT-2 モデルは rinna 株式会社 ${ }^{2)}$ が公開している事前学習済みモデル3)を利用した。

## 3.2 キーフレーズ抽出

GPT-2 で生成された文章から名詞句を抽出し, 出現頻度が多いものをキーフレーズとする. 文は複数生成される可能性があるが, ターゲットワードで始 まる最初の文章に対してのみ抽出を行う。不明トー クンの<unk>やターゲットワード自身を含む名詞句 は除外する。

抽出されたキーフレーズは，そのキーフレーズが 含まれる生成文と一緒に設計者に提示され, 設計者 はキーフレーズや生成文を参考に対話型広告の対話 ストーリーを作成する.


## 4 実験

複数のターゲットワードに対して提案手法を適用し，抽出されたキーフレーズを確認する. 生成モ デルを利用する優位性を比較するために，抽出元 としてターゲットワードの Wikipedia のページ，及 びターゲットワードを含む Twitter 投稿を比較する. Twitter 投稿は我々が Twitter $\mathrm{API}^{4)}$ を使って 2021 年の 12 月 23 日に，ターゲットワードごとに 10,000 件ず つ收集したものである.

現在我々が対応している美容業界での広告で使 われるファンデーション，アイシャドウ，マニキュ アの 3 単語をターゲットワードとする.

それぞれの抽出元から抽出された各ターゲット ワードに対するキーフレーズを表 1 , 表 2 , 表 3 に示 す.キーフレーズは頻度が多いものから上位 20 件 に絞っている。また，購買に関わると思われるキー フレーズを太字で示す.

表 1 ファンデーションの抽出キーフレーズ

## 4.1 考察

Wikipedia では「酸化チタン」や「古代エジプト」 のように，その商品の組成や起源などの購買と関係の無い単語が多く生成されている. 提案手法の GPT-2 はバランス良く多様なキーフレーズが取得で きている事がわかる．たとえばファンデーションで あれば 1.3 節で例示した肌質，アイシャドウではア イラインの書き方，そしてマニキュアではストーン

4) https://developer.twitter.com/ja/docs表 2 アイシャドウの抽出キーフレーズ

表 3 マニキュアの抽出キーフレーズ

 \\

を使ったアレンジなどのストーリーの切り口が考え られる. Twitter は「Aluce luce」や「DIOR」のよう なブランドに関する単語が混ざってしまっているも のの比較的良いキーフレーズが抽出できているよ うに見える.ファンデーションにおいては「毛穴」 や「コンシーラー」といった GPT-2 から抽出された キーフレーズに含まれていないものも抽出できてい るので，組み合わせることでより多様なキーフレー ズ抽出ができることが期待できる.

手法に限らず，すべての抽出元で「もの」「こと」 のような形式名詞や「何」「時」のような，多くの文章で頻繁に使われるワードが抽出されてしまってい る. 今回の抽出では後処理は加えていないが，ター ゲットワードに特別関わらないワードは除外するな どの処理を加えることで，よりよい抽出ができると

## 考えられる。

## 5 まとめと今後の展望

本稿ではテキスト生成モデルを利用して，対話型広告の設計の補助となるキーフレーズを抽出する手法を提案し，テキスト生成モデルを利用せず，単純 に関連文章から抽出した場合と抽出されるキーフ レーズの違いを比較した。

今後は提案手法が実際の運用の現場で使用される ことで，どの程度作業が効率化されるかを評価して いきたいと考えている. また手法の改善として以下 3 点を挙げる.

1. 名詞句だけでなく，動詞を含む動詞句を抽出し たケースについても確認する。

2. キーフレーズの重要度として，TF-IDF のよう な頻度のみでなく普遍性を考慮した手法を利用 する。

3. 係り受け解析などを利用して，キーフレーズが どのように使われているかの抽出.

運用で使用した場合，実際に本手法で抽出された キーフレーズをもとに作ったストーリーがどれほど の効果があったかを A/B テストなどで測ることも考 えている．実際の広告とどちらが効果があるか，と いった部分も評価したい.

## 参考文献

[1] Xiaoyu Shen, Hui Su, Yanran Li, Wenjie Li, Shuzi Niu, Yang Zhao, and Akiko Aizawaand Guoping Long. A conditional variational framework for dialog generation, 2017. https: //arxiv.org/abs/1705.00316.

[2] Pierre Colombo, Wojciech Witon, Ashutosh Modi, James Kennedy, and Mubbasir Kapadia. Affect-driven dialog generation, 2019. https://arxiv.org/abs/1904.02793.

[3] Zhou Yu Kun Qian. Domain adaptive dialog generation via meta learning, 2019. https://arxiv.org/abs/1906. 03520.

[4] 福永隼也, 西川仁, 徳永健伸, 横野光, 高橋哲朗. 対話に おける話題の抽出を目的とした発話クラスタリング.言語処理学会 第 23 回年次大会 発表論文集, 2017.

[5] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners, 2019. https://paperswithcode.com/paper/ language-models-are-unsupervised-multitask.
 戸田隆道 友松祐太杉山雅和 邊土名朝飛東佑樹 下山翔 株式会社 AI Shift \{toda_takamichi,tomomatsu_yuta,sugiyama_masakazu\}@cyberagent.co.jp \{hentona_asahi, azuma_yuki, sho_shimoyama_xb\}@cyberagent.co.jp  