# テキスト生成モデルを利用した 対話型広告におけるシナリオ設計に有用なキーフレーズの抽出

戸田隆道 友松祐太杉山雅和 邊土名朝飛東佑樹 下山翔
株式会社 AI Shift
\{toda_takamichi,tomomatsu_yuta,sugiyama_masakazu\}@cyberagent.co.jp
\{hentona_asahi, azuma_yuki, sho_shimoyama_xb\}@cyberagent.co.jp

## 概要

近年インターネット広告事業において対話型広告が注目を集めている。ユーザーの反応に合わせた柔軟な広告展開が期待されており，バナー広告や SNS などで導入が増えてきている。対話型広告は広告から商品ページに遷移するまでの対話ストーリーを設計する作業が必要になる．ここで設計者が広告する商品の知識を持っていない場合，企業のホームぺー ジやその商品を紹介しているブログなどを参照して，対話ストーリーを考えなければならない。この作業は非常にコストがかかる. 本稿ではテキスト生成モデルを利用して，対話型広告の対話ストーリー 設計の補助となるキーフレーズを抽出する手法を提案し，単純に関連文章からキーフレーズを抽出した場合と比較する。

## 1 背景

現在のインターネット広告事業において主流となっている行動データに基づくターゲティング配信に変わる新たな配信方法として，近年対話型広告が注目を集めている。従来の広告形式には無かった双方向の対話によって，ユーザーの反応に合わせた柔軟な広告展開を期待されており，バナー広告や SNS，メッセンジャーアプリなど，さまざまな媒体で導入されている.

## 1.1 Instagram における広告展開

Instagram は Meta Platforms, Inc. が所有する SNS サービスである。近年，Instagram はユーザー同士の交流に加え, 商品の検索や購入の意思決定に利用されるケースが増えてきており，調査 ${ }^{1}$ によると利用者の 8 割以上がこういった購買行動に利用し

1) https://netshop.impress.co.jp/node/6716

図 1 投稿から対話型広告への誘導

ていることがわかっている.こういった背景から Instagram はショッピング機能を強化しており，現在は写真や動画の投稿から商品ページへの誘導が可能になっている.

## 1.2 対話型広告

Instagram のショッピング機能の 1 つとして対話型広告がある. 対話型広告はダイレクトレスポンス広告とも呼ばれ，配信された広告にスワイプ操作などで反応するとダイレクトメッセージ画面に遷移し，オペレータやボットとの対話を通して商品ぺー ジに誘導することができる機能になっている．従来のインターネット広告では反応すると直接商品ぺー ジに遷移していたが，対話型広告ではユーザーの反応に合わせた商品の絞り込みや商品を購入するモチベーションを上げるための診断対話，加えて対話履歴からリターゲティングを行うことができるという利点がある。

## 1.3 対話型広告の課題

従来のインターネット広告に比べて柔軟な広告展開が可能な対話型広告だが，商品ぺージに遷移するまでの対話ストーリー設計，つまり商品に関する対話を想定し，ユーザーの選択肢やボット側の受け答えの文章を作るという従来のインターネット広告と

は異なる運用作業が必要になる. 設計者が広告する商品やその関連商品を利用している場合はユーザー と同じ目線に立って対話ストーリーを設計することができるが，設計者が広告する商品の知識を持っていない場合，企業のホームページやその商品を紹介しているブログなどを参照して，対話ストーリーを考えなければならない. 例えばファンデーションの対話型広告を設計する場合，「乾燥肌」や「ニキビ肌」など肌質にあった商品をレコメンドするようなストーリーが考えられる。これはファンデーションを日常的に使っている人であれば容易に思いつくストーリーの切り口だが，そうでない人にとってはストーリーの切り口を検討するための事前調査が必要で，場合によっては調査のための検索ワードもわからないケースも想定される.

本研究では対話型広告における対話ストーリーの設計の自動化を目的とし, 本稿では対話ストーリー 設計の補助として，広告する商品に関するキーフレーズの抽出を行う手法を提案する.

## 2 関連研究

オープンドメインな対話を生成する研究として Xiaoyu[1] や Pierre[2], Kun[3] などの研究が挙げられる.これらは雑談のような終わりのない対話を人間らしく自然に行うことを目的としているため, 最終的に特定の商品に誘導したい対話型広告とは目的が異なる。また, 話題を抽出する手法として福永らの研究 [4] が挙げられるが，こちらは対話のクラスタリングによって対話から話題となる発話を抽出するので，特定のワードからそれに関わる話題を抽出したい我々のモチベーションとは異なる.

## 3 提案手法

広告する商品に関する知識がない設計者が対話型広告の対話ストーリーを設計する際の補助となるように，広告する商品に関するキーフレーズの抽出を行う手法を提案する. 運用者はこのキーフレーズを元に対話ストーリーの設計や調査を行う. 手法は関連文章生成と生成文書からのキーフレーズ抽出の 2 段階で構成されている. また手法では広告する商品のジャンルのことをターゲットワードと呼ぶ.

## 3.1 関連文章生成

テキスト生成モデルとして GPT-2[5]を用いて， ターゲットワードで始まる文章を複数生成する。

図 2 提案手法の流れ

Wikipedia のようなテキスト生成モデルの学習リソース自体からキーフレーズを抽出するより多様なキーフレーズが抽出できると考えている. また, 生成時にモデルに与えるワードは「ターゲットワード＋ (格/副/係) 助詞」とする。例えばターゲットワードが「ファンデーション」の場合，「ファンデーションが」「ファンデーションを」のようになる. ターゲットワードのみの場合, ターゲットワー ドを含む複合名詞が生成されることがある. ター ゲットワードに助詞を追加することで，ターゲットワードが主語や目的語になる，つまりターゲットワードがトピックとなる文章が生成されることを期待している.

GPT-2 モデルは rinna 株式会社 ${ }^{2)}$ が公開している事前学習済みモデル3)を利用した。

## 3.2 キーフレーズ抽出

GPT-2 で生成された文章から名詞句を抽出し, 出現頻度が多いものをキーフレーズとする. 文は複数生成される可能性があるが, ターゲットワードで始まる最初の文章に対してのみ抽出を行う。不明トー クンの<unk>やターゲットワード自身を含む名詞句は除外する。

抽出されたキーフレーズは，そのキーフレーズが含まれる生成文と一緒に設計者に提示され, 設計者はキーフレーズや生成文を参考に対話型広告の対話ストーリーを作成する.


## 4 実験

複数のターゲットワードに対して提案手法を適用し，抽出されたキーフレーズを確認する. 生成モデルを利用する優位性を比較するために，抽出元としてターゲットワードの Wikipedia のページ，及びターゲットワードを含む Twitter 投稿を比較する. Twitter 投稿は我々が Twitter $\mathrm{API}^{4)}$ を使って 2021 年の 12 月 23 日に，ターゲットワードごとに 10,000 件ずつ收集したものである.

現在我々が対応している美容業界での広告で使われるファンデーション，アイシャドウ，マニキュアの 3 単語をターゲットワードとする.

それぞれの抽出元から抽出された各ターゲットワードに対するキーフレーズを表 1 , 表 2 , 表 3 に示す.キーフレーズは頻度が多いものから上位 20 件に絞っている。また，購買に関わると思われるキー フレーズを太字で示す.

表 1 ファンデーションの抽出キーフレーズ

## 4.1 考察

Wikipedia では「酸化チタン」や「古代エジプト」 のように，その商品の組成や起源などの購買と関係の無い単語が多く生成されている. 提案手法の GPT-2 はバランス良く多様なキーフレーズが取得できている事がわかる．たとえばファンデーションであれば 1.3 節で例示した肌質，アイシャドウではアイラインの書き方，そしてマニキュアではストーン

4) https://developer.twitter.com/ja/docs表 2 アイシャドウの抽出キーフレーズ

表 3 マニキュアの抽出キーフレーズ

 \\

を使ったアレンジなどのストーリーの切り口が考えられる. Twitter は「Aluce luce」や「DIOR」のようなブランドに関する単語が混ざってしまっているものの比較的良いキーフレーズが抽出できているように見える.ファンデーションにおいては「毛穴」 や「コンシーラー」といった GPT-2 から抽出されたキーフレーズに含まれていないものも抽出できているので，組み合わせることでより多様なキーフレー ズ抽出ができることが期待できる.

手法に限らず，すべての抽出元で「もの」「こと」 のような形式名詞や「何」「時」のような，多くの文章で頻繁に使われるワードが抽出されてしまっている. 今回の抽出では後処理は加えていないが，ター ゲットワードに特別関わらないワードは除外するなどの処理を加えることで，よりよい抽出ができると

## 考えられる。

## 5 まとめと今後の展望

本稿ではテキスト生成モデルを利用して，対話型広告の設計の補助となるキーフレーズを抽出する手法を提案し，テキスト生成モデルを利用せず，単純に関連文章から抽出した場合と抽出されるキーフレーズの違いを比較した。

今後は提案手法が実際の運用の現場で使用されることで，どの程度作業が効率化されるかを評価していきたいと考えている. また手法の改善として以下 3 点を挙げる.

1. 名詞句だけでなく，動詞を含む動詞句を抽出したケースについても確認する。

2. キーフレーズの重要度として，TF-IDF のような頻度のみでなく普遍性を考慮した手法を利用する。

3. 係り受け解析などを利用して，キーフレーズがどのように使われているかの抽出.

運用で使用した場合，実際に本手法で抽出されたキーフレーズをもとに作ったストーリーがどれほどの効果があったかを A/B テストなどで測ることも考えている．実際の広告とどちらが効果があるか，といった部分も評価したい.

## 参考文献

[1] Xiaoyu Shen, Hui Su, Yanran Li, Wenjie Li, Shuzi Niu, Yang Zhao, and Akiko Aizawaand Guoping Long. A conditional variational framework for dialog generation, 2017. https: //arxiv.org/abs/1705.00316.

[2] Pierre Colombo, Wojciech Witon, Ashutosh Modi, James Kennedy, and Mubbasir Kapadia. Affect-driven dialog generation, 2019. https://arxiv.org/abs/1904.02793.

[3] Zhou Yu Kun Qian. Domain adaptive dialog generation via meta learning, 2019. https://arxiv.org/abs/1906. 03520.

[4] 福永隼也, 西川仁, 徳永健伸, 横野光, 高橋哲朗. 対話における話題の抽出を目的とした発話クラスタリング.言語処理学会第 23 回年次大会発表論文集, 2017.

[5] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners, 2019. https://paperswithcode.com/paper/ language-models-are-unsupervised-multitask.