# 参照例を使わないキャッチコピーの自動評価

新保彰人 山田宽章徳永健伸
東京工業大学 情報理工学院
\{shimbo.a.aa@m, yamada@c, take@c $\}$.titech.ac.jp

## 概要

広告文の一種であるキャッチコピーの人手による オフライン評価は高コストである. キャッチコピー の自動生成研究の迅速化・効率化のためには自動評価器が必要となる. 自動評価器の構築のために必要 なデータセットが現存しないため, 日本語としては 初となる 23,641 件のキャッチコピーとその評価值 から成るデータセットを構築した. このデータセッ 卜を利用して BERT と対照学習を用いた参照例を 必要としない評価機を構築し，評価実験を行った結果，テストデータの評価値に対する相関係数が平均 で 0.28 を超えた. 対照学習を用いない学習との比較も行い，対照学習の有用性を確認した.

## 1 はじめに

近年，インターネット広告市場の拡大が著しい。総務省によると 2021 年には世界のデジタル広告の 市場規模は 39 兆 396 億円となり前年比で $32.7 \%$ 増 であった. 日本についてもインターネット広告の市場規模は 2 兆 7,052 億円となり，テレビ・新聞・雑誌・ラジオのマスコミ 4 媒体の合計を初めて上回っ た [1].このような背景からインターネット広告に おける広告文生成の需要は高まっていると考えら れる。

キャッチコピーは広告文の一種であり，人々の注目を引き商品の魅力を簡潔に伝えるための宣伝文句である。例えば株式会社日清食品の「すぐおいし い、すごくおいしい」1)や. 株式会社大塚製薬の「そ れは小さな栄養士。」2)などが挙げられる.

キャッチコピーはその他の広告文と比較して 評価が難しいことが知られている。村上ら [2] は 「キャッチコピーは見る人の印象に残ることを主な 目標として使用されるため. 検索連動型広告やディ スプレイ広告と異なり，広告効果の定量化が困難な

1) https://www.chickenramen.jp/about/

2) https://www.otsuka.co.jp/cmt/cm/性質を持つ.」という点を指摘している。広告文の評価方法はオンライン評価とオフライン 評価に大別され，オフライン評価はさらに人手評価 と自動評価に大別される。オンライン評価は実際に 広告を配信し。広告のクリック率や収益率を評価尺度として利用する。そのため，オンライン評価は広告文に対する評価を収集するのに時間がかかるデメ リットがある。一方でオフライン評価は広告文を配信せずに行う。人手評価は人間が広告文に対して付 けた評価を評価尺度として用いる。このため，オン ライン評価と同様に実施に時間がかかるデメリット がある。一方で自動評価は人手を介さずに評価を行 うため実施に時間がかからない利点がある．より質 の良い広告文生成器を開発するためには効率良く学習と評価のサイクルを回す必要があり，そのために 広告文の自動評価は不可欠である。

広告文生成の研究において，生成文の自動評価と しては BLEU，ROUGE，METEOR，CIDEr が用いら れることが多い [3]. しかし，これらの評価手法は 参照文を必要とし，その参照文をあたかも「正解」 の広告文として扱ってしまう問題がある．参照文を 必要としない自動評価手法として，事前学習済みの 汎用言語モデルのパープレキシティを評価尺度とし て用いるもの [4] があるが，汎用ドメインで学習さ れたモデルでは，文としての妥当性は評価できるが 広告文としての質を評価できないと考えられる。

広告文生成の研究に関わる課題として村上ら [2] は「共通データセットの拡充」を挙げている。実際， パブリックに利用可能なキャッチコピーコーパスは 我々が知る限りでは存在しない。本研究では，ウェ ブスクレイピングによってキャッチコピーコーパス を作成し，そのデータセットを用いて参照文を必要 としないキャッチコピー評価器を構築する。

## 2 関連研究

花野ら [5] は RoBERTa を用いた俳句の評価器を提案している．ただし，花野らの研究では俳句の質の
評価というよりは，俳句とみなせる文とみなせない 文の識別を行なっている.

丹羽ら [3] は宣伝会議が出版しているキャッチ コピー集 SKAT に収録されているキャッチコピー 91,682 件を分析し，キャッチコピーの平均文字数が 18.91 文字であることやキャッチコピーに使われる 文字種の割合を分析している.

黒木ら [6] は複数の指定語句を必ず含むリスティ ング広告文の生成手法を提案している. リスティン グ広告とは検索エンジンの検索結果画面に表示され る広告のことである. 黒木らの研究では生成文の評価は BLEU, ROUGE-1, ROUGE-2の 3 つで行なって いる. また, Chao らの研究 [4] では広告文生成器の 評価を Pairwise-BLEU とパープレキシティで行なっ ている.

## 3 データセット

## 3.1 コピラ

キャッチコピーのデータセットを作成するため にコピラ [7]を利用した. コピラは東京コピーライ ターズクラブ（TCC）が提供しているコピー検索 ツールである.コピラにはキャッチコピーだけで なく，テレビやラジオの CM のセリフ書き起こし なども収録されている。そのようなものを除外し， キャッチコピーとして適切なものだけを収集する ため，掲載媒体が「新聞・ポスター・雑誌・パンフ レット・その他」のいずれかに該当するものを収集対象とした。

コピラに収録されているコピーにはキャッチコ ピーの他に, 広告本文に相当するボディコピーを含 むとみなせるコピーも含まれ，平均文字数は 53.2 文字で最大文字数は 3,359 文字である。一方で，コピ ラの検索結果一覧に表示されるテキストの平均長は 21.8 文字であり丹羽らの分析による 18.91 文字と近 い. このため, 本研究ではコピラの検索結果一覧画面に表示されるテキストをキャッチコピーとみなし て収集した。

収集したキャッチコピーは 24,331 件である. 収集したキャッチコピーには改行文字やタブ文字が 含まれる場合があり，それらはすべて半角スペース に置換した. スクレイピングに利用したコードは GitHub リポジトリ3)で公開予定である. キャッチコピー評価器のためのデータセットに


は，キャッチコピー及びその評価が収録されている 必要がある.キャッチコピーの評価は広告の対象・表現・世情をはじめ様々な観点を総合的に判断する ものであるため，専門的知識を有する者がキャッチ コピーに対して評価を付与することが望ましいが，新規に評価を行うことは時間的・金銭的な面で困難 である. そこで，コピラ上で参照可能な受賞情報を 活用する.コピラで収集したキャッチコピーには， テキストそのものに加えて受賞情報が付与されてい る. 受賞情報の種類と件数は表 1 に示す.

本研究では受賞情報をキャッチコピーの質的尺度 の一種として捉え，各キャッチコピーに対するスコ アとして用いる. 受賞情報とスコアを表 2 のように 対応させ，順序を与える．スコアは高い方がキャッ チコピーの質が高いことを意味する。コピラに収録 されているキャッチコピーの多数を占める受賞な し作品を基準スコアの 0 と設定し, 各賞の受賞作品 にスコア 2 を割り当てた。なお，「ファイナリスト」 と「ノミネート」は TCC 賞の最終選考まで残ったも のの受賞はしなかった作品であることから, 受賞作品と受賞なし作品の中間であるスコア 1 を割り当て た.また，新人賞は以前に TCC 賞を受賞したこと がないコピーライターを対象として選考される賞で あることから，新人賞以外の各賞との区別のために スコア1を割り当てた。
表 2 に各スコア毎のキャッチコピー数を示す.表 1 と表 2 で件数が一致しないのは，表 2 では キャッチコピーの重複を除いてカウントしているた めである.

表 2 受賞情報とスコアの対応

 & 1 & 2,952 \\

## 4 実験設定

ベースラインモデルとしてランダム，パープレキ シティ，SVRを用いた実験，さらにBERTを用いた 回帰モデルと対照学習を利用したモデルでの実験 を行う。データセットは各スコアのキャッチコピー の件数が等量になるように 1,613 件に揃えて実験す る. データセットは学習データ 3,871 件, 検証デー タ 484 件，テストデータ 484 件に分割した.

## 5 実験

## 5.1 Random

ランダムに $0,1,2$ を出力するモデルをべースライ ンとして用意した.

## 5.2 Inverse Perplexity

2つ目のベースラインとして rinna 株式会社が公開している日本語 GPT2[8] のパープレキシティの逆数 $P P L_{i n v}(X)$ をキャッチコピーの評価として実験す る. パープレキシティの逆数は次の式で計算する。

$
P P L_{i n v}(X)=\exp \left(\frac{1}{t} \sum_{i}^{t} \log p\left(x_{i} \mid x_{0: i-1}\right)\right)
$

ただし， $X$ は入力文字列， $t$ は入力テキストのトー クン長, $x_{i}$ は $X$ の $i$ 番目のトークン, $p\left(x_{i} \mid x_{0: i-1}\right)$ は トークン列 $\left.\{x_{0}, x_{1}, \ldots x_{i-1}\right.\}$ の次に言語モデルがトー クン $x_{i}$ を出力する確率を表す. $P P L_{i n v}(X)$ の計算に 使用する言語モデルが十分に流暢であると仮定する と, $P P L_{i n v}(X)$ は大きいほど $X$ が流暢な文であるこ とを意味する。流暢性のみによってキャッチコピー の評価が実施可能であるかどうかを検証するため， $P P L_{i n v}(X)$ をキャッチコピーの評価のベースライン として採用した。

## 5.3 SVR

独自に定義したキャッチコピーの特徴量を入力と して SVR[9] で学習する. 抽出した特徴量は，「数字 を含む」，「3・5・7のいずれかを含む」，「疑問文であ る」，「オノマトぺを含む」，「断定表現である」，「体言止めである」，「ひらがなの割合」，「カタカナの割合」，「漢字の割合」，「文字数」の 10 種類である. そ れぞれの特徴量のデータタイプは表 4 に示す.

抽出する特徵量の選定については弓削の書籍 [10] を参考にし，キャッチコピーの質に強い影響を及ぼ すと思われるものを選んだ。「オノマトぺを含む」 の判定はウェブ上で公開されている擬音語・擬態語辞典 [11] に収録されているオノマトぺを含むかどう かに基づいた.

カーネルは線形カーネルとしパラメータは $C=0.1, \epsilon=0.01$ とした.

## 5.4 BERT Regression

BERT Regression では，キャッチコピーを入力と し BERT の CLS トークンに対応する最終層に線形層を付け加えて得られたスカラーをスコアの予測値 として学習する. 正解のスコアを $s$ とし，モデルの 出力を $p$ とする. 損失関数は

$
L_{M S E}=(p-s)^{2}
$

で計算する．BERTの事前学習済みモデルは東北大学が公開しているモデル [12]を利用し，学習率 は $1 e-03$ ，バッチサイズは 64 ，エポック数は 100 , tokenizer の max_length は 200 で実験を行なった. 各 エポックごとに検証データでモデルを評価して，そ の評価値が最も良かったエポックのモデルを使って 学習後にテストデータでの評価をした。

## 5.5 BERT Contrastive

BERT Contrastive では，2つのテキストを入力とし て対照学習を行う. モデル構造は BERT Regression と同じである. 入力テキストを $t_{1}, t_{2}$ とし，それぞれ に対するモデルの出力を $p_{1}, p_{2}$ とし，正解のスコア を $s_{1}, s_{2}$ とする. このとき $s_{1}>s_{2}$ となるように入力 データを作る．損失関数は

$
L_{M R}=\max \left(0, m-\left(p_{1}-p_{2}\right)\right)
$

で計算する。ただし $m$ はマージンを表すハイパーパ ラメータである。ここで，正解スコア $s_{1}, s_{2}$ を使わ ずに損失関数を計算していることに留意されたい。
本実験では $m=1$ とし, エポック数は 10 で行なっ た. その他のハイパーパラメータと利用した BERT の事前学習済みモデルは BERT Regression と同じで ある。

## 5.6 評価

モデルの評価はテストデータにおける，モデルの 予測スコアと正解スコアの積率相関係数で行う.

## 6 結果と考察

実験結果を表 3 に示す. Random, BERT Regression，BERT Contrastive は 5 回ずつ実験を行い，他は 1 回のみ実験を行った. 5 回行った実験には平均の 相関係数を示し，標準偏差も示す。

Inverse Perplexity は相関係数が -0.032 となった. これはキャッチコピーの評価として事前学習済み言語モデルのパープレキシティを用いることが不適で あることを示唆している.この理由として，キャッ チコピーとして成立している時点でそのテキスト にはある程度の流暢性があり, それ以上の流暢性は キャッチコピーの質に影響を及ぼさないためだと 考えられる. さらに, Inverse Perplexity より SVR の 方が良い結果を示したことから，流暢性よりも「文字数」や「オノマトペを含む」などの特徴の方が キャッチコピーの質に大きな影響を及ぼすと考えら れる.

BERT Regression はほとんど相関が無い結果とな り，ニューラルモデルを用いないSVR よりも相関係数が劣る結果となった. 一方，BERT Contrastive では平均相関係数が 0.28 を超え, 弱い相関があると みなせる水準に達した. BERT Contrastive の精度が BERT Regression よりも高かった要因として, BERT Contrastive は 2 つのテキスト間の相対的な評価を学習しているという点が挙げられる. 本研究で扱って いるキャッチコピーの評価というタスクにおいて は，メタ評価指標として積率相関係数を利用してい るため, 評価器がスコアラベルの値自体を再現する ことよりもスコアラベルの相対的な差を再現するこ
との方が本質的な意味を持つ. このため，スコアラ ベルの値をそのまま予測する BERT Regression より も，相対的な差を学習する BERT Contrastive の方が 高い精度を記録したと考えられる。

## 7 おわりに

本研究ではウェブスクレイピングによりキャッ チコピーコーパスを作成した. さらに評価器の学習 における対照学習の有用性を確認し, 参照文を必要 としないキャッチコピー評価器を提案した. 今後の キャッチコピー生成の研究において, 生成文や生成器の評価指標として広く利用されることを期待す る. 加えて本研究では事前学習済み言語モデルの パープレキシティをキャッチコピーの評価指標と して利用することが不適であることを指摘した. な お実験に使用したソースコードは GitHub リポジト リ4)で公開予定である.

今後の課題としては次の 3 つの方向が考えられ る. 1 つ目は広告対象の商品情報を考慮したキャッ チコピー評価器の開発である.キャッチコピーは文脈に依存したものが多く，人間がキャッチコピーの 質を評価する際にも商品情報と照らし合わせて評価 していると考えられる. 従って商品情報を考慮した キャッチコピー評価器は，より高い精度を実現でき ると期待される. そのようなキャッチコピー評価器 の開発には商品情報とキャッチコピーがセットに なったコーパスの構築が必要となる.

2 つ目は修辞技法を考慮したキャッチコピー評価器の開発である. キャッチコピーには比喻, 反復, 対句のような修辞技法を用いたものが多く存在 する. 例えば，丹羽ら [3] の分析によると 17.9\%の キャッチコピーが比喻を用いていて，10.6\%は対句 を用いている。修辞技法はキャッチコピーの質を左右する重要な要素であり, 修辞技法を考慮すること でより精度高い評価器を実装できると期待される。

3つ目はキャッチコピー以外の広告文への応用で ある. 広告文生成の研究はキャッチコピー生成以外 にも広く行われているが，生成器の効率的な開発に は自動評価手法が不可欠である. 参照文を必要とし ない広告文評価器の開発は今後の広告文生成の研究 を加速させることが期待される.


## 参考文献

[1] 総務省. 令和 4 年情報通信に 関する 現 状報 告 の 概要, (2022-12 閲覧).https://www.soumu.go.jp/johotsusintokei/ whitepaper/ja/r04/html/nd233220. html.

[2] 村上聡一朗, 星野翔, 張培楠. 広告文自動生成に関す る最近の研究動向. 人工知能学会全国大会論文集, Vol. JSAI2022, pp. 1P5GS601-1P5GS601, 2022.

[3] 丹羽彩奈, 岡崎直観, 西口佳佑, 亀山千尋, 毛利真崇. キャッチコピーの自動生成に向けた分析. 言語処理学会 第 25 回年次大会発表論文集, pp. 558-561, 2019.

[4] Chao Zhang, Jingbo Zhou, Xiaoling Zang, Qing Xu, Liang Yin, Xiang He, Lin Liu, Haoyi Xiong, and Dejing Dou. Chase: Commonsense-enriched advertising on search engine with explicit knowledge. pp. 4352-4361, 102021.

[5] 花野愛里咲, 横山想一郎, 山下倫央, 川村秀憲ほか. マスク化言語モデル robertaを用いた俳句の評価.第 84 回全国大会講演論文集, Vol. JSAI, No. 1, pp. 1061-1062, 2022.

[6] 黒木 開中田和秀. 複数の指定語句を必ず含むリス ティング広告の広告文自動生成. 言語処理学会 第 28 回年次大会発表論文集, pp. 1339-1343, 2022.

[7] 東京コピーライターズクラブ. コピラ，（2022-12 閲覧）.https://www.tcc.gr.jp/copira/.

[8] 趙天雨, 沢田慶. 日本語自然言語処理における事前学習モデルの公開. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 93, pp. 169-170, 2021.

[9] Harris Drucker, Christopher J. C. Burges, Linda Kaufman, Alex Smola, and Vladimir Vapnik. Support vector regression machines. In M.C. Mozer, M. Jordan, and T. Petsche, editors, Advances in Neural Information Processing Systems, Vol. 9. MIT Press, 1996.

[10] 弓削徹. 届く！刺さる！！売れる！！！ キャッチ コピーの極意. 明日香出版社, 2019.

[11] 擬音語・擬態語 - 日本辞典, (2022-12 閲覧). http: //nihonjiten.com/nihongo/giongo/.

[12] cl-tohoku/bert-base-japanese-wholeword-masking, (2022-12 閲 https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking.

## A 参考情報

## A. 1 データタイプ

 \\

表 4 SVRに入力する特徴量のデータタイプ
 新保彰人 山田宽章徳永健伸 東京工業大学 情報理工学院 \{shimbo.a.aa@m, yamada@c, take@c $\}$.titech.ac.jp  