# 検索モチベーションクラスタリングにおける価値のあるクラスタと その応用としての適用条件および検索モチベーション分析システム

Dinh Trong Thang ${ }^{1}$ 岩井千妃呂 ${ }^{1}$ 大西一貫 ${ }^{1}$
${ }^{1}$ 株式会社アイレップ
\{thang_dinh, iwai_chihiro, kazuhiro_onishi\}@irep.co.jp
}

\begin{abstract}
インターネット広告におけるインターネットユー ザが検索したい情報単位での集計分析作業について 実現可否の事前予測を実現するため，クラスタリン グ結果に対する「価値のあるクラスタ」，およびそ のクラスタに基づくキーワード数を用いた適用可能条件を定義し，それらを活用した検索モチベーショ ン分析システムを提案する. 有効な結果が得られる かの事前判別が可能となることで，実務者の負荷が 減り，業務の高品質化につなげることができる. 広告グループ内キーワード数を用いた適用条件評価に おいて $70.9 \%$ の精度で事前に予測できることを確認 し，システムの実務適用における 5 人の実務者によ る有効性評価において，60\%の好意的な回答を得て いることから，提案システムの有効なデータ提示が 実現できていることを確認している. 改善するポイ ントをさらに追及し，より高度な細かいインターネ ットユーザ行動分析，豊かな広告コミュニケーショ ンの実現を目指す。
\end{abstract
## 1 はじめに

インターネットユーザが検索して得たい情報（以下，検索モチベーション）単位で集計や分析を行う ことは効果的かつ効率的な広告配信を行う上で重要 な分析工程であるが，手作業で行うには集計作業に 時間がかかるため自動化のニーズが高まっている.

広告配信を行った際に媒体から提供されるレポート 群の 1 つであるキーワードパフォーマンスレポート データに対して，BERT および HDBSCAN を用い た検索モチベーションクラスタリング[1]では，試験的にいくつかの案件で業務利用可能であるという 成果を得ているが，広告配信の規模や運用期間の長 さによって十分な成果が得られない場合も観測され ており，多数の案件を運営する上で適用可能かどう かを事前に予測することは運用上重要な課題となっ ている。クラスタリングはキーワードの種類や数に
よって出力が大きく異なることから，キーワードを 予め分析することで適用可能かどうかを事前に予測 することは可能である.

適用可能かどうかを判定するために「価值のある クラスタ（以下，価値クラスタ）」を定義し，その 活用例として株式会社アイレップにおける適用可能条件を導き，業務に適したアプリケーションとして 検索モチベーション分析システムを提案する。より 深い分析をシステム化することで手作業の負担が少 なく，これまで深い分析を諦めなければいけなかつ た時間的猶予のない状況下でも安定した分析が行え るようになり，マーケターはさらに前進的なマーケ ティング戦略を立案することに集中できる.

Google Ads の Keyword Performance Report を用い た実運用案件において，適用可能かどうかをキーワ ード数で判定するロジックについて，価值のあるク ラスタに基づいたデータセットに対する適用条件の 精度を評価する.システムの提示が適切であるかど うかは 5 名の専門家に対する使用感アンケートを取 り，評価する。

適用可能かどうかを判別する判別条件と業務が利用しやすいデータ構造に整理し表示する検索モチベ ーション分析システムについて 2 で述べ，適用可能判定の精度評価実験を 3 で紹介し，システムの実務者によるアンケート評価実験を 4 に示す.

## 2 価値クラスタの定義および

## 検索モチベーション分析システム

## 2. 1 価値クラスタの定義と適用条件

検索モチベーションクラスタリングを実際の業務 に適用する際，データの連携やアカウントの発行手続きなどを通して処理が行われるため，試験的に適用するには処理に時間がかかることが多い. 特に広
告配信の案件を複数持っているような実務者にとっ て, 複数の案件についてそれぞれが適用可能かどう かを実際にクラスタリングシステムの出力を見てか ら個別判断する状況では負担が大きいため, 分析す る前に適用可能かどうかを予測することは極めて重要な課題である.

検索モチベーションクラスタリングは既に配信さ れている実績データの出稿時に設定されたキーワー ドに対して行うため, キーワード数から分析に十分 に耐えるデータを生成できるかどうかを判定して実務者に前情報として提示できる.

業務上分析対象として有効なクラスタを価値のあ るクラスタとみなし，3つ以上のキーワードを含み 形態素解析で共通する単語がないクラスタを価値の あるクラスタ（以下，価値クラスタ）とする。価値クラスタの定義を利用して検索モチベーショ ンクラスタリングの業務適用条件を次のように定義 することができる.

「適用可能」の広告グループは広告グルー プの中に価値クラスタが 1 つ以上含まれて いる広告グループ

「適用不可」のグループは広告グループの 中に価値クラスタが含まれてない広告グル ープ

価値クラスタが 3 つ以上のキーワードで構成される 理由は人の解釈性によるもので，2つのキーワード だけでは互いに反する語であったり，セマンティッ クにかけ離れたキーワードで構成されてしまったり する場合, 人の解釈が極めて難しいクラスタとなっ てしまう．より人の解釈性を上げるためには 3 つの キーワードが最低限必要となるため, 価値クラスタ は3つ以上のキーワードで構成されている.

価値クラスタが 1 つだけある場合でも「実務者が 新しくクラスタを発見できること」などのメリット が生じる可能性があり, 複数の価値クラスタが含ま れている場合でもこのメリットは生じる. したがっ て, 適用条件として価値クラスタが 1 つ以上含まれ ていることは「適用可能」という判断が妥当であ る. 価値クラスタが 1 つも含まれていない場合はメ リットが発生しないことから, 適用条件の最小条件 は価値クラスタが 1 含まれている事である.

価値クラスタの存在確率はキーワード数と相関が あるため, 価値クラスタの存在に基づいた適用可能判定はキーワード数を用いて予測可能である.

## 2. 2 検索モチベーション分析システム

広告配信で運用されるアカウントの構造は, 事前 にクライアントの合意を得た設計で構築されている が，運用期間が長くなるにつれて設計当初の構成と は異なる粒度（トレンドやインターネットユーザの ニーズなど）で分析・集計したいという要求は発生 しやすく, 幅広い戦略を行うほどアカウント構造は 大きくなっていくため都度分析を手動で行うことが 困難になっていく.この集計分析を自動化すること で安定した分析が可能となり実行コストが低減され るが，システムは実務者が管理しやすい粒度でデー 夕を管理する必要がある。

実務者が広告のキャンペーン情報とクラスタリン グのパラメータを入力してから, 配信実績の画面が 表示されるまでのフローを図 1 に示す. 前処理プロ セスとして配信実績レポートを取得し，キーワード データの中に含まれている媒体指定フォーマットの 特殊記号や余分なスペースを削除するなどのキーワ ードクレンジングを行い，キーワード数の情報から ロジスティック回帰で適用可能判定を行い, 「適用可能」と判定されたデータ内のキーワード群を[1] と同様に BERT，HDBSCANを通して検索モチベー

図 1 実務者の入力から表示までの流れ

ションクラスタリングを行う. 適用不可能だった場合はその旨の通知を画面上に提示する。

集計プロセスではキャンペーン単位で生成された クラスタについて, 広告運用時の運用粒度である広告グループごとの実績として集計し, 結果を実績表 と円グラフと散布図で可視化する. 実績表は広告グ ループ単位で表示され, システムは既存の実績表に クラスタ番号を付与して表示することで，実務者は これまでの作業で見慣れているフォーマットから大 きく変わることなくデータを分析することが可能と なる. クラスタ番号単位での集計結果を同時に提示 することで，実務者はこれまで手作業で行って いた「インターネットユーザがなぜ検索しているの か，知りたい情報やモチベーションでクラスタリン グした際の費用対効果」などを矢庭に確認すること ができる. システムは同時にクラスタ単位の円グラ フ，インプレッション数—クリック数散布図，およ びクリック数—コンバージョン数散布図を出力し,実務者は円グラフから各クラスタの実績比を把握 し，散布図で各クラスタ間の相対的なパフォーマン スの比較を視覚的に分析することができる．クラス タ内に含まれている語句から, マーケティングファ ネルの分析，検索モチベーション動向の探索，各検索モチベーションのパフォーマンスの比較から, 配信強化の必要性や LP 再設計の必要性を検討し, 広告運用に活かすことができる.

検索モチベーションクラスタリングの入力はキー ワード数がある程度の規模が必要であることから広告キャンペーンのキーワード一覧を対象とするた め, クラスタリング出力そのものは下位レイヤーで ある広告グループの構造が破壊された形でクラスタ リングされている．通常，広告グループは事前にク ライアントの意向に沿って構築された意味のあるま とまりであるため, システムの出力を直接業務に使用すると，実務者がそのクラスタを再度広告グルー プに落とし込まなければならないという課題が生じ る.そこで，システムはあらかじめキーワードに広告グループ ID を紐づけた形で管理し，クラスタリ ングした結果を広告グループ単位に分割, 広告グル ープ内での検索モチベーションクラスタリングを集計することでこの課題を解決し, 実務者の理解を助 ける. クラスタの観点次第では異なるクラスタに含 まれていると都合が良いキーワードが存在している ため，システムは軽微な修正をドラッグ＆ドロップ のようなコストの低い操作で実現する UI を実装す
ることにより，実務者が理解しやすい出力を得るこ とができる.

## 32022 年の全実績を用いた適用可能判定の精度評価

ロジスティック回帰を用いて予測する適用可能判定について 2022 年にキーワード数が 3 以上の 49 , 795 件の広告グループから 233 件の広告グループを ランダムに抽出し，表 1 に示すデータセットとして 分割し，学習と検証を行う。

表 1 ロジスティック回帰の学習と検証セット

 & 58 & 55 \\

49,795 件の広告グループについて 95\%信頼区間の 許容誤差 $10 \%$ かつ回答比率 0.5 とする場合の統計的 な有意性が確認できる数は 96 であり，検証セット の広告グループ数 117 は十分な量である. このデー タに対して価值クラスタが存在する広告グループの ラベルを「1」（適用可能），価値クラスタがない 広告グループのラベルを「0」（適用不可能）とし てデータセットを作成し，ロジスティック回帰は広告グループのキーワード数から適用可能かどうかの ラベルを予測する。

表 2 ロジスティック回帰の学習結果

表 2 に示す通り正答率は $70.9 \%$ であり，キーワー ド数に基づいた広告グループの適用可能の判別が十分に機能している事を確認する。

$y$ は適用可能の確率と $x$ はキーワード数とする

と, 学習したロジスティック回帰のモデルの数式は $y=\operatorname{sigmoid}(0.05 \times x-1.11)$

となる。適用可能の確率は 0.5 より高い場合, 広告 グループは価値クラスタがあると同じ意味である. それに基づき，キーワード数の条件を見つけられ，

$
\operatorname{sigmoid}(0.05 \times x-1.11) \geq 0.5
$

$\Leftrightarrow \frac{1}{1+e^{-(0.05 \times x-1.11)}} \geq 0.5$

$\Leftrightarrow 0.05 \times x-1.11 \geq 0$

$\Leftrightarrow x \geq 22.2$

を得る. 広告グループのキーワード数は 23 以上の 場合, その広告グループに価値クラスタがある確率 は 70.9\%であり，検索モチベーションクラスタリン グ適用可能の広告グループとする. クラスタリング を実施する前に適用可能の広告グループをキーワー ド数に基づいて予測でき, 実務者のシステム体験を 向上できる.

## 45 名の実務者によるシステム利用 アンケート調査

Google Ads Keyword Performance Report $の 2022$ 年 01 月 2022 年 12 月までのデータ期間の中で 5 人の キャリアが十分に積まれた熟練の実務者がそれぞれ 任意のデータ対象期間を区切ってシステムを利用 し, 8 件のキャンペーンについて 2022 年 11 月 22 日～30 日までの 1 週間使用した上でシステムの有効性についてのアンケートを実施する，アンケート は選択形式と自由記述があり, 使用された質問と選択肢を表 3 , 回答の集計結果を表 4 にそれぞれ示 す.

表 3 実務適用確認実験における アンケートで提示された質問と選択し

 \\

表 4 実務者 5 名による回答集計結果

検索モチベーションで実績集計は業務上に必要と 答えた回答は $60 \%$ となっている.「いいえ」と回答した実務者の自由記述の中には「作業自体は必要 だと感じています. ただ，私が自分で構築するアカ ウントについては，そもそもモチベーションごとに 広告グループをわけるため, 広告グループ内のキー
ワードでクラスタリングする意味はそこまで感じら れなかった.」と，広告グループの整理が行き届い ているため好意的な回答に結びつかない案件も存在 している事を確認している。一方で，「はい」と回答した実務者からは「システム自体は簡潔で使いや すかったです. 各クラスタの特徴がよりわかりやす くなれば，散布図などは分析に活用できそうだと思 います.」と, システムの提示が有効であることを 確認している.

実験に使用したシステムに対する UI／UX の改善要求はいくつか自由記述の中でも見られ, 「散布図 は各自カスタマイズで指標を選択できるようにすれ ばよりよいかと思いました. 」などの声もあり，実装するシステムは改善する必要があるが，単純にク ラスタリングした結果をそのまま実務者に提示する よりも有効なデータ提示が実現できていることを確認する.

## 5 おわりに

価值クラスタ数 1 以上であれば適用可能とした 時, 広告グループ内キーワード数を用いた適用判定評価において $70.9 \%$ の精度で適用可能の広告グルー プを事前に予測できることを確認し，システムの実務適用における 5 人の実務者による有効性評価にお いて， $60 \%$ の好意的な評価を確認し，提案システム の実装は改善の余地があるもののクラスタリング結果をそのまま提示するより有効なデータ提示が実現 できていることを確認している.

価值クラスタを定義することで判別が一定に定ま り, 事前判別が難しかった適用判定の予測が可能と なり, マーケティングの戦略立案への注力がより行 えることによる業務の高品質化につなげることがで きる.

改善するポイントをさらに追及し，インターネッ トユーザの検索モチベーションの活用を広げること で, より高度な細かいインターネットユーザ行動分析や豊かな広告コミュニケーションの実現を目指于.

## 6 参考文献

1. BERT 及び HDBSCAN を用いた検索連動型広告 における検索モチベーションに基づくキーワードク ラスタリングシステム. ThangDinh, 岩井千妃呂, 大西一貫. 日本: 情報処理学会第 84 回全国大会, 2022 .
 Dinh Trong Thang ${ }^{1}$ 岩井千妃呂 ${ }^{1}$ 大西一貫 ${ }^{1}$ ${ }^{1}$ 株式会社アイレップ \{thang_dinh, iwai_chihiro, kazuhiro_onishi\}@irep.co.jp }  \begin{abstract} インターネット広告におけるインターネットユー ザが検索したい情報単位での集計分析作業について 実現可否の事前予測を実現するため，クラスタリン グ結果に対する「価値のあるクラスタ」，およびそ のクラスタに基づくキーワード数を用いた適用可能条件を定義し，それらを活用した検索モチベーショ ン分析システムを提案する. 有効な結果が得られる かの事前判別が可能となることで，実務者の負荷が 減り，業務の高品質化につなげることができる. 広告グループ内キーワード数を用いた適用条件評価に おいて $70.9 \%$ の精度で事前に予測できることを確認 し，システムの実務適用における 5 人の実務者によ る有効性評価において，60\%の好意的な回答を得て いることから，提案システムの有効なデータ提示が 実現できていることを確認している. 改善するポイ ントをさらに追及し，より高度な細かいインターネ ットユーザ行動分析，豊かな広告コミュニケーショ ンの実現を目指す。 \end{abstract 