# MCL による広告文生成の Expert 選択バランス性向上手法： EMA に基づく Expert 選択

石塚湖太 $^{1}$ 黒木開 1 川上孝介 $^{1}$
${ }^{1}$ negocia 株式会社
\{kota_ishizuka,kai_kurogi,kosuke_kawakami\}@negocia.jp

## 概要

この論文では、Multiple Choice Learning (MCL)に 基づくMoE(Mixture of Experts) モデルを使用した広告文生成において、Expert の選択バランス性を向上 するための手法を提案する。提案手法は Exponential Moving Average(EMA) を用いて各 Expert の損失の変化傾向を記録し、それに基づいて Expert を選択す るものである。これにより、選択バランス性が向上 し、更に質の高い広告文を生成することができると 考えられる。本研究では、提案手法を用いた場合と 通常の MCL を用いた場合を比較し実験を行った。結果、提案手法を用いた場合、Expert の選択バラン ス性が向上し、生成される広告文の質も高くなった ことが確認できた。

## 1 はじめに

検索連動型広告は、ユーザの検索クエリに関連す る広告文を検索結果画面に表示する広告のことであ る。広告文をクリックした先にはランディングペー ジが設置されており、それはサービスの魅力をユー ザにアピールし購入や申し込みなどの行動を促すこ とを目的としている。したがって、広告文は、ラン ディングページとの関連性の高い内容をユーザにア ピールしクリックを促す重要な役割があるため、一般的に広告制作者はランディングページなどを参考 に広告文を作成する。しかし近年のデジタル広告の 需要の増加により、広告文作成の自動化が求められ ている。

LPからの広告文生成において、テンプレート文が 多数存在することによる学習データの不均衡が指摘 されている [1]。この問題に対して、Multiple Choice Learning (MCL)[2] に基づく MoE(Mixture of Experts) モデルにより、学習データに存在する隠れた状態を モデル内で明確に領域分割することで、解決を試み
ている。MCL に基づく Expert 選択では、最も loss が小さい Expert を選択する。このため学習初期は、単純な初期値の差から生じる損失関数の値のばらつ きに基づいているため、学習データの大多数のテン プレート文を出力しやすい Expert が優先的に選ばれ やすく、学習中もその傾向を拡大させるような選択 が行われうる。少数のテンプレート文ではない広告文を学習することが期待されるが、単純な損失関数 の值でそれが実現される保証はない。

そこで本研究では、広告文生成において、MCLに 基づく MoE モデルを用いることで、Expert の選択 バランス性を向上するための手法を提案する。具体的には、Exponential Moving Average(EMA)を用いて 各 Expert の損失の変化傾向を記録し、それに基づい て Expert を選択することで、選択バランス性が向上 し、より質の高い広告文を生成することができると 仮説を立てる。本研究では、この仮説を検証するた めに、提案手法を用いた場合と通常の MCLを用い た場合を比較し実験を行う。

## 2 提案手法

## 2.1 広告文生成モデル

モデルは $\mathrm{T} 5$ を用いる。また、提案モデルのエン コーダーを 1 に示す。検索キーワード連動型広告で は、ユーザーのクエリおよび LP の両方の要素を考慮することが必要である。先行研究 [3] と同様に、検索キーワードと LP から抽出された情報（タグ・ テキスト）の両者を考慮するために、それら全て を入力とする。また、デコーダーは、通常の $\mathrm{T} 5$ に、 Copy Mechanism[4] を加える。これにより LP に存在 する情報を直接生成する広告文に挿入することが期待できる。

MoE については [1] に倣い、LM head のみを複数 とする。これは、隠れ層の線型変換を複数追加する

図 1 提案モデルの Encoder

のみで済む。

## 2.2 Expert の選択手法

提案する EMA に基づく Expert 選択手法を 1 に示 す。ここで、Expert $t_{1}, \ldots$, Expert $_{k}$ は、各 Expertを示 し、 $\beta$ は EMA の係数である。

学習中において、各 Expert の loss EMA を用い て記録し、その值との差分が最小となる Expert を 選択する。そして、勾配はその Expertによる loss か ら算出されるもののみを用いる。MCL と異なる点 は、EMAによる loss の指数移動平均からの差分に 基づく点にある。これにより、初期化によりたまた ま loss が大きくなってしまった Expert や学習途中で loss が悪化した Expertが、単純な lossのみを参照す
る MCLではその後全く使われなってしまい、Expert への割り当てがアンバランスになることを防ぐ。な お、予備実験において、ナイーブな MCL では 1 つ の Expertへの割り当てが 99\%以上になってることを 確認した。

## 3 評価指標

品質・多様性を自動評価するために、次の指標 を用いる。品質については、 naive BLEU, candidate oracle F1, reference oracle F1の 3 つである。多様性に ついては、local distinct[5]を用いる。 naive BLEUは、生成文集合と参照文集合の n-gram 一致に関する precision の幾何平均である。candidate oracle $\mathrm{F} 1$ 、任意の参照文について、その BLEU の値が最も高くな るような生成文を 1 つ選んだ時の n-gram 一致に関 する recall と precision の調和平均である $\mathrm{F} 1$ 値であ る。同様に、reference oracle F1 は、任意の生成文に ついて最も高くなる参照文を選んだ時の値である。 local distinct は、 $\mathrm{n}=1,2$ の値を算出する。

## 4 実験結果

表 1 に各モデルの結果を示す $(\mathrm{k}=4)$ 。なお、これら の指標算出にあたっては、生成された文の数が数百件以上に上る場合があったため、類似した生成文を 排除し、タイトルは最大で 60 件、説明文は最大 24 件となるようにした上で評価を行った。このため、 local distinct が高い値を示している。また、表 2 に各 モデルの生成件数を示す。ナイーブな MCL と提案手法において、生成数に大幅な変化は見られない。

Expert の偏りは、提案手法は $15 \% 30 \%$ の範囲で
表 1 提案手法とナイーブな MCL の比較

あった一方、ナイーブな MCL は 1 つの Expert が 99\%以上であった。これは、提案手法は指数移動平均を差した値に基づいて選択しているため、おおよ そ $1 / \mathrm{k}$ の值に回帰することが確認できた。このこと は、提案手法が Expert 選択のバランスを大幅に改善 していることを示している。

目視による確認でも、複数の Expert を用いて推論 した際の生成結果に、全く学習されていない Expert の出力が含まれないことが確認できた。一方、ナ イーブな MCL の出力では、学習に失敗した Expert が「無料。ポイント」といった広告文として成立し ない単語列が確認できた。

表 2 提案手法とナイーブな MCL の比較

## 5 おわりに

本研究では、広告文生成において、Multiple Choice Learning (MCL) に基づく MoE(Mixture of Experts) モ デルを使用し、Expert の選択バランス性を向上す る手法を提案した。提案手法は、Exponential Moving Average(EMA) を用いて各 Expert の損失の変化傾向 を記録し、それに基づいて Expert を選択すること で、選択バランス性を向上し、質の高い広告文を生成することを目的とした。実験の結果、提案手法を 用いた場合、Expert の選択バランス性が向上し、生成される広告文の質も向上したことが確認できた。今後の課題としては、提案手法は、他のタスクにも 応用することができる可能性があり、他の分野での 検証も行っていくことがあげられる。

## 参考文献

[1] 村上聡一朗, 星野翔, 張培楠, 上垣外英剛, 高村大也, 奥村学. Lp-to-text: マルチモーダル広告文生成. 言語処理学会第 27 回年次大会 (NLP 2022), 2022.

[2] Abner Guzmán-rivera, Dhruv Batra, and Pushmeet Kohli. Multiple choice learning: Learning to produce multiple structured outputs. In F. Pereira, C.J. Burges, L. Bottou, and K.Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 25. Curran Associates, Inc., 2012.

[3] Kazuhide Nakata. Generating search text ads from keywords and landing pages via bert2bert. In Advances in Artificial Intelligence: Selected Papers from the Annual Conference of Japanese Society of Artificial Intelligence (JSAI 2021), Vol. 1423, p. 27. Springer Nature, 2022.

[4] Jiatao Gu, Zhengdong Lu, Hang Li, and Victor OK Li. Incorporating copying mechanism in sequence-to-sequence learning. arXiv preprint arXiv:1603.06393, 2016.

[5] 川本峻頌, 張培楠. スタイル制御を考慮した多様な広告文生成. In NLP2019, 2019.
 石塚湖太 $^{1}$ 黒木開 1 川上孝介 $^{1}$ ${ }^{1}$ negocia 株式会社 \{kota_ishizuka,kai_kurogi,kosuke_kawakami\}@negocia.jp  