# AdGLUE: 広告言語理解ベンチマーク

張 培楠 ${ }^{1}$ 坂井優介 ${ }^{2}$ 三田 雅人 1 大内 啓樹 2,3 渡辺 太郎 ${ }^{2}$

1 株式会社サイバーエージェント 2 奈良先端科学技術大学院大学 3 理化学研究所

\{zhang_peinan,mita_masato\}@cyberagent.co.jp

\{sakai.yusuke.sr9, hiroki.ouchi, taro\}@is.naist.jp
## 概要

近年、インターネット広告における自然言語処理技術の応用が盛んに行われている。広告分野では、学術的によく使われるデータセットでは出現しない 表現も多く、文法的に誤った非文が許容されること もある。このような広告特有の言語現象に対処する 技術が必要とされるが、共通のタスクやデータセッ トがないため、分野全体の研究発展が妨げられてい る。そこで本研究では、広告特有の言語現象や性質 に対する言語理解を促進するため、5つのタスクか ら構成される広告分野特化の言語理解ベンチマーク AdGLUE を提案する。また、一般的な言語タスクや データセットとの違いを分析するため、主要な既存手法でベースライン実験も行った。

## 1 はじめに

近年、検索連動型広告（図 1)を含むインターネッ 卜広告市場の著しい成長 [1] に伴い、テキスト分類 モデルを使ったクリック率予測 [2] やニューラル生成モデルを使った広告文生成 $[3,4,5]$ など、自然言語処理技術の多くが広告分野で応用され始めてい る [6]。広告分野では、短文でユーザに商品の特徵 と魅力を伝え、購買行動などに繋げるよう訴求する 必要がある。そのため、使用される言語表現は一般的な文章とは異なることが多い。例えば、機能語や 部分的な内容語の省略や強調のために記号の使用、場合によっては文法的な誤りを含んだ非文が許容さ れることもある。例として、「マンションを売却し たい方は、今すぐ○○で無料で査定しませんか？」 という汎用的な表現は、広告特有の表現に言い換え ると「マンション売却／今すぐ無料査定」になる。 このような広告特有の表現は人間の理解を妨げるど ころか、注意を引くことに繋がることが広告心理学分野で報告されている [7]。

以上のような一般的な言語資源では存在しない

図 1 検索連動型広告に関連する要素と遷移の例

特徴を有しながらも、機械翻訳や自動要約などの分野と比較して、広告における自然言語処理の研究や 分析は少ない。その一因として考えられるのは、共通するタスクやデータセット、そしてそれらで構成 されるべンチマークの欠如である。共通ベンチマー クがあることによって、手法の比較が容易になり、実験の手順が明確化するため、研究の活発化が期待 できる。英語の一般的な言語理解を目指したべンチ マークとして GLUE [8] や SuperGLUE [9] などが挙 げられ、JGLUE [10] を始めとする多くの言語でも構築が進んでいる $[11,12,13,14]$ 。また、特定の分野 に特化したベンチマークも存在し、PLUE [15] はプ ライバシーポリシーのための言語理解ベンチマーク であり、BLURB [16] は生物医学分野におけるべン チマークである。しかし広告分野には特化したベン チマークが現状存在せず、一貫したデータセットな ども公開されていない。そのため、広告分野での研究の多くは独自のデータと指標で評価されており、横断的な比較が難しい状況になっている。また、広告データは配信プラットフォームを保有している一部の企業にしか所持していないこともあり、それ以外の企業や学術機関からの利用が困難である。

以上のことから、我々は広告分野に特化した言語理解ベンチマーク AdGLUE (AdvertisinG Language Understanding Evaluation)を提案する。このベンチ マークでは、広告運用の手順を踏まえて、広告にお いて重要視される容認性や一貫性、魅力度などの理

表 2 広告容認性、広告一貫性、訴求表現認識タスクのデータ例。LPテキストは広告一貫性タスクでのみ使用される。 なお acceptable / not_acceptable と consistent/not_consistent はそれぞれ容認・非容認と一貫・非一貫を指している。

解に着眼して作られている。我々は一般的な言語理解と異なる広告特有の観点で 5 つのタスクを規定 し、対応するデータセットを構築した。データは 実際にインターネット上で掲載された広告であり、 それらに対して人手によるアノテーションを行っ た。また、一般的な言語タスクとの違いを分析する ため、提案ベンチマークに対して主要な既存手法で ベースラインで実験・分析を行った。1)

## 2 AdGLUE

AdGLUE は、表 1 のとおり広告容認性、広告一貫性、訴求表現認識、広告類似性、そして広告効果予測の 5 つのタスクから構成されている。本研究で使用される広告データはすべて実際にインターネッ ト上で掲載された検索連動型広告である。なお、広告効果予測以外の全データセット構築において、人手によるアノテーションが行われている。アノテー ション作業者はいずれも日本語母語話者であり、ガ イドラインの説明を受けた上で最大 2 回の訓練アノ テーションを経験している。より詳細なデータセッ 卜情報は付録に示す。

## 2.1 広告容認性

広告容認性タスクは、表 2 に示すように、ある文 を広告としてみた際に容認できる表現か、容認・非容認の 2 值ラベルを推定するタスクである。な お、推定結果は正解ラベルとの Accuracy で評価す る。インターネット広告において、ほとんどの媒体 は表示領域を確保するための文字長制限が設けられ ている2)ため、広告文は限られたスペースや少ない

1）作成されたデータセットは一般公開し、オンラインからア クセスできる評価プラットフォームを提供する予定である。

2）例えば Google レスポンシブ広告ではタイトルに全角で最大 15 文字の制限を設けている。文字数で読者に印象付ける必要がある。そのため、広告文を制作する際には、人間が読み取れる範囲で あえて文法を崩したり圧縮したりすることがある。一方で、過度な圧縮は読者の誤解を招いたり、意味理解を妨げる可能性もある。これは CoLA [17] など 文法的に正しいかどうかを判断する一般的な言語容認性の考え方とは異なる。このように、読者の正確 な意味理解の可否を広告容認性として定め、広告運用の現場においても人手で確認するステップが存在 する。そこで我々は広告自動生成モデルによって生成された広告文に対して、広告運用と同じ基準で広告容認性のアノテーションを行った。アノテーショ ン結果の一部を表 2 に示す。例えば 1 行目の「マン ション売却／今すぐ無料査定」は述べている意図を 問題なく読み取れるため「容認される」が、2 行目 の「エンジニアの転職／土日の求人多数」は「土日 の求人多数」の意味が不明なため「容認されない」結果となっている。

## 2.2 広告一貫性

広告一貫性タスクは、表 2 に示すように、広告文 と広告文に紐づくランディングページ（LP）テキ ストが一貫しているか、一貫・非一貫の 2 值ラベル を推定するタスクである。なお推定結果は正解ラべ ルとの Accuracy で評価する。検索連動型広告には URLが紐づいており、図 19ようにクリックするこ とでその URL 先の Web ページである LP に遷移す る。LPには広告文で言及した商品の詳細情報が掲載されているが、その情報と広告文で述べられてい る内容に齯䶣が生じる場合は顧客の信用を失うな ど大きな損害が発生する。そのため、LPにある商品内容と広告文内での表現の一貫性は重要である。我々は LP テキストとして Webページの HTMLにあ
表 3 広告類似性タスクのデータ例

入力文 1 すっぽん黒酢にセラミド䩀沢配合

例 1 入力文 2 すっぽん黒酢に贅沢セラミドまで 類似度 5.00

入力文 1 ご予算に合わせて贈り物を検索

例 2 入カ文 2 お得な割引商品は最大 $40 \% \mathrm{OFF}$類似度 2.33

る meta タグの description 要素を使用し、紐付い ている広告文と矛盾が存在するかどうかを人手でア ノテーションした。アノテーション結果の一部を表 2 に示す。例えば 1 行目の広告文は「マンション売却／今すぐ無料査定」だが、対応する LP テキスト は「一户建ての査定は○○におまかせ！」で、「マン ション」ではなく「一戸建て」について言及してい るため「一貫していない」と判断できる。

## 2.3 訴求表現認識

訴求表現認識タスクは、表 2 に示すように、広告文がどのような訴求軸を含んでいるのか、該当する 訴求ラベルをすべて推定するタスクである。なお推定結果は正解ラベルとの $\mathrm{F}$ 值で評価する。訴求と は、広告読者に対して、対象商品のメリットや魅力 を訴えかけるような表現のことである。商品によっ て関心を持つ人が異なるため、適切に訴求できるか が広告効果に大きく影響する。このタスクでは、村上ら [18] の訴求表現データセットを使用しており、 21 種類の訴求ラベルが 2,731 件の広告文に付与され ていある。3) データ例として、表 2 の 1 行目の広告文「マンション売却／今すぐ無料査定」に対しては、「無料査定」から訴求ラベルの「無料」「利便性」が、 2 行目の広告文「エンジニアの転職／土日の求人多数」に対しては、「求人多数」から訴求ラベルの「品揃え」が付与されている。本研究では村上らの研究 の doc-base タスクにならって、span ではなく文全体 を入力として考え、該当する全ての訴求ラベルを推定しその $\mathrm{F}$ 値を評価する。

## 2.4 広告類似性

広告類似性タスクは、表 3 に示すような広告文ぺ アがどれくらい広告的に類似しているのか、 $[1,5]$ の範囲を持つ実数値を類似度として推定するタス クである。類似度は 1 に近づくほど低く 5 に近づく ほど高く、推定結果は正解類似度とのピアソン相関係数およびスピアマン相関係数 [19] で評価する。

3）先行研究では大分類と小分類からなる構造だが、本タスク では小分類のみを使用する。表 4 広告効果予測タスクのデータ例

$\begin{array}{ll}\text { 業種 } & \text { 金融 } \\ \text { キーワードローン }\end{array}$

タイトル 1 【No.1】カードローン比較サイト

タイトル 2 とにかく急ぎで借りたい方必見

タイトル 3 即日融資安心カードローン

説明文 1 周囲に内緒で借りるカードローン。24 時間スマホ 完結カードローンランキング。免許証のみで申込 OK

説明文 2 初めての方も安心・コンビニATM で借入 OK なの 品質スコア 82.3 で便利・22 時迄の申込で最短即日融資が可能。

STS-B [20] などの一般的な文間類似度は意味の近さ を評価するが、広告類似度では言及対象の商品の同一性（商品のカテゴリ、商品内容）と訴求の同一性 （訴求軸、訴求内容）に関する評価を行う。例えば 表 3 の例 1 の文ぺアはどちらも同じ商品について言及しており、かつ訴求も同じであることから類似度 は最も高い 5.00 である。一方で、例 2 では商品につ いては同じカテゴリについて言及している可能性を 持つが、訴求が異なるため類似度は 2.33 と低いこと がわかる。より詳細なアノテーション方法について は付録に示す。

## 2.5 広告効果予測

広告効果予測タスクは、表 4 に示すように、キー ワードや広告文などの情報から広告そのものの品質 スコアを推定し、その結果を正解スコアとのピアソ ン相関係数およびスピアマン相関係数で評価する夕 スクである。入力となる情報は大きく分けて 3 種類 あり、「業種」「広告文」そして「キーワード」であ る。「業種」は株式会社サイバーエージェント内で 定めた広告の業界種別であり、合計で 4 カテゴリ存在する。「広告文」は広告そのものを異なる表現や 文長で述べたテキストであり、「タイトル」と「説明文」の 2 種類存在する。4）「キーワード」は当該広告 に関連する検索キーワードのことであり、同一広告文に対して複数存在することもある。表 4 の例では 「カードローン」がキーワードとして設定されてい るが、同じ広告文で「カードローン 比較」といった キーワードの例も他に存在する。「品質スコア」は 広告配信実績値をもとに算出した 1 から 100 の範囲 を取る実数値で、高いほど高品質である。また、公開にあたって一部の情報を秘匿化加工している。秘匿化処理の詳細については付録で述べる。

4）「タイトル」は全角で最大 15 文字で「説明文」は全角で 最大 30 文字である。なお、「タイトル 3 」と「説明文 $2 」 は$空であることも許容されている。
表 5 学習済み言語モデルによる AdGLUE の評価結果

## 3 AdGLUE を用いたモデル評価

本節では、自然言語処理における代表的な分類・回帰モデルを用いて、構築したベンチマークの評価実験を行う。実験結果を通して、提案ベンチマーク の有用性や今後の課題について分析する。

## 3.1 実験設定

ベースラインモデルは日本語版 BERT [21]、 RoBERTa [22]、多言語モデルとしてXLMRoBERTa [23] を用いて、以下のようにタスクの 種類に応じて fine-tuningを行った。
- 広告容認性、広告一貫性特殊トークン [SEP] で広告文とLPを接続した文字列を入力として [CLS]トークンに対する分類問題を解く。
- 訴求表現認識 村上ら [18] の Doc-Based Model と 同じく広告文でマルチラベリング問題を解く。
- 広告類似性、広告効果予測広告類似性タスク では文ぺアを、広告効果予測タスクでは業種・ キーワード・広告文を [SEP] で接続し、[CLS] トークンに対する回帰問題を解く。なお、広告効果予測タスクの秘匿化に使用された [MASK_*] トークンは語彙に追加して学習を行った。

検証用データが配布されていないデータセット は学習用データの 2 割を検証用データとした。八イ パーパラメータ等の実験の詳細は付録に示す。

## 3.2 結果と分析

表 5 に各言語モデルによる AdGLUE の実験結果 を示す。モデルごとの性能評価を以下にまとめる。

・広告一貫性タスクでは東北大 BERT $_{\text {BASE }}$ が最高值であったが、他との差は軽微であった。
- 全体的に RoBERTa、XLM-RoBERTa モデルが高 い值である。要因として両モデルは大規模 Web クロールデータ CommonCrawl [24]を用いて学習している。CommonCrawl には砕けた表現の 文章や広告文が多く含まれているため、広告文 の特徴をうまく捉えることができ、結果的に Wikipedia のみで学習している BERT モデルよ りも高い値となったと考えられる。
- 東北大 BERT $_{\text {BASE }}$ (char) は全体的に低く、広告文に対して文字単位の処理が不適切とわかる。
- 全体的に BASE モデルよりパラメータの大きい LARGE モデルのほうが值が高いことから、パ ラメータ数の増加は有効であることがわかる。

・広告類似性タスクは AdGLUE 内では高いもの の、日本語の文間類似度タスクである JSTS [10] と比べると低い。単純な比較はできないが、広告ドメインでの表現と一般的に使用される表現 が異なることを示唆しており、より詳細な分析 を必要である。
- 広告効果予測タスクでは Wikipedia のみで学習 された東北大 BERT $_{\text {LARGE }}$ が最も高い值であり、 CommonCrawl で学習された他モデルを上回っ ている。この原因まだ特定できておらず、これ からの課題としたい。

また、今回実験に用いた学習済み言語モデル群は、学習データや単語分割などの条件が統一されていな い。そのため、条件を統一した実験を行い、広告理解に最適な単語分割の粒度を明らかにすることが望 ましいが、この点は今後の課題とする。

## 4 おわりに

本稿では広告言語理解ベンチマーク AdGLUE を 提案し、タスク設計とデータセット構築について説明した。また、各タスクの性質や一般的な言語理解 との違いを分析するため、構築ベンチマークで現在主要なアプローチでベースラインで実験した。実験結果から現状で調查不足な点や未網羅な課題点が発見され、それらを今後の改善につなげていきたい。

## 謝辞

本研究は株式会社サイバーエージェントと奈良先端科学技術大学院大学の共同研究により実施した。

## 参考文献

[1] 株式会社 CARTACOMMUNICATIONS, 株式会社 D2C, 株式会社電通, 株式会社電通デジタル. 2021 年 日本の広告費 インターネット広告媒体費 詳細分析, 2022. https://www. dentsu.co.jp/news/release/2022/0309-010503.html.

[2] Yanwu Yang and Zhai Panyu. Click-Through Rate Prediction in Online Advertising: A Literature Review. Information Processing \& Management, Vol. 59, No. 2, p. 102853, 2022.

[3] Konstantin Golobokov, Junyi Chai, Victor Ye Dong, Mandy Gu, Bingyu Chi, Jie Cao, Yulan Yan, and Yi Liu. DeepGen: Diverse Search Ad Generation and Real-Time Customization. In EMNLP 2022: Industry Track, 2022.

[4] Haonan Li, Yameng Huang, Yeyun Gong, Jian Jiao, Ruofei Zhang, Timothy Baldwin, and Nan Duan. CULG: Commercial Universal Language Generation. In NAACL-HLT 2022: Industry Track, 2022.

[5] Hidetaka Kamigaito, Peinan Zhang, Hiroya Takamura, and Manabu Okumura. An empirical study of generating texts for search engine advertising. In NAACL-HLT 2021: Industry Papers, pp. 255-262, 2021

[6] 村上聡一朗, 星野翔, 張培楠. 広告文自動生成に関する最近 の研究動向. 人工知能学会全国大会論文集, Vol. JSAI2022, pp. 1P5GS601-1P5GS601, 2022.

[7] Taifeng Wang, Jiang Bian, Shusen Liu, Yuyu Zhang, and Tie-Yan Liu. Psychological advertising: Exploring user psychology for click prediction in sponsored search. In KDD 2013, p. 563-571, 2013.

[8] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In ICLR 2019, 2019.

[9] Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. Superglue: A stickier benchmark for general-purpose language understanding systems. Advances in neural information processing systems, Vol. 32, , 2019.

[10] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese General Language Understanding Evaluation. In LREC 2022, 2022

[11] Sungjoon Park, Jihyung Moon, Sungdong Kim, Won Ik Cho, Ji Yoon Han, Jangwon Park, Chisung Song, Junseong Kim, Youngsook Song, Taehwan Oh, Joohong Lee, Juhyun Oh, Sungwon Lyu, Younghoon Jeong, Inkwon Lee, Sangwoo Seo, Dongjun Lee, Hyunwoo Kim, Myeonghwa Lee, Seongbo Jang, Seungwon Do, Sunkyoung Kim, Kyungtae Lim, Jongwon Lee, Kyumin Park, Jamin Shin, Seonghyun Kim, Lucy Park, Alice Oh, Jung-Woo Ha, and Kyunghyun Cho. KLUE: Korean Language Understanding Evaluation. In NeurIPS 2021: Systems Datasets and Benchmarks Track, 2021.

[12] Liang Xu, Hai Hu, Xuanwei Zhang, Lu Li, Chenjie Cao, Yudong Li, Yechen Xu, Kai Sun, Dian Yu, Cong Yu, Yin Tian, Qianqian Dong, Weitang Liu, Bo Shi, Yiming Cui, Junyi Li, Jun Zeng, Rongzhao Wang, Weijian Xie, Yanting Li, Yina Patterson, Zuoyu Tian, Yiwen Zhang, He Zhou, Shaoweihua Liu, Zhe Zhao, Qipeng Zhao, Cong Yue, Xinrui Zhang, Zhengliang Yang, Kyle Richardson, and Zhenzhong Lan. CLUE: A Chinese language understanding evaluation benchmark. In COLING 2020, pp. 4762-4772, 2020.

[13] Hang Le, Loïc Vial, Jibril Frej, Vincent Segonne, Maximin Coavoux, Benjamin Lecouteux, Alexandre Allauzen, Benoit
Crabbé, Laurent Besacier, and Didier Schwab. FlauBERT: Unsupervised language model pre-training for French. In LREC 2020, pp. 2479-2490, 2020.

[14] Yaobo Liang, Nan Duan, Yeyun Gong, Ning Wu, Fenfei Guo, Weizhen Qi, Ming Gong, Linjun Shou, Daxin Jiang, Guihong Cao, Xiaodong Fan, Ruofei Zhang, Rahul Agrawal, Edward Cui, Sining Wei, Taroon Bharti, Ying Qiao, Jiun-Hung Chen, Winnie Wu, Shuguang Liu, Fan Yang, Daniel Campos, Rangan Majumder, and Ming Zhou. XGLUE: A new benchmark datasetfor cross-lingual pre-training, understanding and generation. In EMNLP 2020, pp. 6008-6018, 2020.

[15] Jianfeng Chi, Wasi Uddin Ahmad, Yuan Tian, and Kai-Wei Chang. PLUE: Language Understanding Evaluation Benchmark for Privacy Policies in English. arXiv preprint arXiv:2212.10011, 2022.

[16] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Transactions on Computing for Healthcare (HEALTH), Vol. 3, No. 1, pp. 1-23, 2021.

[17] Alex Warstadt and Samuel R. Bowman. Grammatical analysis of pretrained sentence encoders with acceptability judgments. CoRR, Vol. abs/1901.03438, , 2019.

[18] Soichiro Murakami, Peinan Zhang, Sho Hoshino, Hidetaka Kamigaito, Hiroya Takamura, and Manabu Okumura. Aspect-based analysis of advertising appeals for search engine advertising. In NAACL-HLT 2022: Industry Track, pp. 69-78. ACL 2022, 2022.

[19] David Freedman, Robert Pisani, and Roger Purves. Statistics (international student edition). Pisani, R. Purves, 4th edn. WW Norton \& Company, New York, 2007

[20] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo Lopez-Gazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In SemEval2017, pp. 1-14, 2017.

[21] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT 2019, pp. 4171-4186, 2019.

[22] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[23] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In ACL 2020, pp. 8440-8451, 2020.

[24] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. CCNet: Extracting high quality monolingual datasets from web crawl data. In LREC 2020, pp. 4003-4012, 2020.

[25] Joseph L. Fleiss. Measuring nominal scale agreement among many raters. Psychological Bulletin, Vol. 76, No. 5, pp. 378-382, 1971.

[26] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In ACL 2020: System Demonstrations, pp. $38-45,2020$.

図 2 広告効果予測タスクの品質スコアの分布密度

表 7 広告容認性と広告一貫性のラベル分布

 & 15,099 & 850 & 15,949 & 8,708 & 620 & 9,328 \\

表 8 広告類似性のラベル分布。 $x$ は各値を表す。

表 9 訴求表現認識のラベル付与数

表 10 実験に使用したハイパーパラメータ。複数值があ るものは最適値を学習データのみで探索し選択している。

## A 付録

アノテーションガイドラインアノテーションは図 3 のように 商材と訴求の 2 軸での一致度合いで判断される。村上ら [18] の 訴求タイプの定義に基づいたアノテーションを依頼した。仕様書には各訴求タイプごとに説明文と例文を提示している。商材 や訴求表現が一部存在しない広告文は、それ以降の要素が広告文 に含まれていれば該当表現が存在したとして扱い、含まれてい なければ存在しなかったとして扱う。広告文内の固有名詞など について不明の場合は適宜 Web 検索を許可した。また、データ セットは 3 人の非専門家のアノテータによって作成されており、 2 回の訓練フェーズを経て本番データでアノテートし、アノテー タ間の一致度合いは fleiss' kappa [25] で $\kappa=0.51$ であった。

図 3 アノテーションの方法。左の要素から順に一致して いるごとにスコアが 1 段階ずつ上がっていく。

広告効果予測のマスキング処理 直接的なクライアント名・ サービス名のマスキングを行うことを条件に広告主からデータ セットとして公開することを許可された。例文「[MASK_3] の仕事紹介サイト」ではクライアント名が [MASK_3] に置き換えられ ている。マスキング処理は 2 人のアノテータが手分けして行っ た。マスキング対象となったクライアント・サービス名は 24 個 であり、それぞれ [MASK_0] から [MASK_23] に置換した。

各データセットのラベル分布 表 7 に広告容認性、広告一貫性 のラベル分布、表 8 に広告類似性のラベル分布、表 9 に訴求表現認識のラベル付与数、図 2 に広告効果予測の品質スコアの分布密度を示す。

実験設定の詳細 各学習済み言語モデルの詳細を表 6、実験に用 いたハイパーパラメータを表 10 に示す。表 10 に記載されていな いパラメータは各言語モデルまたは Transformers の標準設定を使用している。実験は Hugging Face 社の Transformers [26] を使用し $た^{5)}$ 。

5）実装は Transformers の AutoModelForSequenceClassification に修正を加えている。Transformers のバージョンは 4.25.1。
 張 培楠 ${ }^{1}$ 坂井優介 ${ }^{2}$ 三田 雅人 1 大内 啓樹 2,3 渡辺 太郎 ${ }^{2}$  1 株式会社サイバーエージェント 2 奈良先端科学技術大学院大学 3 理化学研究所  \{zhang_peinan,mita_masato\}@cyberagent.co.jp  \{sakai.yusuke.sr9, hiroki.ouchi, taro\}@is.naist.jp 