# 扇情的な記事判定に向けた定義作成とアノテーション

谷口祐太郎 上村真史 小澤俊介 関喜史
株式会社 Gunosy
}

\{yutaro.taniguchi, masashi.uemura, shunsuke.kozawa, yoshifumi.seki\}@gunosy.com
## 1 はじめに

推薦システムではクリック率が高いアイテムが推薦されやすい傾向にあり，その結果我々が提供する ニュースアプリ「グノシー」では，推薦記事の中の 性的な記事・攻撃的な記事・クリックベイト的な記事の割合が大きくなるという課題がある ${ }^{1)}$ このよ うな記事を「扇情的な記事」と定義し，サービス内 での表示を抑制しより良いユーザ体験の実現を目指 すため，定義に基づいてデータセットを作成，さら に自動で判定するシステムを構築する。

類似の取り組みとして, ニュースの品質の判定 [1]，クリックベイトの判定 [2,3]，ニュースの感情分析 $[4,5]$ などがある. しかしいずれも本研究の目的には不十分であり, 独自のデータ定義とデータ セットの作成が必要である。データセットの作成は 自然言語処理の様々な分野で行われており $[6,7,8]$,文書・記事の品質に関する定義・アノテーションと しては $[9,10,11]$ が挙げられる. [9] は類似した定義 を提案しているが，本研究ではアプリでの表示抑制 を前提とする，より詳細にカテゴリ分けされた定義 を作成した。

扇情的な記事について，「定義の作成」，「ラベル データの作成」,「モデルの作成と評価」の 3 つの工程を行った. 我々の知る限り，扇情的な記事に関す るデータセットで利用可能なものはないため，定義, データセットの構築から行い, 構築したデータ セットをもとにモデルの作成と評価を行う．以降の 章でそれぞれの工程について詳しく述べる。

## 2 扇情的な記事の定義作成

扇情的な記事の定義を作成する。一般に「扇情的」といったとき，様々な定義・側面があるが，本研究では「サービス内でのユーザ満足度の低下を防


ぐ」という目的に沿うように定義する.この定義作成は主に 3 人の作業者によって行われた. 対象とす る記事のカテゴリは芸能を扱う記事のカテゴリであ るエンタメのみとする ${ }^{21}$. 今後, 必要性・実現可能性に応じて対象カテゴリを拡張する。

## 2.1 定義作成の手順

以下に定義作成の手順を示す.

1. 記事分析 一定数の記事に対して，各作業者 が直感的に「扇情的だと思ったか否か」を判定 し，それらを原因別に分類する。例えば，「表現が過激」・「タイトルが誤解を招く」・「画像が アダルト」・「中傷を含む」などである．

2. 仮定義作成 仮分類をもとに作業者間で議論 し，分類カテゴリと定義を作成する。

3. 仮ラベリング 暫定の定義にしたがって記事に 対してラベリングを行う.

4. 議論 仮ラベリングの結果を照合し，作業者間 で判定が不一致であった事例や，各人が判定に 迷った事例について議論をする．議論内容の事例を付録 A に示す。

5. 定義作成 (修正) 議論結果をもとに定義を修正 する。

6. 3〜5を繰り返し，より要件を満たすように定義 を修正していく。

定義の修正は主に以下の 2 種類がある.

・仮ラベリングを行うことで作業者間での意識の 差が判明し，議論によって定義がより明瞭な言 い回しに改善される.

・仮ラベリングを行うことで新たな種類の事例が 発見され，議論によって定義に追加される。ま た，必要に応じて削除・統合される。

2）グノシーにおいて記事は分類システムによって予め定義さ れたカテゴリに振り分けられている。当初は他のカテゴリの 記事も対象としていたが，「エンタメ以外のカテゴリでは扇情的な記事が少ない」・「政治カテゴリなどは扇情的かどうかの 判断が難しい」などの理由からエンタメのみとした.
表 1 「扇情的な記事」の定義のクラス

作業者間の議論だけでは判断しかねるケースでは，社内の他社員の意見や，社内や他社メディアのコン テンツポリシーなどを参考にした。

手順 3〜5を 8 回繰り返し定義が完成した. 仮ラ ベリングの記事数はサイクルによって異なるが， 1 人 100～200 記事程度である. また， 3 人の作業者の うち 2 人のみが仮ラベリングを行う場合もあった.

## 2.2 定義

構築した「扇情的な記事」の定義は，5つのクラ ス，各クラスに該当するための条件 (以下，クラス 条件), 注意事項で構成されている．5つのクラスラ ベルとその説明を表 1 に示す. 定義の完全版は事業 の関係上非公開としているが，今後の公開も視野に 入れている. 例えば SEXUAL クラスのクラス条件 は，「画像がアダルトである」，「不適切な文言がタ イトルに含まれる」などである．また，クラスラベ ルは背反ではなく，扇情的な記事を漏れがないよう に扱うためのものである. よって， 1 記事に対して 複数のクラスが当てはまる場合があり, 実際にデー タセットを作成するときは最もよくあてはまるクラ スをラベリングする.

## 2.3 作業者間のラベル一致度の変化

作業者間での議論を重ね，認識合わせ・定義改善 を行うにつれ，二値ラベルの作業者間の一致度は向上した. 2 回目，6回目，8 回目の仮ラベリングにお ける Fleiss' kappa[12], Krippendorff's alpha[13] を表 2 に示す.また, 3 人中任意の 2 人の Cohen's kappa[14]表 2 作業者間でのラベル一致率の変化

の値も同じく増加する傾向であった. なお，8 回目 の仮ラベリングの後，データセットのための本ラベ リングが行われた.

## 3 扇情的な記事のデータセット作成

データセットの概要を示す. 対象は 2019 年 8 月〜2020 年 3 月のエンタメカテゴリの記事である.特定の期間の話題に偏ることを防ぐため半年以上 の期間とした. 記事数は 2,186 記事である. 記事を ランダムに抽出すると，正例が極めて少ない割合に なる．そこで，社内の専門家によって扇情的な記事 が含まれやすいと判断された特定メディアとそう でないメディアから同程度の記事数を取得する。メ ディア分類となることを避けるため，各メディアの 正例・負例の割合が同程度になるようにする。

作業者は議論・仮ラベリングによって十分に教育 されているとみなし，効率を重視して 1 記事につい て 1 人のみのラベリングとした. 1 記事に対して，以下の情報をアノテーションする．以下の情報のう ち判定を行う順番は任意でよいとした。

・「扇情的」であるかどうか

・「扇情的」ならば定義したクラスのうちどれに 最もよく当てはまるか

・「扇情的」ならば定義したクラス条件のうちど れに最もよく当てはまるか

ラベル・クラスの内訳を表 3 に示す.

## 4 扇情的な記事判定モデルの作成と 評価

構築したデータセットを元にした，扇情的な記事 を判定するモデルの作成と評価について述べる.

## 4.1 タスクの定義

SEXUAL，VULGAR ラベルを判定するタスクを Task1, OFFENSIVE, CLICKBAIT ラベルを判定する タスクを Task2 とする.これは，扇情的であるラべ ルの記事を分析した結果，SEXUAL，VULGARラベ ルが振られた記事，また OFFENSIVE，CLICKBAIT ラベルが振られた記事のそれぞれで書かれ方やサム ネイルなどの性質が類似していたためである.

## 4.2 モデルの作成

Task1，2 それぞれについて，ルールベースと SVM の 2 種類のモデルを作成する. また，提供元が特定 メディアであるかどうかを判定結果とする手法を ベースラインとして比較する.

ルールベース Task1 については，記事のサムネ イル画像による判定，記事のテキストによる判定の OR 結合を判定結果とする. サムネイルの画像判定 には Amazon Rekognition ${ }^{3}$ を用いてラベルを付与し，特定のラベル（例えば， Explicit Nudity や Suggestive） が付与されていた場合，正例と判定する。また，記事テキストによる判定では，あらかじめ選定した 特徵語が 1 語以上記事タイトル・本文に含まれて いる場合，正例と判定する. 特徴語は, SEXUAL, VULGAR ラベルの記事を分析し, 出現しやすい単語 (「グラビア」,「セクシー」など) を人手で選定し たものである.

Task2 については，記事のテキスト，発信元のメ ディア情報，本文の長さをもとにしたスコアリング による判定を行う．記事テキストによる判定では， あらかじめ選定した特徴語ごとに割り当てたスコア をもとに，テキストに含まれる特徴語のスコア合計値を算出して判定を行う. さらに，提供元が特定メ ディアでない場合および記事本文の文字数が $t_{w}$ 以上の場合は減点を行う. これは記事が調査に基づい た内容で扇情的でないことが多いためである. 最終的なスコアが $t$ 以上であれば正例と判定する．特徴語の例およびスコアリングのルールの詳細を付録 C に示す.

SVM SVM(Support Vector Machine)[15] を用いて 扇情的な記事かどうかの分類を行う. Task1，2とも に，記事のタイトルと本文から算出した TF-IDF を 特徴量として用いる. 形態素解析には $\mathrm{MeCab}^{4)}$, 辞


表 4 各データセットの正例負例内訳

表 5 各タスクにおけるモデル毎の Precision，Recall，

書は NEologd ${ }^{5}$ を用いる. Task1についてのみ，SVM による判定と画像による判定の OR 結合を判定結果 とするようにした.

## 4.3 実験条件

全 2,186 記事のうち数が少ない VAGUE，その他う ベルの 3 件を除いて，1,263 件を検証用，920 件を評価用とする。 モデルの評価には，Precision，Recall， f1-score を用いる。検証用データを用いて，ルール ベースモデルの特徴語の選択，また，SVM の学習を 行い，評価用データを用いて性能を算出する．Task2 のルールベースモデルにおいて $, t=0.20, t_{w}=3000$ と定めた。これは検証用のデータを用いて Precision と Recall のバランスを考慮して決定した。

2 つのタスクではそれぞれ正例のデータとし て異なる記事を利用する. Task1 では SEXUAL， VULGAR のいずれかのラベルが付与された記事, Task2 では OFFENSIVE，CLICKBAIT のいずれかの ラベルが付与された記事を正例として用いる．負例 として用いる記事はタスクによらず共通である．表 4 にデータの内訳を示す.

## 4.4 実験結果

表 5 に各タスクにおけるモデルの性能を示す.い ずれのタスクにおいても，ルールベース手法（以下， RB）と SVM 手法（以下，SVM）は，ともにべース ラインの性能を上回る結果となった。

Task1 においては, Amazon Rekognition の判定結果 を用いることで，肌露出が多い画像が含まれる記事 を正しく判定することができた．RB とSVMを比較 すると，Precision は SVM がRB よりも 17.3 ポイン 卜高いのに対し, Recall はRB が SVM より 9.3 ポイ

表 6 誤判定傾向・事例

 &  \\

図1 各タスクにおけるモデル毎の PR 曲線

ント高いという結果となった.

Task2 においては，RB が SVM より Precision が 8.4 ポイント, Recall が 2.5 ポイント高い結果になった. また，Task2における f1-score は Task1 と比較して全体的に低い傾向になった.

図 1 に Precision-Recall 曲線を示す. 例えば Recall が 0.80 のとき Precision は Task1 では 0.87, Task2 で は 0.53 という結果であった. 実サービスでは正例 の取りこぼしを少なくすることが重要であるとし て，Recall を優先することを想定している．付録 C に Task2-ルールベースモデルのルールごとの性能を 示す.

## 4.5 考察

扇情的な記事判定での誤判定をもとに考察を行 う. 表 6 に各タスクの誤判定例を示す.

Task1 においては，正例に特定の語が出現しやす く，サムネイルもグラビアなど識別しやすいものが 多いため，ルールベース，SVM 問わず一定の割合を 正しく識別できた. RB の誤判定として目立つのは，非扇情的な文脈で特徴語を含む記事を，誤って扇情的な記事と判定する場合である. 例えば，「グラビ
ア」という特徴語はグラビアアイドルの肌の露出が 多い画像を含むような記事を想定して追加したもの だが，単なる肩書きとして「グラビアアイドル」と いう語を含む非扇情的な文章で誤判定してしまう. このため Recall は高くなるものの，Precision は低下 したと考えられる。しかし FN 例にあるように，写真集を紹介する非扇情的な記事は，文体や出現語も 正例とほとんど差がないため識別が難しい.

Task2 は手法を問わず Task1 よりも性能が低い. 人手での判定も困難な記事が多いことが要因の一つ である．具体的には，FP例にあるような批判を表 す文言について，過剰に一個人を中傷するものなの か，ただ注意喚起を行うものなのかの区別が難し く，どこからが扇情的に当てはまるのか人によって も判断が異なるため，モデルでも識別することが難 しい.また，OFFENSIVE，CLICKBAIT ラベルの記事は表現が多様で，攻撃的な語は含まれないが攻撃的な意見を含む扇情的な記事も多く存在するため，文章の解釈が行えず手法を問わず性能が低い結果と なった。

## 5 まとめ・今後の課題

ニュースサービスにおいて好ましくない影響を 与える可能性がある記事を「扇情的な記事」とし て，複数の作業者が議論を行い定義を改善すると いうループを 8 回行い 5 クラスから構成される定義を構築した. 定義に基づき，データセットを作成，自動判定するモデルを提案し，ルールベース 手法・SVM 手法ともに, ベースラインよりも高い Precision, Recall を導いた。

今後は，ルールの改善 (特徴語の追加) や識別器の 工夫により性能の向上を目指すとともに，定義の修正・対象カテゴリの拡張・データセットの拡張にも 着手する。

## 参考文献

[1] Yen-Hao Huang, Ting-Wei Liu, Ssu-Rui Lee, Fernando Henrique Calderon Alvarado, and Yi-Shin Chen. Conquering cross-source failure for news credibility: Learning generalizable representations beyond content embedding. In Proceedings of The Web Conference 2020, WWW '20, p. 774-784, New York, NY, USA, 2020. Association for Computing Machinery.

[2] Ankesh Anand, Tanmoy Chakraborty, and Noseong Park. We used neural networks to detect clickbaits: You won' $t$ believe what happened next! In European Conference on Information Retrieval, pp. 541-547. Springer, 2017.

[3] Hai-Tao Zheng, Xin Yao, Yong Jiang, Shu-Tao Xia, and Xi Xiao. Boost clickbait detection based on user behavior analysis. In Asia-Pacific Web (APWeb) and Web-Age Information Management (WAIM) Joint Conference on Web and Big Data, pp. 73-80. Springer, 2017.

[4] Julio Rieis, Fabrício de Souza, Pedro Vaz de Melo, Raquel Prates, Haewoon Kwak, and Jisun An. Breaking the news: First impressions matter on online news. In Proceedings of the International AAAI Conference on Web and Social Media, Vol. 9, 2015.

[5] Antony Samuels and John Mcgonical. News sentiment analysis, 2020

[6] 東中竜一郎, 光田航, 増村亮, 斉藤いつみ, 青野裕司.雑談要約技術に向けた取り組み. 言語処理学会第 26 回年次大会 発表論文集, pp. 1519-1522, 2020.

[7] 対話的議論の自動評価に向けたディベートデータ セットの構築. 言語処理学会 第 26 回年次大会 発表論文集, pp. 708-711, 2020.

[8] 仁木裕太, 坂地泰紀, 松島裕康, 和泉潔. 因果判定デー タセットの構築と原因結果表現抽出への拡張. 言語処理学会 第 26 回年次大会 発表論文集, pp. 557-560, 2020.

[9] Hongyu Lu, Min Zhang, Weizhi Ma, Yunqiu Shao, Yiqun Liu, and Shaoping Ma. Quality effects on user preferences and behaviorsin mobile news streaming. In The World Wide Web Conference, WWW '19, p. 1187-1197, New York, NY, USA, 2019. Association for Computing Machinery.

[10] 渋木英潔, 中野正寛, 宮崎林太郎, 石下円香, 金子浩一, 永井隆広, 森辰則. 情報信憑性判断支援のための web 文書向け要約生成タスクにおけるアノテーショ ン. 自然言語処理, Vol. 21, No. 2, pp. 157-212, 2014

[11] Ioannis Arapakis, Filipa Peleja, Barla Berkant, and Joao Magalhaes. Linguistic benchmarks of online news article quality. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1893-1902, Berlin, Germany, August 2016. Association for Computational Linguistics.

[12] Joseph L Fleiss, Bruce Levin, and Myunghee Cho Paik. Statistical methods for rates and proportions. john wiley \& sons, 2013.

[13] Andrew F Hayes and Klaus Krippendorff. Answering the call for a standard reliability measure for coding data. Communication methods and measures, Vol. 1, No. 1, pp. 7789, 2007.

[14] Jacob Cohen. A coefficient of agreement for nomi- nal scales. Educational and psychological measurement, Vol. 20, No. 1, pp. 37-46, 1960.

[15] Bernhard E. Boser, Isabelle M. Guyon, and Vladimir N. Vapnik. A training algorithm for optimal margin classifiers. In Proceedings of the Fifth Annual Workshop on Computational Learning Theory, COLT '92, p. 144-152, New York, NY, USA, 1992. Association for Computing Machinery.
表 7 議論例

「VAGUE」(不明瞭)クラスは 「タイトルから内容が想像で きない」場合に付与される が，想像できるかどうかは 読み手の知識によって変わ るのではないか.読み手に背景知識があった としても, 何についての記事 か理解できないような場合 は「VAGUE」クラスとする。伝えたい事象に関する単語 が含まれているなど，背景知識があれば理解できるよ うになっていれば「VAGUE」 クラスには含めない。

## A 議論例

表 7 に定義作成の過程の議論の例を示す.

## B 定義の変更例

1. ワイドショーでの芸能人のコメントを取り上げ た記事などの事例を参考に「内容が薄い」とい うクラスを設けていたが，議論の結果，それだ けで扇情的と判定するのは厳しすぎるという結論に至り, 廃止された. ただし, 匿名によるネ ガティブなバッシングを取り上げて作成された 記事や，攻撃的なコメントを取り上げた記事は 「OFFENSIVE」クラスとして扇情的であると判定することにした.

2.「有名人による SNS の投稿画像の場合は肌の露出が多くても扇情的でないとする」という基準 だったが，「プッシュ通知に適切かどうか」な ど本来の目的を考慮して議論した結果，肌の露出が多い記事は基本的に扇情的であると判定す ることにした。

3.「卑俗なテレビ番組の内容を伝える記事は，事実をそのまま伝えているため扇情的でない」と いう基準だったが，変更例 2 同様，本来の目的

表 8 Task2 特徴語の分類とその例

 & 「批判殺到」, 「厳しい声 \\

表 9 Task2ルールベースモデルのスコアリングルール

表 10 Task2 ルールベースモデルの各ルールでの性能比較、ルールにおいて, A は特徴語 (弱・中・強), $\mathrm{A}^{\prime}$ は特徴語 (弱・中・強・反)， $\mathrm{B}$ は特定メディア， $\mathrm{C}$ は本文の長さ

を考慮して議論した結果，扇情的の定義に含め るという結論に至った。

## C Task2 ルールベースモデルの詳細

Task2 に向けたルールベースモデルについて，特徵語の分類を表 8 に，スコアリングのルールを表 9 に示す。

また，Task2 に向けたルールベースモデルにおけ る，ルールごとの性能の比較を表 10 に示す.
 谷口祐太郎 上村真史 小澤俊介 関喜史 株式会社 Gunosy }  \{yutaro.taniguchi, masashi.uemura, shunsuke.kozawa, yoshifumi.seki\}@gunosy.com 