# 多様性の導入による推薦システムにおけるユーザ体験向上の試み

関 喜史 $\dagger,+\dagger$ ・福島 良典 $\dagger \cdot$ 吉田 宏司 $\dagger$ ・松尾 豊 $\dagger \dagger$
}

推薦システムのユーザ体験を高めるために重要な指標の 1 つが多様性 (Diversity) で ある。多様性は推薦システムが提示するリスト内には様々なコンテンツが含まれる ベきという考え方であり, 過去の研究では多様性が含まれるリストの方がユーザに 好まれるとされている。しかし実際のサービス上で推薦システムを検証したという 報告は少なく，サービス上で多様性がユーザにどのような影響を与えるのかは明ら かになっていない。本研究では実際にサービスとして提供されているウェブページ 推薦システムを分析し, その推薦システムに多様性を導入して比較を行った事例に ついて報告する。まず多様性が導入されていない推薦システムのユーザ行動を分析 し, 結果としてリストの中位以降に表示するウェブページに課題があることを明ら かにした。その上で多様性を導入し, 多様性のない既存システムとサービス上での ユーザ行動を比較した。結果として継続率やサービス利用日数が有意に改善してい ることを示し, 従来研究で示されていた多様性を含む推薦リストの方がユーザに好 まれるということを実サービス上で示した。そして利用日数が増えるに従ってリス ト全体のクリック数が改善していくこと，特にリスト下部のクリック率が多様性の ない手法では下がっていくのに対して，多様性のある手法では向上していくことを 示した。

キーワード：推薦システム，多様性，キュレーション，ウェブサービス，ユーザ体験
## Improving User Experience for Recommender System using Diversity

Yoshifumi Seki $^{\dagger}$, Yoshinori Fukushima ${ }^{\dagger}$, Koji Yoshida $^{\dagger}$ and Yutaka Matsuo $^{\dagger \dagger}$

Diversity is an important indicator for improving user experience in recommender systems. Previous research indicate that people prefer diverse recommended item lists. However, few studies have experimented with online user experience of recommender systems owing to lack of clarity regarding the effects of diversity of recommender systems on user experience. This paper reports the online experience of diversity of web service recommender systems. We analyzed the recommender system without diversity for user activity in web services. As a result, the second half of the recommended list is underwhelming. We have constructed a diverse recommender system by decreasing user features, and have compared our system to the existing system for user activity in web services. Consequently, our system has succeeded in improving the weekly retention and active rates. Therefore, the number of clicks on the recommended list have increased.


Key Words: Recommender Systems, Diversity, Curation, Web Service, User Experience

## 1 はじめに

インターネットを通じたサービス利用はスマートフォンの普及を背景に近年ますます増加している (総務省 2014)，スマートフォンでの各種サービスの利用はこれまでの PC を経由して利用するインターネットサービスに比べて, 画面の大きさや操作性という面で大きく制限されており，サービス提供者はスマートフォンに合わせたユーザ体験を新たに構築する必要に迫られている.

このような背景の中で推薦システムに注目が集まっている。推薦システムはユーザの興味関心に合わせて商品などを提示することを目的としたシステムであり, Amazon ${ }^{1}$ での商品推薦や, Facebook2での友人推薦をはじめとして幅広く利用されている. 画面の大きさや操作性が制限されているスマートフォンにおいて，推薦システムを用いてユーザに合わせて最適な選択肢を提示することでユーザ体験を大きく改善することが期待されており，今後様々な場面での利用が進んでいくと考えられる。

このような背景から推薦システムのユーザ体験に関する研究が近年注目を集めており，その中で重要だと言われている指標の 1 つに多様性 (Diversity) がある. 推薦システムが悪いとそのサービスが悪いとみなされると指摘されており (Cosley, Lam, Albert, Konstan, and Riedl 2003),推薦システムのユーザ体験を考慮することはそのサービス設計のためにも重要である．多様性がユーザにもたらす影響については Ziegler らの研究がよく知られており (Ziegler, McNee, Konstan, and Lausen 2005), 多様性を含んだリストをユーザに提示するとユーザは自分に最適化されていないものが含まれていることは認識するが, 多様性が含まれたものを好むという結果が報告されている.

また推薦システムについては FilterBubble という問題が指摘されているが, その問題への対応のためにも推薦リストの多様性が重要であると言われている (Pariser 2011). ジャーナリストであるイーライ・パリサーは検索エンジンや SNS (Social Network Service) が推薦システムの技術を用いてパーソナライズ化されていくことに対して, 情報のタコツボ化が起こることを懸念し,人々が正しい意思決定をすることを阻害していると警鐘を鳴らした。その動きに対応して推薦システムに関する国際会議である Recsys3では, 2011 年に FilterBubble に関するワークショップを開催し, FilterBubble 問題に関する見解を示した (Resnick, Konstan, and Jameson 2011). その中で FilterBubble とパーソナライズはトレードオフであること，すべての情報を人が網羅
^{1} \mathrm{http} / /$ www.amazon.com/

2 https://www.facebook.com/

3 https://recsys.acm.org/
}

することは不可能なのでフィルタリング技術は必要であることを指摘した上で，推薦システムを作る過程において，そのシステムの説明性，透明性を担保すること，推薦される個々のアイテムだけでなくリスト全体を評価し，多様性も考慮して設計することが必要であるとした

このような背景から近年推薦システムを構築する上で多様性を考慮することは一般的になったが，推薦結果の多様性がユーザやサービスにどのような影響をあたえるかについては分かっていない点が多い，多様性に関する研究の多くは多様性がユーザ体験を向上させるという前提に立っているが，关の根拠はユーザへのアンケートによるものであり，サービスにどのような形で利益をもたらすかについては明らかになっていない.これは推薦システム研究の多くが過去のデータを用いたオフラインテストで行われており，実際にサービス上でシステムを提供して比較した例が少ないことが要因である。

本研究の目的は推薦システムを用いて提供されているサービスに対して多様性を導入し，推薦結果の多様性がユーザに与える影響について明らかにすることである。本研究ではウェブペー ジ推薦システムを提供しているグノシー4というサービスにおいて，推薦システムに多様性を導入しそのユーザ行動への影響について報告する。まず多様性がない既存システムにおけるユー ザの行動を分析し，どのような特性をもったシステムであるかを示した。その上で多様性を導入したユーザ減衰モデルを構築した上で実際にサービス上でユーザに対して提供し, 既存システムとの比較を行った. その結果多様性がサービスの継続率の改善や利用日数の増加という形でユーザの満足度を高めていることを示した。これはユーザは多様性を含むリストの方を好むという従来研究で指摘されていた点がサービス上に打いても有用に働くことを示したといえる。 また利用日数が浅い段階ではユーザがクリックするウェブページの数は既存システムと同程度であるが，利用日数が増えるにしたがって多様性をもったユーザ減衰モデルのほうがクリックするウェブページの数が増えていくことを明らかにした．そして多様性のない既存システムでは, 利用日数が増えるに従って推薦リスト下部のクリック率が下がっていくのに対して, 多様性を取り入れたユーザ減衰モデルでは，推薦リスト下部のクリック率が向上していくことを示した。これは従来研究は確認できなかった多様性の中長期における影響を示したものである.

本研究では実際に事業として開発・運用されているウェブサービスを利用しているため, ビジネス上の制約により用いている手法をすべて公開することはできない．既存システムのユー ザ行動の分析によって推薦システムとして有効に作用していることを示すことによってその代わりとしたい. 本研究の目的は多様性がユーザ体験にどのような影響を与えるかについて論じることであり，手法が非公開であることが本研究の結果に与える影響は軽微であると考える.

以下に本論文の構成を示す. 2 章に関連研究と本研究の位置付けを示す. 3 章において本研究で利用するグノシーというサービスと, そこで用いられている推薦システムについて紹介し, そ


のシステムのユーザ行動とその課題について分析する． 4 章で前章で述べた課題を元に推薦システムに多様性を導入する方法について述べる。 5 章で既存システムと比較手法の比較実験を行い, 推薦システムの多様性がサービスにもたらす影響について考察し, 6 章で本研究のまとめを行う。

## 2 関連研究

本章では本研究の関連研究についてまとめる. 推薦システムの初期の研究では検索エンジンと同様に結果の適合度によって推薦システムが評価されていた (Jannach, Zanker, Felfernig, and Friedrich 2010). しかし Herlocker らの研究によって多様性, 意外性, 新規性などが推薦システムのユーザ満足度を高める可能性があると指摘され (Herlocker, Konstan, Terveen, and Riedl 2004),現在では Konstan らが推薦システムとユーザ体験に関する研究についてまとめたように様々な試みがなされている (Konstan and Riedl 2012). 多様性に関する研究としては Ziegler らの研究がよく知られている (Ziegler et al. 2005). Ziegler らはリスト内の多様性を表す intra-list-similarity という多様性に関係する指標を提案し, 通常の類似度による推薦との重み付け和によって推薦を行う推薦システムを提案した。本の推薦システムによって多様性を持つシステムのユーザへのアンケートを行い，ユーザは自分に最適化されていないことは認識するものの，多様性が含まれている推薦リストのほうが好ましいと答えた。この結果が多様性が推薦システムにおいて重要だとされる根拠となり，推薦システムにおいて多様性を考慮する研究が数多く生まれているが，多様性がユーザに与える影響についてより踏み込んた分析は我々の知る限りでは行われていない (村上, 森, 折原 2009; Zhang and Hurley 2008; Lathia, Hailes, Capra, and Amatriain 2010). 本研究は実サービスでの推薦システムの比較を行うことで, 多様性がユーザに与える影響について新たな示唆を与えるものである.

推薦システムのユーザ行動に関する知見が少ない理由として実際にサービス上で行われた実験が少ないことが挙げられる。ここではサービス上で行われた実験をいくつか紹介する．Davidson らは Youtube において推薦システムを導入した際の効果について報告した (Davidson, Liebald, Liu, Nandy, Van Vleet, Gargi, Gupta, He, Lambert, Livingston, and Sampath 2010). そのシステムは co-view を用いた単純なものであるとされており, 手法の詳細については公開されていないが，単純な人気ランキングを表示するのと比べて $207 \%$ クリック率が向上したと報告されている. Belluf らはブラジルの EC サイトを対象に $5 \%$ のユーザに対して推薦システムを適用しユー ザ行動の差を分析する研究を行い, 結果として 8-20\%の売上の向上が見込めることを報告している (Belluf, Xavier, and Giglio 2012). なおこちらの研究においても推薦システムの手法の詳細は公開されていない。サービス上での評価とは少し異なるが, Fleder らは推薦システムを経済シミュレーションにより分析し (Fleder and Hosanagar 2007), 経路依存性が存在すること, 推
薦システムによってその特性が様々に変わることを指摘している. このように推薦システムがサービスにどのような影響を与えるかを調べた研究はまだ少ない．本研究ではウェブページ推薦を行うサービスであるグノシー上において提供する推薦システムを対象に実験を行い，推薦システムがどのように利用されており，多様性がサービスにどのような影響を与えているかを実データを分析することで示す.

## 3 グノシーの推薦システム

本研究は株式会社 Gunosy が提供している情報キュレーションサービスであるグノシー内において行われている，本章ではグノシーがどのようなサービスなのかを述べ，サービス内で用いられている推薦システムの概要を説明し, 本システムがどのような特性を持っているのかをいくつかの実験の結果を元に説明する。その上で本システムの課題について分析を行い, 多様性がどのような影響を与えるかを考察する.

## 3.1 グノシーについて

グノシーは株式会社 Gunosy が運営する情報キュレーションサービスである. 2011 年 9 月にサービスを開始し，翌年 11 月に法人化された．スマートフォンアプリケーションを中心にサー ビスを展開しており，アプリケーションのダウンロード数は 2016 年 10 月で 1600 万を超えている国内最大級の情報キュレーションサービスである 5.

情報キュレーションサービスはウェブ上の様々なコンテンツを取捨選択し, サービス上でユー ザに提示するサービスである。国内ではグノシーの他に Smartnews ${ }^{6}$, Anntena $^{7}$, NewsPicks $^{8}$ 等がよく知られている．情報キュレーションサービスで扱うコンテンツはニュースが中心ではあるが，コラムやブログ，まとめサイトなど様々なコンテンツを扱っていることが多い. 2014 年に矢野経済研究所が行った調査ではキュレーションサービスの市場規模は 2012 年は 60 億円程度であったが，2014 年には 178 億円，2017 年には 395 億円と急成長していくとしている (矢野経済研究所 2014$)$.

本研究は 2011 年 9 月のサービスリリース時から 2012 年末までの期間を対象に行われたものである。その期間においてグノシーは Twitter ${ }^{9}$, Facebook, はてなブックマーク10のアカウントを連携することにより，登録したユーザのそれぞれのサービス内での行動から 1 日 25 件のウェ


ブページをユーザに提示するサービスを提供していた。提示されたコンテンツはウェブブラウザでログインして見ることができる他，登録したメールアドレスに指定した時間に送ることもできる．現在のグノシーではこの機能は ‘マイニュース’というサービス上の一部の機能として提供されている.

## 3.2 グノシーの推薦システムの概要

本節ではグノシーで利用されている推薦システムがどのようなものかについて述べる。 システムの詳細についてはビジネス上の制約により紹介することはできないが，本研究の目的は多様性がもたらすユーザ体験の変化を明らかにすることであり, システムの詳細が明らかでなくても問題はないと考える.

グノシーの推薦システムは内容ベースフィルタリングをベースにしたシンプルなものである (Jannach et al. 2010). 推薦対象となるウェブページ集合 $W$ とユーザ集合 $U$ を考える。ここであるウェブページ $w \in W$ がユーザ $u \in U$ にどれだけ好まれるかの予測値を $r$ として表す.この予測値は正の値をとり，正規化されておらず值域は $[0, \infty)$ となる.この評価値を元にユーザ $u$ に対して $r$ が大きい順にウェブページを $w_{1}, w_{2}, \ldots, w_{|W|}$ と並べると, $w_{1}, \ldots, w_{K}$ のウェブペー ジがユーザに提示するウェブページのリストとなる．Kはユーザに提示するウェブページの個数で, Gunosy の場合は $K=25$ となる. 多くの内容ベースフィルタリングによる推薦システムがそうであるように，ユーザ $u$ の興味関心とウェブページ $w$ の特徵量を共通の $N$ 次元べクトル空間で表現し，評価値 $r$ はべクトルの類似度により求められる.

ウェブページ特徴量 $\vec{w}$ とユーザ特徴量 $\vec{u}$ は単語によって構築される共通の次元空間を持っており，評価関数はウェブページの特徴量 $\vec{w}$ とユーザ特徵量 $\vec{u}$ と内積をべースに重み付けや正規化にいくつかのヒューリステイクスを用いている.

ウェブページの特徴量 $\vec{w}$ 構築にはウェブページ内のテキストにおける単語の TF-IDF 値を出現位置によって重み付けした值をべースに, そのウェブページが誰によって書かれたかによって幾つかの単語に值が追加されるルールや，そのウェブページについて SNS，ソーシャルブックマークサービス, ブログなどの外部のウェブサイトに投稿された内容を解析した結果なども用いている.

ユーザの特徴量 $\vec{u}$ にはサビス登録時は連携したサービスでのプロフィール文などから構築した特徵量と，連携したサービスに投稿したウェブページとグノシー内でクリックしたウェブページの特徴量 $\vec{w}$ 重み付け和を組み合わせたものを利用している.

このように手法は様々なルールやヒューリスティクスを含む形で構築されている. ウェブペー ジの特徴量を生成するための詳細や連携サービスからの特徴量抽出, 重み付けの詳細などは事業上の理由により公開することができない. しかし本研究の目的は多様性を導入した際のユー ザ行動の変化を明らかにすることであるため，多様性を導入した手法と既存システムで非公開

図 $1 r$ とクリック率の関係

にしているウェブページの特徴量 $\vec{w}$, ユーザの特徴量 $\vec{u}$, 評価値関数 $f$ は共通であることと, 既存システムにおけるユーザ行動の分析が十分に行われていることで, 本研究の目的と結果の有効性に対する影響は軽微であると我々は考えている。

まず本システムが推薦システムとして有効に作用しているのかを検証する。本システムはユー ザ $u$ がウェブページ $w$ に興味の持つ度合い $r$ を求めている. $r$ が適切に求められているのであれば， $r$ が高ければ高いほどユーザ $u$ がウェブページ $w$ を閲覧する確率は高くなると考えられる. 2012 年 5 月から 9 月にサービスを利用した全ユーザに対して, 推薦された記事の $r$ とその記事のクリック率を比較し相関関係を求めた。 各ウェブページの $r$ を $0 \sim 9.9$ まで 0.1 刻みとそれ以上に分け，各区分でのクリック率を多ックしたユーザ数として求める.

クリック率と $r$ の関係を図 1 に示す。相関係数は 0.958 となり, この結果からクリック率と $r$ には強い正の相関があることが示された. このことからウェブページのクリック率がユーザの興味関心の度合いを示すと仮定すれば， $r$ はそのウェブページに対するユーザの興味関心の度合いを示すことができていると考えられる.

## 3.3 表示位置とクリック率

本節では記事の表示順位がクリック率にどのような影響を及ぼしているのかについて述べ，多様性の導入が本システムにどのような影響をもたらすのかについて考察する．本システムではユーザごとに $r$ の大きい順に 25 件のウェブページを縦に並べて提示している. これは一般的な検索エンジンが検索結果を表示するのと似ており，検索エンジンのクリック率は順位によっ

て変動することが知られている (Manning, Raghavan, and Schütze 2008). 前節では $r$ とクリック率に強い相関があることを示したが， $r$ が高ければ本システムでは高い位置に表示されることになる。本システムにおいてリスト内での表示位置がウェブページのクリック率にどのような影響を与えているのかを調べるために 2 つの実験を行った.

第 1 の実験として一部のユーザに対して推薦結果のリストを逆順に表示し比較を行った。本システムでは通常 25 件のウェブページを $r$ の大きい順に表示しているが, この実験では $k$ 番目のウェブページを $26-k$ 番目に表示するようにした. つまり元々 1 番目に表示されていたウェブページが 25 件目に表示され，25 番目に表示されていたウェブページが 1 番目に表示されることになる. 対象ユーザとしてアクティブなユーザの中から 2,000 人のユーザをランダムに抽出し，一定期間実施した。この実験の目的はウェブページのクリック率が表示位置によってどの程度変わるのかを知ることである。もし前節で示した $r$ とクリック率の相関関係が， $r$ が高いウェブページが上位に表示されることによるのであれば，逆表示であっても最上位に表示されたウェブページのクリック率は高くなり, 最下位に表示された $r$ の高いウェブページのクリック率は低くなる。図 2 に順表示と逆表示での位置ごとのクリック率を比較したグラフを示す.ここでクリック率は前節とは異なり，そのリスト内のウェブページを 1 つ以上クリックしたユー ザを母数として求めている。まず順表示のほうのクリック率を見ると, 順位が高いほどクリック率が高くなることがわかる。またリストの最下部で若干の上昇がみられるが, これはリストの最下部はスクロールが止まるため若干クリック率が上がるためであると考えられる。次に逆

図 2 順表示と逆順表示の際のクリック率の比較
順表示のクリック率をみると, 最上部は少し高いものの順表示と比べてると大幅に低く, その後 5 番目からゆるやかに上昇しだし，最下部では最上部と同じようなクリック率を計測した，逆表示において最上部以外は順位が下がるにつれてクリック率が上昇すること，最上部のクリック率は順表示と逆表示で大きな差があることから，rとクリック率の相関関係が表示位置のみによるものではなく,$r$ がユーザの興味関心度合いをある程度表していることが明らかとなった。

第 2 の実験として人手で選択したウェブページを 25 件のランダムな位置に挿入し, システムによって推薦されたウェブページとのクリック率の差分を調べた. ウェブページの選択に際しては外部のメディア運営者に協力を依頼し, 運営するメディアの記事から日 1 件選択されたものを利用した．選択されたウェブページは対象となったユーザのウェブページリストのランダムな位置に插入される。本実験は一定期間すべてのユーザを対象に行われた。

この実験の目的は $r$ の値にしたがってウェブページのリストを構築することがどれだけユー ザのクリック率に寄与しているのかを確認することである． $r$ の値に関係なく人手で選んだウェブページのクリック率が高くなるような表示位置があるのであれば，推薦システムのウェブペー ジの選び方に課題があると考えられる。図 3 に比較結果を示す.リストの上位の記事は人手で挿入された記事と比較して高いクリック率を有しているが，リストの中位の記事は手動で挿入された記事と比較し同程度のクリック率をもち, 下位では人手で插入した記事のほうが高いクリック率を持つようになっている。この結果は本システムが中位以降については $r$ に従って推薦することがユーザのクリック率を高めることに寄与しない可能性があることを示唆している.

図 3 人為的に選んだウェブページと推薦結果の比較

2 つの実験によって以下の事柄が明らかとなった.
- $r$ の大きさとウェブページのクリック率の相関は表示順位のみによるものではないため, $r$ の値はある程度ユーザの興味関心度合いを反映しているといえる.
- $r$ の大きさにしたがってリストを構築した場合，上位においては高いクリック率を得ることができるが，中位以降では無作為に挿入した記事と同等のクリック率であり，下位では無作為に挿入した記事のほうが高いクリック率をもつ.

つまり本システムは興味関心をある程度表現できてはいるものの, 推薦リストの構築として考えた際に中位以降の表示に対して課題があることが明らかになった．本システムではユーザの特徴量 $\vec{u}$ とウェブページの特徴量 $\vec{w}$ の類似度が高いものから順に並べてリストを構築している. ここでユーザの特徴量 $\vec{u}$ において $i$ 番目の次元の $u_{i}$ の値が他の次元の値と比べ非常に大きいとする $\left(u_{i} \gg u_{\backslash i}\right)$. その時 $i$ 次元が高い特徴量を持つウェブページの $r$ が高くなるため, 推薦リスト内のウェブページがそのようなウェブページばかりになってしまう. 特徴量の各次元はユーザの興味関心の方向を表しているため, 結果として推薦リスト内が同じようなウェブペー

記事と同じような内容になるため中位以降では飽きが生じてしまい，結果として人手で挿入した記事のほうが新鮮さがあるためクリック率が同程度かそれ以上になるのではないかと考える。 このような結果から本システムに多様性を導入することにより, 中位以降のクリック率を改善することができ，ユーザ満足度を向上させることに繋がるのではないかと考えた.

## 4 推薦システムへの多様性の導入

本章では既存の推薦システムに多様性を導入する方法について述べる。まず多様性の手法としてよく知られている Ziegler らの Topic Diversification Algorithm (TDA)を紹介する (Ziegler et al. 2005). そしてTDA をべースにグノシーの推薦システムに多様性を導入するためのユー ザ減衰モデルについて述べ，TDA との関連について議論する。そしてユーザ減衰モデルがどのように多様性を向上させているのかを比較実験によって示す.

## 4.1 Topic Diversification Algorithm

本節では推薦リストの多様性に関する手法としてよく知られている Ziegler らの手法を紹介する (Ziegler et al. 2005). Ziegler らは多様性を表す指標 Intra-List Similarity と, 関連度順に与えられた推薦リストから多様性を持った推薦リストを生成する Topic Diversification Algorithm (TDA) を提案している.

TDA は既に関連度順に並んでいるアイテムリスト $L$ があるときに，そのリストを多様性を持つように並び替えたリスト $L_{\text {diver }}$ を構築することを目的としている. ここで多様性リスト $L_{\text {diver }}$

はもともとのリスト $L$ と同じ長さかそれより短いものとする. ここでアイテムリスト $l$ とアイテム $p$ の類似度を表す関数を $c(l, p)$ と，アイテム $p$ のリスト $l$ 内での位置を表す関数を $\operatorname{rank}(p, l)$ とする。またリスト $L$ の $i$ 番目のアイテムを $L(i)$ とすることにする。つまり $\operatorname{rank}(L(i), L)=i$ と書ける。

TDA ではまず $L_{\text {diver }}(0)=L(0)$ として, その後 $L_{\text {diver }}$ に含まれない $L$ 内のアイテムリスト $L_{\backslash \text { diver }}$ から $L_{\text {diver }}$ にアイテムを 1 つずつ追加する。まず $L_{\backslash \text { diver }}$ 内のアイテム $p$ とリスト $L_{\text {diver }}$ との類似度 $c\left(L_{\text {diver }}, p\right)$ の昇順になるようにソートしたリスト $L_{\text {similar }}$ を構築し, 以下の条件を満たす $p$ を $L_{\text {diver }}$ の末尾に加える.

$
\min _{p}\left.\{(1-\alpha) \times \operatorname{rank}(p, L)+\alpha \times \operatorname{rank}\left(p, L_{\text {similar }}\right)\right.\}
$

式 1 では既に作られているリストとの類似度の少なさの順位と, 推薦システムとしての関連度の順位を平均した順位が最も高いアイテムを選ぶ。このようにして選ばれたアイテムをリストに加えることを繰り返し, 多様性のあるリストを作る。この手法によって構築した推薦リストは $\alpha$ を高めると Presicion や Recall は低下するが多様性は高まっていき，アンケートによる実験の結果ユーザは $\alpha$ が $0.3 \sim 0.4$ のリストを最も好むと報告された. 特に内容ベースフィルタリングを用いた推薦リストにおいて著しいユーザ満足度の向上が見られたことが示されている.

## 4.2 多様性の導入

本節では 3 章で述べた手法に多様性を導入する方法について述べる，前節で紹介した TDA は既に推薦されたリスト内のアイテムと類似度が高いアイテムが推薦されにくくなることを目的とした手法である。この考え方を元に既存システムに多様性を組み込むために，本研究では推薦されたアイテムの特徴量を，ユーザの特徵量から減衰することによって同様の多様性効果を得ることを目指す。以降本手法をユーザ減衰モデルと呼ぶ. このユーザ減衰モデルは TDAの考えをグノシーのシステムで実現するための手法であり，本論文の貢献としてユーザ減衰モデルの提案は含まない.

まず推薦リストをいくつかのブロックに分割する．K個のウェブページを推薦する場合それを $N<K$ となる $N$ 個のリストに分割する. ここで $i$ 番目のリスト内のウェブページの個数を $k_{i}$ とすると $K=\sum_{i=0}^{N} k_{i}$ と書ける。また $i$ 番目のブロックまでに推薦されているウェブページの数を $n_{i}$ とすると, $n_{0}=0, i$ が 1 以上のときは $n_{i}=\sum_{j=0}^{i} k_{j}$ と書ける.

このようにリストを $N$ 個に分割した上で, 各ブロックごとに推薦を行いながらユーザの特徴量を減衰させていく， $i$ 番目のリストを生成するためのユーザの特徵量を $\overrightarrow{u_{i}}$ とすると，以下のように書ける。

$
\begin{gathered}
\overrightarrow{u_{0}}=\vec{u} \\
\overrightarrow{u_{i+1}}=\overrightarrow{u_{i}}-\alpha \sum_{j=n_{i}}^{n_{i+1}} \vec{w}_{j}(i \geq 0)
\end{gathered}
$

ここで $\alpha$ は定数である.

このユーザ減衰モデルが TDA と同じような性質を持つことを示す. ユーザ減衰モデルにおいて $k_{0}=3$ であり, $\overrightarrow{u_{0}}$ を用いて $w_{0}, w_{1}, w_{2}$ を推薦したとする. ここで次の推薦のための減衰されたユーザの特徵量 $\overrightarrow{u_{1}}$ は式 2 から以下のように求められる。

$
\overrightarrow{u_{1}}=\overrightarrow{u_{0}}-\alpha *\left(\overrightarrow{w_{0}}+\overrightarrow{w_{1}}+\overrightarrow{w_{2}}\right)
$

ここで次に推薦されるアイテム $w_{4}$ は以下のように書ける.

$
w_{4}=\max _{w \in W_{\backslash w_{0}, w_{1}, w_{2}}} f\left(\overrightarrow{u_{1}}, \vec{w}\right)
$

ここで $f(\vec{u}, \vec{w})$ は同じベクトル空間上のユーザ特徴量とウェブページ特徴量の類似度をべースに表現されることから $f$ では以下が成立すると仮定する.

$
\begin{gathered}
f\left(\overrightarrow{u_{1}}+\overrightarrow{u_{2}}, w\right) \propto f\left(\overrightarrow{u_{1}}, \vec{w}\right)+f\left(\overrightarrow{u_{2}}, \vec{w}\right) \\
f(\alpha \vec{u}, \vec{w}) \propto \alpha f(\vec{u}, \vec{w})
\end{gathered}
$

これを利用すると $f\left(u_{1}, w\right)$ は以下のように展開できる.

$
f\left(u_{1}, w\right) \propto f\left(u_{0}, w\right)+f\left(-\alpha\left(w_{1}+w_{2}+w_{3}\right), w\right) \propto f\left(u_{0}, w\right)-\alpha f\left(w_{1}+w_{2}+w_{3}, w\right)
$

ここで第一項の $f\left(\overrightarrow{u_{0}}, w\right)$ は減衰前のユーザ特徴量と $w$ の類似度を返すものであり, 第二項目は既に構築された推薦リストと $w$ の類似度を返すものである。つまりユーザ減衰モデルでは元々のユーザ特徴量の評価値から, 既に構築された記事リストとの評価値に一定の値を乗じた値を引いた値が最大になるウェブページを推薦しているといえる。ここで式 1 と式 3 を比較すると， TDA における順位を返す関数を評価値を返す関数と考えれば，ユーザ減衰モデルと TDA は一致するといえる。

ユーザ減衰モデルと TDA の違いを以下にまとめる.
- TDA ではリストとの類似度を順位として重み付け平均で計算しているが, 本研究では評価値の重み付け平均とすることでユーザ特徴量の減衰によって実現している.

・ TDA では構築したリストにアイテムを 1 つずつ追加しているが, ユーザ減衰モデルではブロックにわけて複数個ずつ追加している。

このように細部の違いはあるもののユーザ減衰モデルの基本的な考え方は TDA と一致している.
表 1 多様性指標の比較

## 4.3 既存システムとの比較実験

本節ではユーザ減衰モデルがどれだけ多様性を向上させているのかを既存システムと比較することによって示す. 2012 年 11 月の 1 週間の記事データを用いて 1 日ずつ当該期間にアクティブであったユーザから無作為に抽出した 1,000 人のユーザに対して, 既存システムとユーザ減衰モデルを用いてそれぞれ 25 件の記事リスト生成し比較を行う。このとき推薦リストの分割数 $N=5$ とし，各ブロックの大きさは $k_{1}=3, k_{2}=4, k_{3}=5, k_{4}=6, k_{5}=7$ とした．比較のために Zieger らの研究でも用いられていた Intra-List-Similarity (ILS) と overlap の 2 つの指標を用いる (Ziegler et al. 2005). ILS は Ziegler らが提案した多様性を評価するための指標であり，多様性を評価する上で代表的な手法である (Konstan and Riedl 2012). 定義を以下に示す.

$
I L S\left(P_{w_{i}}\right)=\frac{\sum_{b_{k} \in P_{w_{i}}} \sum_{b_{e} \in P_{w_{i}}, b_{k} \neq b_{e}} c_{o}\left(b_{k}, b_{e}\right)}{2}
$

このように ILS はリスト内のすべてのアイテムの組み合わせの類似度の総和である。本節では各記事の特徵量のコサイン類似度によって ILSを求めることとする。overlap は元の推薦リストと多様性のある記事リストが何件一致しているかによって求められる。これによって多様性によってどれだけ推薦結果が変化するのかを知ることができる.

まず 7 日間全体での各指標の平均値を表 1 に示す.

ユーザ減衰モデルでは既存システムに比べて ILSが下がっていることが分かる。これはユーザ特徴量を減衰しながら推薦することで, 既存システムでは推薦されていたリスト上位で既に推薦された記事と類似している $r$ が高い值をもつ記事が推薦されにくくなったためである. overlap は 8.06 であり既存システムと提案手法では約 8 件と約 $2 / 3$ の記事が変化していることが分かる.最上位ブロックは両方の手法で変化しない. $k_{1}=3$ であるため今回の実験では 3 件の記事は必ず一致する。そのため残りの 22 件のうち 17 件が多様性によって変化したと言える。このようにユーザ減衰モデルがリスト内の類似度を低下させ，記事リストを変化させていることが明らかになった。

## 5 多様性の導入によるユーザ行動の変化

本章ではユーザ減衰モデルを実際にサービスに適用することでユーザ行動におこった変化について述べ，推薦システムの多様性がユーザ体験に与える影響について考察する。

## 5.1 実験方法

本節では実験方法について述べる。本研究ではグノシーのサービス上で 3 章で述べた既存システムと 4 章で述べたユーザ減衰モデルの比較を行った。実験は 2012 年の 8 月から 12 月において行われた，既存システムによってサービスを提供する期間と，ユーザ減衰モデルによってサービスを提供する期間に分け，それぞれの期間における新規登録ユーザのサービス内でのユー ザ行動を比較した。また本サービスでは各種ウェブサービスとの連携によって初期のユーザ特徵量を構築しているが，連携したウェブサービス上での行動が少ない場合は初期のユーザの特徵量を構築することができない。本サービスではそのようなユーザに対してランダムな記事リストの生成を初期段階で行い，クリックしたウェブページのみによってユーザ特徴量を生成している。このようなユーザは継続率やウェブページのクリック率がそうでないユーザに比べて低いことが経験的に知られており，期間中のそのようなユーザの登録人数の比率が実験結果に影響を及ぼすと予想されることから，今回登録時にユーザ特徵量が生成できなかったユーザは比較実験の対象外とした。

このようにして実験対象となるユーザ群を定義した. 既存システムによるサービスを受けたユーザは 3,465 人，ユーザ減衰モデルによるサービスを受けたユーザは 3,482 人であり比較実験として同程度のユーザ数となった，各手法でユーザの登録期間は異なるが，実験期間において手法の変更以外のサービスのアップデートはデザインなども含めて行われてはいないため，実験として期間の違いは問題にならないと考えている.

## 5.2 評価方法

本節では行った実験の評価方法について述べる。 ユーザ減衰モデルでは多様性の導入により， サービスを利用しているユーザの満足度が向上することが期待されている。それを測るために，週次でのユーザの継続率を比較する．登録してから 7 日目以内にウェブページを 1 つでもクリックした場合はそのユーザは 1 週目継続したとする。そして 8 日目以降 14 日目以内にウェブペー ジを 1 つでもクリックした場合はそのユーザは 2 週目に継続したとする。このようにユーザが登録日から 7 日毎に推薦されたウェブページをクリックしたかを対象期間の登録ユーザ数を母数とした週次の継続率として評価に用いる。継続率はウェブサービスの改善の指標としてよく用いられる指標であり，これが高いとユーザがサービスに満足していると評価することができる.その上で各週に継続しているユーザがその週次内で何日間サービスを利用したかを比較する. この数値が高いとサービスを利用している日数が多いといえるため, ユーザがよりサービスに定着していると考えられる。そして順位ごとのクリック率を 3 章と同様に比較し，ユーザが推薦リストをどのように利用しているか, それが利用日数が増えるごとにどのように変化していくかを評価する.

## 5.3 サービス利用の比較

本節では既存システムとユーザ減衰モデルの継続率の比較結果について述べる.

既存システムとユーザ减衰モデルのそれぞれの週次継続率を表 2 に示す. ユーザ减衰モデルのほうがすべての週次で良い継続率を記録していることがわかる。この継続率が同等であるという仮説は 1 週目から 4 週目まですべてカイ二乗検定において有意水準 $1 \%$ で棄却することができるため, ユーザ減衰モデルがユーザの継続率を有意に改善しているといえる.

次に各週内でのサービスの利用日数を調べる。ユーザ減衰モデルがユーザの満足度を向上させているのであれば，利用日数も高くなっていることが期待される.

表 3 に既存システム，ユーザ減衰モデルそれぞれの週次での平均利用日数とその分散を示す. ユーザ減衰モデルのほうが平均利用日数が高いことがわかる． 2 つの手法の平均利用日数は差がないという仮説は平均利用日数が正規分布に従うとすると $\mathrm{t}$ 検定によって有意水準 $1 \%$ で棄却されるため, この平均利用日数の差は統計的に有意であるといえる.

このようにユーザ減衰モデルによって推薦リストに多様性を導入した結果，ユーザのサービス利用の満足度が向上したことが示唆された。

## 5.4 表示順位ごとのクリック率の変化

本節では多様性の導入がユーザのリスト内のクリック率に対してどのような変化を与えたのかを分析する。ユーザ減衰モデルでは上位で推薦したウェブページに関係するユーザの特徴量が減衰され, 既存システムでは推薦されなかったウェブページが推薦されるようになっている。 その結果として順位ごとのクリック率がどのように変化しているのかを調べる。 ユーザ減衰モデルによって新たに推薦されるようになったウェブページは, 既存システムでは $r$ が低いためにより低い位置で推薦されるウェブページであるため，r とクリック率の相関関係のみを考え

表 2 週次継続率の比較

表 3 週次の利用日数の比較

ればクリック率が低下する恐れがある。ユーザ減衰モデルではリスト内の多様性が生まれることによって既存システムと同等かそれ以上のクリック率が生まれることを期待している.

表 4 に週次のリスト内での平均クリック数と 10 段目までと 11 段目以降の平均クリック数を示す。平均クリック数はユーザ減衰モデルが既存システムをすべての期間で上回っており，登録から日数が経つごとにその差は拡大していく．平均クリック数が正規分布に従うと仮定し $\mathrm{t}$検定を行った結果, 3 週目と 4 週目においてリスト全体の平均クリック数と 11 段目以降の平均クリック数， 4 週目において 10 段目までの平均クリック数においてそれらが等しいという仮説が有意水準 $1 \%$ で棄却された，以上のことからユーザ減衰モデルによって平均クリック数, 特にリスト下部での平均クリック数が 3 週目以降で改善していることが示される. 特に 11 段目以降のクリック数は既存システムは低下していくのに対してユーザ減衰モデルでは中位以降のクリック数が上昇していっており, 既存システムの課題が改善していることが分かる.

図 4 に登録 1 週目の表示位置によるクリック率の既存システムとユーザ減衰モデルの比較を

表 4 リスト内の一人あたりクリック数

図 $4 \quad 1$ 週目の表示位置ごとのクリック率

図 $\mathbf{5} 3$ 週目の表示位置ごとのクリック率

示す.ばらつきはあるものの各表示位置においてクリック率はほぼ同等の傾向を示しており，多様性を導入することによってクリック率に対して悪影響が出ていないことが確認された.

2 週目も 1 週目と同等に既存システムとユーザ減衰モデルには大きな差は見られなかった. しかし図 5 に示す 3 週目には，中位以降でユーザ減衰モデルのほうがわずかではあるがクリック率が高い傾向になる。そして図 6 に示す 4 週目にはリスト全体でユーザ減衰モデルのほうがクリック率が上回る傾向にある。このように登録してから日が浅い段階ではユーザ減衰モデルと既存システムは同等であったが，利用日数が伸びるにしたがってユーザ減衰モデルの方がよりクリック数が多くなることが明らかになった.

## 5.5 考察

本章では多様性を持たない既存システムと多様性を導入したユーザ減衰モデルを実際のサー ビス上で提供し，ユーザに与える影響を比較した。その結果多様性によってユーザのサービス利用の継続率と利用日数が有意に向上することが示された。また利用開始から日が浅い段階では記事リストのクリック率に変化はないが，利用日数が増えるにつれて記事リスト全体でクリック率が高くなる。特にリスト下部のクリック率が既存システムでは低下していくが，ユーザ減衰モデルでは上昇していくことが示された.

既存システムでリスト下部のクリック率が利用日数が増えていく中で低下していく理由を考察する。本システムでは初期段階ではユーザが連携しているウェブサービスから得られるデー

図 64 週目の表示位置ごとのクリック率

夕を用いてユーザの特徴量を構築し, その後システム内でクリックしたウェブページの特徴量を元にユーザ特徴量を更新していく.リストに多様性がある場合には個々のユーザがクリックしたウェブページ集合にも多様性が生まれると考えられることから，ユーザ減衰モデルにおけるユーザの特徴量 $\vec{u}$ は既存システムでは得られなかった多種多様な興味関心を内包したものとなり，ユーザ特徴量減衰後のウェブページがより興味に即したものになっていく．既存システムではリストに多様性がないためユーザのクリックするウェブページが同じような特徴量をもったウェブページに集中するため, ユーザ特徴量がそのようなウェブページにより更新されることから，利用日数が増えるほどに一層推薦されるウェブページリストに偏りが生まれる。その結果リスト下部のクリック数が既存システムではサービスへの飽きから徐々に下がっていくのに対し，ユーザ減衰モデルではリスト下部のコンテンツのユーザとのマッチング精度が向上していくことにより, リスト全体のクリック率がユーザ減衰モデルにおいて長期で高い値になっていることが考えられる.

推薦リストの多様性については，評価者にリストを見せてどちらかを選げせるような実験の結果をもって有効であるとされていたが，本研究ではその結果が実際にサービスの利用頻度という点で現れることを示した。その上でリスト全体のクリック率は初期段階では差がないが,利用日数が増えるにしたがって向上していくことが示され，特にリスト下部でのクリック率が多様性がある場合とない場合で大きな差になっていくことが明らかとなった.

サービスにおけるユーザの継続率はユーザの満足度を表す重要な指標であると言われている

(Rust and Zahorik 1993). 週次の継続率と利用日数が向上したことにより推薦システムの多様性がサービスのユーザ満足度の向上をもたらすことを示したと我々は考えている。そして利用日数が増えるに従ってクリック率の差が大きくなっていく点については, 推薦システムのオンラインでの評価を行う上で短期的な評価だけでなく中長期的な評価も行う必要性があることを示した。

以上のように本実験では推薦システムの多様性によって利用ユーザのクリック率，週次継続率, 週次利用日数の向上が確認でき，多様性が推薦システムのユーザ満足度を改善することを示した。そしてその影響が継続的な利用によって観測されることを明らかにし，オンライン評価における中長期的な評価の必要性を示した.

## 6 まとめ

本研究では推薦システムに多様性を導入することによるサービス上のユーザ行動の変化について比較実験を行い，多様性がユーザ体験を改善したことを示した。まずサービスのユーザ体験を改善することを目的に推薦システムの分析を行い，多様性がユーザの満足度を高める可能性があることを示した。 その上でユーザ特徴量を減衰していく形で推薦システムに多様性もたらす手法との比較実験によってユーザ行動の変化を分析した. 結果として継続率やサービス利用日数が有意に改善していることを示し，従来研究で言われていた多様性を含む推薦リストのほうがユーザに好まれるということを実サービス上で示した。そして利用日数が増えるにしたがってリスト全体のクリック率が改善していくこと, 特にリスト下部のクリック率が多様性のない手法では下がっていくのに対して, 多様性のある手法では向上していくことを示した. これは従来研究で示されていなかった多様性の中長期における影響を示したものである.

推薦システムを実サービスに適用した際の効果については不明な点が多い. 本研究ではリストの多様性が中長期的な視点でみたときにユーザ体験の改善に貢献することを示唆しており，今後推薦システムにおいて多様性を考慮する上で重要な知見を示すことができたと考えている. また中長期でよりよい影響が生まれていることから推薦システムを評価する上で実サービス上で，なおかつある程度期間を設けて実験を行う重要性を示したものであると言える。

推薦システムのユーザ体験を考慮する上で多様性と並んで説明性や透明性が重要であると言われている (Konstan and Riedl 2012). 今後はこれらの指標の有効性についても実サービス上で考察をしていきたい。また推薦システムにかぎらず本稿のように言語処理技術を実サービスに適用する上での課題や改善の手法について, サービス運営者としての視点から知見の共有や検証を行っていきたい.

## 参考文献

Belluf, T., Xavier, L., and Giglio, R. (2012). "Case Study on the Business Value Impact of Personalized Recommendations on a Large Online Retailer." In Proceedings of the 6th ACM Conference on Recommender Systems, pp. 277-280. ACM.

Cosley, D., Lam, S. K., Albert, I., Konstan, J. A., and Riedl, J. (2003). "Is Seeing Believing?: How Recommender System Interfaces Affect Users' Opinions." In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp. 585-592. ACM.

Davidson, J., Liebald, B., Liu, J., Nandy, P., Van Vleet, T., Gargi, U., Gupta, S., He, Y., Lambert, M., Livingston, B., and Sampath, D. (2010). "The YouTube Video Recommendation System." In Proceedings of the 4th ACM Conference on Recommender Systems, pp. 293-296. ACM.

Fleder, D. M. and Hosanagar, K. (2007). "Recommender Systems and Their Impact on Sales Diversity." In Proceedings of the 8th ACM Conference on Electronic Commerce, pp. 192-199. ACM.

Herlocker, J. L., Konstan, J. A., Terveen, L. G., and Riedl, J. T. (2004). "Evaluating Collaborative Filtering Recommender Systems." ACM Transactions on Information Systems (TOIS), 22 (1), pp. 5-53.

Jannach, D., Zanker, M., Felfernig, A., and Friedrich, G. (2010). Recommender Systems: An Introduction (1st edition). Cambridge University Press, New York, NY, USA.

Konstan, J. A. and Riedl, J. (2012). "Recommender Systems: from Algorithms to User Experience." User Modeling and User-Adapted Interaction, 22 (1), pp. 101-123.

Lathia, N., Hailes, S., Capra, L., and Amatriain, X. (2010). "Temporal Diversity in Recommender Systems." In Proceedings of the 33rd International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 210-217. ACM.

Manning, C. D., Raghavan, P., and Schütze, H. (2008). Introduction to Information Retrieval, Vol. 1. Cambridge University Press, Cambridge.

村上知子, 森紘一郎, 折原良平 (2009). 推薦の意外性向上のための手法とその評価. 人工知能学会論文誌, $24(5)$, pp. 428-436.

Pariser, E. (2011). The Filter Bubble: What the Internet is Hiding from You. The Penguin Group.

Resnick, P., Konstan, J., and Jameson, A. (2011). "Panel on The Filter Bubble." In Proceedings of the 5th ACM Conference on Recommender Systems. https://acmrecsys.wordpress. com/2011/10/25/panel-on-the-filter-bubble/ 2016 年 5 月 3 日閲覧.

Rust, R. T. and Zahorik, A. J. (1993). "Customer Satisfaction, Customer Retention, and Market Share." Journal of Retailing, 69 (2), pp. 193-215.

総務省 (2014). 平成 26 年度版情報通信白書.

矢野経済研究所 (2014). キュレーションサービス市場に関する調査結果.

Zhang, M. and Hurley, N. (2008). "Avoiding Monotony: Improving the Diversity of Recommendation Lists." In Proceedings of the 2008 ACM Conference on Recommender Systems, pp. 123-130. ACM.

Ziegler, C.-N., McNee, S. M., Konstan, J. A., and Lausen, G. (2005). "Improving Recommendation Lists through Topic Diversification." In Proceedings of the 14th International Conference on World Wide Web, pp. 22-32. ACM.

## 略歴

関喜史：2008 年富山商船高等専門学校情報工学科卒業． 2011 年東京大学工学部システム創成学科卒業. 2013 年東京大学大学院工学系研究科技術経営戦略学専攻修士課程修了. 同大学院博士課程後期課程在学中. 2012 年に株式会社 Gunosy を創業し, 研究開発業務に従事.

福島良典：2011 年東京大学工学部卒業. 2013 年同大学院工学系研究科修了.大学院在籍中に Gunosy を共同開発し，2012 年株式会社 Gunosyを創業し代表取締役社長に就任. 2012 年度未踏スーパークリエイター.

吉田宏司：2011 年東京大学工学部卒業. 2013 年同大学院工学系研究科修了.大学院在籍中に Gunosyを共同開発し, 2012 年株式会社 Gunosy を創業し現在データ分析部の部長を勤め, データ分析, アルゴリズム構築. Webの開発等を担当. 2012 年度未踏スーパークリエイター.

松尾豊：1997 年東京大学工学部卒業. 2002 年同大学院博士課程修了. 博士 (工学)，産業技術総合研究所，スタンフォード大学を経て, 2007 年より, 東京大学大学院工学系研究科技術経営戦略学専攻准教授. 2012 年より人工知能学会理事・編集委員長, 2014 年より倫理委員長. 人工知能学会論文賞, 情報処理学会長尾真記念特別賞, ドコモモバイルサイエンス賞など受賞. 専門は, Web 工学, Deep Learning, 人工知能.

$(2016$ 年 5 月 20 日受付 $)$
$(2016$ 年 8 月 5 日再受付)
$(2016$ 年 9 月 15 日採録)