こんにちは、アドプラットフォーム部でインターンをしている@ucchi-です。大学では計量経済学を専攻しています。

今回は学生として、慶應義塾大学星野崇宏研究室とピクシブ株式会社が行った共同研究の内容についてお話しします。本研究は「Variety-Seekingな行動がプラットフォームサービスの継続利用に与える因果効果の理解」という題で、日本マーケティング・サイエンス学会第108回研究大会(2020/12/5開催)で発表した内容になります。本研究はJIMSベストポスター賞を受賞しました。

はじめに

本研究では「Variety-Seeking(VS)」と呼ばれるユーザー行動に注目しました。 VSとは多様性を求めるユーザーの行動のことです。(Kahn, 1995)
飽きや別のブランドを試したいという欲求によって、ユーザーが普段とは違うブランドの商品を購買することがあります。

VSは主に小売業における消費者の購買行動に焦点が当てられてきましたが、同様の傾向がプラットフォームサービスにおけるデジタルコンテンツの閲覧においても見られるかを分析しました。

VSを研究するには、まずVSの度合いを定量化する必要があります。 pixivでは行列分解などを用いて作品ベクトルを作成し、推薦に利用しています。本研究ではこの作品ベクトルを利用し、作品ベクトル同士のL2距離の対数を用いてVSの度合いを表現します。距離が遠いほどVSの度合いが高まると判断します。

主要なIPのファンアート作品の一部について、作品ベクトルを主成分分析で2次元に射影した図。
作品ベクトルはユーザーの趣味嗜好を反映している事がわかる。

過去の行動ログの分析

まず、VSな行動がプラットフォームサービスの利用に与える効果が以下の2つになると予測しました。

作品の閲覧数が増えるほど、閲覧中の作品と次に閲覧する作品との距離が遠くなる効果
距離の遠い作品を閲覧する事で直後の離脱率が低くなる効果

これを確認するために、ユーザーがpixivに訪問してから離脱するまでにどのように作品を閲覧するかを実際に分析した結果、

セッション序盤から中盤では、ユーザーはより近い距離の作品を選ぶ。一方、セッション終盤は距離の遠い作品を選ぶように変化する。
推薦作品の中から作品を選ぶ場合、4作品目以降は距離が遠い作品を選んだユーザーの方が直後の離脱率が低くなる

といった傾向が見られました。

ユーザーが閲覧する作品数と距離の関係。
横軸がセッション内で閲覧した作品時点、縦軸が距離、
個々の線がセッション全体を通じて閲覧した作品数が同じユーザー群を表す。
セッション終盤は1時点前との距離が遠くなっていることがわかる。

距離が離脱に与える効果の係数の推定値。固定効果モデルを用いて推定。
推薦作品経由で作品を閲覧した場合、4時点目以降は係数の推定値がマイナス
つまり距離が遠い作品を閲覧するほど直後の離脱率が下がる。

これらの傾向が相関関係なのか因果関係なのかは議論の余地があります。

仮説検証

過去ログの分析結果を踏まえ、VSの概念に基づき、直前に閲覧した作品に対し距離が遠い作品を推薦する介入を行いました。ただ距離を離すだけでなく、ユーザーと作品の距離が近くなるように推薦作品を選択しました。具体的には、

閲覧中の作品と推薦作品の距離の遠さに基づく順位
ユーザーと推薦作品の距離の近さに基づく順位

の重みづけ平均和を取りました。

VSにおいて、ユーザーは全ての作品閲覧で多様性を求めるわけではありません。また、距離が遠い作品ばかりを推薦するとユーザー体験を悪化させてしまう恐れがあるので、低確率で介入を行いました。

介入手法1: 距離が近い順の推薦
介入手法2: 距離が遠い順の推薦
介入手法3: 距離が遠くユーザーと距離が近い推薦

これらの介入手法を用意した狙いを直感的に説明したのが下の図になります。

あるユーザーは元々ジャンルAとジャンルBが好きで、直前に閲覧したジャンルがAとします。
距離が近い推薦はジャンルAの作品を推薦します。
距離が遠い推薦はジャンルBやジャンルCを推薦します。
しかし、このユーザーはジャンルCが好きでありません。
そこで、距離が遠くユーザーと距離が近い推薦は、ユーザーが元々好きで直前閲覧していないジャンルBを推薦します。
このように、介入手法3は、ただ距離の遠い作品を推薦するのではなく、ユーザーが好む方向に距離が離れた作品を推薦します。

結果

介入手法1と比べた介入手法2、介入手法3による推薦作品の距離の分布は以下のようになります。

介入手法1と比べて距離が遠い作品を推薦した介入手法2は約0.3、介入手法3は約0.2ほど、ユーザーがクリックした推薦作品の距離が遠くなっていることがわかります。
距離の絶対値に意味はありません。相対値にのみ意味があることに注意してください。

次に、推薦作品クリック率です。介入手法1と比べた介入手法2、介入手法3による推薦作品クリック率の差は以下のようになります。

介入手法1と比べた介入手法2、介入手法3による推薦作品クリック率の差
error bar は標準誤差 × 2を表す

距離の方向を考えずに離した介入手法2は推薦作品クリック率がわずかに下がります(有意差なし)が、ユーザが好む方向に距離を離した介入手法3は推薦作品クリック率が2.0pt上昇しました(5%有意)。従って、介入手法3は、ユーザーに飽きを刺激する多様な作品閲覧を促しつつ、ユーザーの興味を引く作品を推薦していると言えます。

まとめ

本研究では、小売業において研究されてきたVariety-Seekingという多様性を求める購買行動が、プラットフォームサービスにおけるデジタルコンテンツの閲覧行動でも見られるかを分析しました。 VSな行動を利用した推薦を行う事で、ユーザーに飽きを刺激する多様な作品閲覧を促しつつ、ユーザーの推薦作品クリック率を2.0pt上昇させました。企業としてもメリットのある研究となりました。

Spotifyの事例(Anderson et al, 2020)など推薦システムにおける多様性向上は最近ホットな話題ですが、マーケティングやユーザー行動の観点からアプローチした研究は珍しいのではないかと思います。

今後も改善を重ね、ユーザー体験をもっと向上させるような推薦システムを作っていきたいです。

さいごに

pixivでは推薦システムを自分自身の力でより良くしていきたいエンジニアを募集しています。

hrmos.co

参考文献

Kahn, Barbara E. (1995) “Consumer variety-seeking among goods and services: An integrative review,”Journalof Retailing and Consumer Services, Vol. 2, No. 3, pp. 139 – 148,

Anderson, Ashton, Lucas Maystre, Ian Anderson, Rishabh Mehrotra, and Mounia Lalmas (2020) “AlgorithmicEffects on the Diversity of Consumption on Spotify,” inProceedings of The Web Conference 2020, WWW ’20,p. 2155–2165