WSDM2016報告会−論文紹介(Understanding User Attention and Engagement in Online News Reading)#yjwsdm

WSDM 2016 報告 ”Understanding User Attention and Engagement in Online News Reading” ヤフー株式会社 鳥谷部 有子 2016年4月6日

紹介論文 (Yahoo Labs) Yahoo Faculty Research インターン時の論文 論文 スライド http://www.dcs.gla.ac.uk/~mounia/Papers/wsdm2016.pdf http://www.slideshare.net/mounialalmas/understanding-and-measuring-user-engagement-and-attention-in-online-news-reading

• http://www.dcs.gla.ac.uk/~mounia/Papers/wsdm2016.pdf

本論文のポイント オンラインニュースサイト(Yahoo! News)において 1. あらたなUser Engagement 指標「Viewport Time」を提案 2. ニュース記事の閲覧パターンを分析 3. 記事のコンテンツの素性で User Engagement を 予測 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 3

User Engagement とは？ ユーザーとコンテンツ間の 感情的、認知的、行動的な つながりの度合い (Attfield et al., 2011) ユーザーがニュースサイト上で どれだけの時間を費やしたか (stickness) Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 4

User Engagement 指標 CTR (Click Through Rate) アイトラッキング クリック数/表示回数 視線の位置や動きを測定するデバイスを用いて計測。 ・大規模な計測可 ・ノイズが多い ・非常に詳細な動きを取得可 ・コスト高 ・小規模 マウスカーソルトラッキング Dwell Time ユーザーのマウスカーソルの位置、時間を収集したもの。 ページ上の滞在時間 ・大規模な計測可 ・細かくUser Attentionを計測可 ・ニュース記事では、記事を読んでる間はマウスがほぼ動か ないため、User Attentionとの相関が低い ・大規模に計測が可能 ・User Engagementとの相関が高い ・ページ内のどこが見られていたかがわからない Beyond clicks: dwell time for personalization http://dl.acm.org/citation.cfm?id=2645724 Measuring User Engagement - https://labtomarket.files.wordpress.com/2013/05/measuringuserengagement_presented.pdf 5

• https://labtomarket.files.wordpress.com/2013/05/measuringuserengagement_presented.pdf
• http://dl.acm.org/citation.cfm?id=2645724

User Engagement 指標の課題 Dwell Timeによってわかってきたこと。 1. 2. 3. 興味ある記事では興味がない記事より滞在時間が長い。 Dwell Timeでは、ページ上の 「記事の長さ」と「読む時間」はとても弱い相関。ほとんどの記事は どこをユーザーが見ているのかがわからない！ 一部しか読まれない。 動画や写真の有無、レイアウト、読みやすさがユーザーの滞在時間に アイトラッキングでは詳細な注目箇所がわかるが 影響する。 コストがかかりすぎる！ ニュース記事を読む際、マウスカーソルはほぼ動かないので ユーザーがどこを注目しているかがわかりにくい！ Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 6

★Viewport Time★ Viewport Time 表示領域ごとの滞在時間 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 7

「Dwell Time」 vs 「Viewport Time」 Viewport Dwell Time Dwell Time ページ上の滞在時間 Viewport ・ ・ ・ ・ Viewport Time Viewport Time 各表示領域における滞在時間 ※ユーザーが記事のどこまで読んだか、記事のどこでどれぐらい 滞在したかがわかる。 ※アイトラッキングほど詳細に位置はわからないが,大規模に データ収集が可能 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 8

Viewport Time の取得方法 ・JavaScriptでスクロール位置, 表示領域サイズ(幅, 高 さ), コンテンツのポジション(記事のヘッダー, 本体, コメントブロック etc)を取得。 ・スクロールのタイミングで滞在時間を算出 i番目のスクロールでの表示領域に 座標yが入っていれば1, なければ0 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 9

本論文の論点 1. Viewport Time 取得 2. ニュース記事の閲覧行動パターン分析 3. 記事の内容からUser Engagement予測

1. Viewport Time 取得 1. ニュース記事閲覧時、どこでユーザーが時 間を使ってるか 2. 画像や動画コンテンツは滞在時間に影響を 与えるか

ニュース記事閲覧時の一般的なパターン 1. Viewport Time 取得 Yahoo!Newsの1か月分(@2013)のログデータでViewport Timeを集計。 ※PC, 1,971記事, 267,210PV, PV>10のみ,60％の記事はコメントあり 下部ほど滞在時間が減る (右下がり) 平均でみると、ピークが2箇所 （1000px, 5000px） 記事の下部にも ある程度滞在するユーザーもあり （=記事に興味あると考えられる） Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 12

画像・動画の影響は? 1. Viewport Time 取得 画像も動画ともに、ページ上部(ポジション<1000px)で大きな違い。 画像・動画があると、ページ上部での滞在時間が2倍程度になる。 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 オレンジ:画像/動画なし ブルー：画像/動画あり 13

本論文の論点 1. Viewport Time 取得 2. ニュース記事の閲覧行動パターン分析 ニュース記事を閲覧する際の行動パターンは？

行動パターン推定 (マルコフモデルで解析) Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 2. ニュース記事の閲覧行 動パターン分析 15

ニュース記事閲覧時の行動パターン 結論 ・多くのユーザーは上から下に読み進める。(一定数は一旦topに戻り離脱) ・どこまで読み進めるかはユーザーによって異なる。 →「より多く読むほど、Engagementが強い」と考えられそう Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 2. ニュース記事の閲覧行 動パターン分析 ページ離脱前に 一度topに戻る 16

Engagement Level Metrics : 4 levels 2. ニュース記事の閲覧行 動パターン分析 ページ訪問するもすぐ離脱 (Dwell Time < 10sec) 記事本体の閲覧：50％以下。 (記事本体のviewport time≧5s) 記事本体の閲覧：50％以上。 コメント欄でコメント記載or 返信 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 17

Level別 Viewport Time - Engageが強くなるほど Viewport time は高くなる - CompleteのみBi-modalのかたち 18

本論文の論点 1. Viewport Time 取得 2. ニュース記事の閲覧行動パターン分析 3. 記事の内容からUser Engagement予測 コンテンツからUser Engagementを 正確に予測できるか

ニュース記事のUser Engagementを予測する 3. 記事の内容からUser Engagement予測 この記事のUser Engagement Level の分布は？ これができたら、ニュース記事の最適化が可能に！ Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 20

3. 記事の内容からUser Engagement予測 TUNE : LDA(潜在的ディリクレ配分法)ベース Topics of User Engagement 「記事の内容（文字数、メディアコンテンツの有無、 ワードの共起など）」と「User Engagement Level」を使ってモデル化 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 21

結果 : 予測精度 (正解との相関係数) 3. 記事の内容からUser Engagement予測 base 最もパフォーマンスが 高かったセット (baseとの比較) Dwell TimeはBounceの 予測精度は高いが他は低い Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 Media素性を追加しても%bounce はあまり改善しない。 →ページ上の滞在時間は増加するが、 Bounce判断にはあまり寄与しない 22

まとめ  Viewport Timeを使うことで、ユーザーがどこをどれぐらい見ていた かを測ることが可能になった。  ニュース記事の閲覧パターンを分析  ユーザーによって読む深さが異なる。(Bounce < Shallow < Deep < Complete)  上から下に読み、一部のユーザーは離脱前に上部に戻る ニュース記事のコンテンツからUser Engagementのレベルを予測で きた。   Dwell TimeよりViewport Timeの方が高い予測精度 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 23

ありがとうございました。 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 24