「鮮度」を意識して無駄になる分析をなくす話 #yjbonfire

「鮮度」を意識して 無駄になる分析をなくす話 2020年9⽉3⽇ 関⼝優希 Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved.

⽬次 ■⾃⼰紹介 ■なぜ分析では「鮮度」が重要か ■鮮度をいかにして上げるか ■鮮度を上げることで⽣じるリスクとどう戦うか ■それでも無駄になってしまったら ■まとめ Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 2

⾃⼰紹介 関⼝ 優希 @yuksekig • ヤフー株式会社 サイエンス統括本部 • 2017年 新卒⼊社 • データなんでも屋 • 博⼠(理学) Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 3

ヤフーでの仕事 • 領域を横断したKPI集計パイプラ インの整備 (エンジニア) • 上記KPI最⼤化のための分析と施 策検討 (アナリスト) • マルチビッグデータ利活⽤の推進 (サイエンティスト) Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 4

データ分析観点で⾒たヤフーの組織 ■メディアカンパニー/コマースカンパニー • 各サービスを作っている組織で、分析チームも持つ • データの⺠主化は結構進んでいる ■テクノロジーグループ サイエンス統括本部 • カンパニーから独⽴して存在 • 難易度が⾼い分析やサービス横断案件などを担当 Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 5

今⽇話すこと • 意思決定や施策につながらない分析＝無駄 • 無駄を減らすには分析の「鮮度」が重要 • いかにして鮮度を上げるか Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 6

分析の鮮度︖ Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved.

無駄になる分析が⽣じる頻出パターン 意思決定者/ 依頼者 「PayPay盛り上がってるし、PayPayからの流 ⼊がヤフーショッピングの売上にどれくらい貢献 しているか知りたいね。」 「承知しました、では調査して報告しますね。」 分析者 ※上のやり取りは全て架空の例です Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 8

無駄になる分析が⽣じる頻出パターン (1ヶ⽉後)「前回ご依頼頂いたPayPayからの流 ⼊の件を報告しまs」 分析者 「何の話だっけ︖今ZOZOTOWNがアツいんだけど。」 意思決定者/ 依頼者 「あっ……(この1ヶ⽉は無駄か〜)」 分析者 ※上のやり取りは全て架空の例です Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 9

鮮度が第⼀ • 意思決定者は暇ではなく、同時に案件を多数抱えている • 数値や分析に興味があるのは「今」である • 遅くなるほど「鮮度」が悪くなり、 意思決定者の温度感が下がる • 結果、分析がお蔵⼊りする Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 100 鮮度曲線(感覚) 50 0 1週 1⽉ 10

鮮度を上げるには︖ Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved.

分析の構造 仮説 集計 フィード バック 意思決定者/依頼者と のコミュニケーション (※データから洞察を得る⾏為全般) • 分析は上の構造に⼤体乗る • ①仮説⇔集計 or ②仮説/集計⇔コミュの速度を上げれば 鮮度が上がる Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 12

①仮説⇔集計のスピードを上げる • 欲しい数値の出し⽅を反射的にイメージできるようにする ・どこのどういうテーブルをどう組み合わせるか ・BIツールで済む︖SQL叩く︖PythonやRを使う︖ • 今必要な粒度/精度はどれくらいかを意識する ・仮説を検証するだけなら粗いデータでもOK • アンテナを張る ・便利なツールやテーブルが増えた際に使えるように Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 13

②仮説/集計⇔コミュのスピードを上げる • 定例の場を待たずに報告してフィードバックをもらう ・意思決定者が無理なら現場の⼈を捕まえる ・組織を跨ぐと若⼲やりづらいががんばる • (MTG中などで)話題に上った数値をその場で速攻で出す ・最も欲しい「今」出せると⾮常に強い • 出せるものから報告する ・⽇次単位は時間かかるが⽉次はすぐ出せるみたいな場合 Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 14

鮮度を上げる リスクと戦う Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved.

鮮度を上げると何が問題になるか︖ • ⼗分に依頼を吟味しない(仮説が誤っている)ままの着⼿ ・依頼者が「この数値を出して欲しい」としてくるが、 実際はそれを⾒ても知りたいことがわからない ・仮説を検証していく中で筋の良し悪しが⾒えるはず • 集計の誤り ・速くやると数値のミスが起きやすくなる ・これが最⼤の問題 Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 16

集計の誤りが何故問題か︖ アクセス数 分析者 1月 2月 3月 4月 5月 6月 7月 8月 「夏に⼊りアクセスが減少し ています。新規獲得減が原因 かもしれません。」 「新規は強⼒に広告打っ てて減ってないと思う。 既存を⾒てみて。」 意思決定者 /依頼者 • よくある光景︓分析者が出してきた数値をもとに議論が進む Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 17

集計の誤りが何故問題か︖ 「どう︖既存が減ってた︖」 アクセス数 (再集計) 意思決定者 /依頼者 1月 2月 3月 4月 5月 6月 7月 8月 分析者 「すみません、7⽉からロ グの形式変更あって集計ミ スってました」 • 仮説の誤りは意思決定者も気づきやすいが、そもそもの議論 のベースとなっている数値の誤りには気づきにくい Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 18

集計を誤るパターン • 書いたSQLやコードが誤っている • テーブル定義が変わっている • ログの落とし⽅が変わっている • サーバー障害などで⼤もとのログが⽋損している • 直接の責任が分析者にないパターンも多く、時間をかけたか らといって必ずしも正しくできるわけでもない 19 Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved.

数値の誤りに対する現実的な対策① • 細かい数値感覚(≒ドメイン知識︖)を⾝につける ・「売上が⼀番⾼いのは⽇曜⽇」「ここをクリックする⼈は 少ない」「CVRは0.1%前後」みたいな感覚 • 代表的な値を押さえればあとは推計できる • 不安があるときは検算する ・BIツールなどで近い定義の数値が出せるなら出して⽐較 Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 20

数値の誤りに対する現実的な対策② • 要所要所で共有を⾏う • 分析の過程で必要なSQLなど全てに対しレビューを⾏うのは 現実的に不可能 • ⼀⽅で、軽い「結果のシェア」は頻繁に⾏うべき • 結果を⾒せた⼈数が精度に直結する Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 21

それでも必ず誤りは起きる ○億円 Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 22

それでも必ず誤りは起きる ○億円 → ⾃分のミスによるKPIの 過⼤報告 ※あくまでも社内で使っているKPIで、IRで社外に公開しているような数値ではない Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 23

誤りを恐れず鮮度を上げる • 誤りを気にしない ・反省すべきところはする ・誤りを恐れて重要な分析をしなくなったら本末転倒 ・稀にやらかしたとしても、普段鮮度⾼く分析を積み上げてい ればちゃんと評価されるはず • 誤りが⾒つかったときに対応を迅速にする ・何が原因か、次同じことを起こさないか ・どこまでが正しい値で、どこからが誤っているか Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 24

それでも無駄に なってしまう場合 Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved.

どうしようもない理由から鮮度が落ちる • 分析に着⼿したがあまりにも筋が悪そうで撤退する場合 • 担当者が異動や退職をする • サービスの⽅針が⼤きく変わる • もっと温度感が⾼い案件が上から降りてくる 避けられない理由でお蔵⼊りになった場合どうするか︖ Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 26

腐る前に分析結果を冷凍する • とりあえず今の結果をまとめてドキュメント化する ・将来簡単に取り出せるよう整理しておく ・忘れた頃に⾒ることになるので、必ずSQLやスクリプトも添 え、適宜コメントを⼊れておく • こういうストックが多いと将来必ず役に⽴つ ・ドンズバな依頼なら即答えられる ・似たような依頼は作業を短縮して鮮度を上げられる Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 27

まとめ Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved.

分析が無駄になってしまうのを防ぐには • 意思決定者は考えること多い、分析結果が欲しいのは「今」 • 「今」が無理でもなるべく早く仕上げて無駄にならなくする • 意思決定者とのコミュニケーション頻度を上げる • 何をどうすれば集計できるかイメージできるようにする • 数値の誤りを恐れず鮮度を上げる Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 29

EOP Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved.