【DeNA × AI Day】 つながるライブ配信Pocochaで学ぶ!サービスを成長させるAI活用

つながるライブ配信Pocochaで学ぶ! サービスを成⻑させるAI活⽤ 1 © DeNA Co., Ltd.

本⽇登壇する社員 2 吉⽥ 知貴 AI技術開発部 ライブコミュニティグループ グループマネージャー 横⼭ ⻯祐 カスタマーサービス部 サポート第⼀グループ CSチーム AI施策担当 菅原 悠樹 AI技術開発部 ライブコミュニティグループ CS x AI チームリード 違反検知モデル、レコメンドモ デル開発 課題提起、AIを活⽤したCSオペ レーションの導⼊ 違反検知モデル開発 © DeNA Co., Ltd.

本⽇の発表では Pocochaを⽀えるAI活⽤の全貌 を紹介します 3 © DeNA Co., Ltd.

先に結論：AIの取り組みの全体像 Pocochaを成⻑させる 成⻑したPocochaを健全に保つ ユーザー体験向上 健全性担保 ユーザー理解 計算社会科学、ネットワーク分析 違反検知 配信違反検知、プロフィール違反検知 レコメンド 既存リスナー向け推薦、新規リスナー向け推薦 ファン定着 4 早期発⾒ 業務効率化 ロングテール © DeNA Co., Ltd.

先に結論：3つのAIチームによる成果 ユーザー理解 レコメンド 違反検知 計算社会科学、ネットワーク分析 既存リスナー向け推薦、新規リスナー向け推薦 配信違反検知、プロフィール違反検知 Social Data Science ユーザー⾏動理解のた めの分析 複雑な⾏動を定量化！ 国際会議IC2S2採択！ Product AI プロダクトのユーザー 体験の向上 ファン獲得率の⾼い おすすめタブを開発！ CS AI CS（カスタマーサポー ト）審査業務の効率化 ⼈審査数の60％削減！ 5 © DeNA Co., Ltd.

⽬次 1. Pocochaとは？ 2. ユーザー体験向上の取り組み a. ユーザー理解編 b. レコメンド編 3. カスタマーサポート審査業務効率化 a. CS業務全体 b. CS x AI 4. まとめ 6 © DeNA Co., Ltd.

1. Pocochaとは？ 7 © DeNA Co., Ltd.

とは ● DeNAが提供するライブコミュニケーションアプリ ○ 2017年1⽉リリース ● 配信者（ライバー）がライブ配信をして、 視聴者（リスナー）がコメントやアイテムを使って、 配信を盛り上げ、ライバーとリスナーが⼀緒に楽しむ 8 © DeNA Co., Ltd.

ライブコミュニケーションアプリ？ ライブ配信アプリじゃないの？ 9 © DeNA Co., Ltd.

Pocochaの特徴 ● ライバーとリスナーの双⽅向のコミュニケーションを⼤切にしている ○ 他サービスが数百〜数千のリスナーが集まるのに対し、 Pocochaは数⼗⼈の⼩さなコミュニティ ● リスナーとの距離感が近い ○ ⼊室時、コメント/アイテムに対して都度反応がある ● ロングテールを⽬指している ○ 多様な個性を尊重しユーザー各々の居場所をつくる ファンの数 ここを⼤事にしている ライバー 10 © DeNA Co., Ltd.

Pocochaの健全性 Pocochaは健全性が⾼いという特徴もある ● CS（カスタマーサポート）による24時間365⽇体制の配信⾒回り ● ポリシー ○ アダルトNG（胸元強調、露出多め、⼊浴中など） ○ 未成年NG ○ 運転中の使⽤NG ○ 個⼈情報の掲載、出会い⽬的の使⽤NG など 11 © DeNA Co., Ltd.

2. ユーザー体験向上の取り組み 12 © DeNA Co., Ltd.

ユーザー理解編 （Social Data Scienceチーム） ユーザー体験向上 健全性担保 ユーザー理解 計算社会科学、ネットワーク分析 違反検知 配信違反検知、プロフィール違反検知 レコメンド 既存リスナー向け推薦、新規リスナー向け推薦 ファン定着 13 早期発⾒ 業務効率化 ロングテール © DeNA Co., Ltd.

Pocochaで集まるデータ タイムライン 視聴中 ‧動画データ ‧プロフィール画像 ‧プロフィール⽂章 ‧閲覧/視聴/検索履歴 ‧コメント送付 ‧アイテム送付 ‧エール取得 動画‧画像‧テキスト‧ログデータと様々なデータが存在 14 © DeNA Co., Ltd.

なぜデータ分析が必要なのか？ ● ロングテールを掲げているPocochaにとって、 ○ どんなタイプのユーザーがいるのか ○ どんな⾏動遷移をして定着するのか という個々のユーザー理解をするのは重要 ● ⼤量に蓄積されたデータを⼈の⽬で⾒るのは不可能 → データサイエンスの⼒でユーザーを理解する ユーザーの⾏動データを分析し、 国際会議IC2S2採択までした話をします！ 15 © DeNA Co., Ltd.

ユーザー⾏動分析 蓄積されたユーザーの⾏動データを分析して意思決定につなげる！ ● ネットワーク分析 ○ ユーザーのつながり可視化ツール ○ アイテムの連鎖のつながり ● 計算社会科学 太字部分を簡単に紹介 ○ 探索と深化の研究 ○ ユーザーアンケート分析 ○ 推し活動の分析 ○ ロングテール分析 16 © DeNA Co., Ltd.

ネットワーク可視化ツール ● つながりの可視化 ○ コアファン ○ アイテム送付 ○ フォロー など ● 影響度のあるユーザー可視化 活⽤例：離脱連鎖のモニタリングとアラート 17 © DeNA Co., Ltd.

探索と深化の研究 ‧探索：いろんなライバーを⾒る ‧深化：特定の同じライバーを⾒る 国際会議 IC2S2採択 Turnover Rate：あるリスナーが週に訪れた配信枠のうち新規枠の割合 時間経過ごとに 探索が落ち着く 探索⾏動は ⼀定に落ち着く パーソナライズに重要そうな変数を発⾒できた！ 活⽤例：探索具合に応じてレコメンド切り替える 18 © DeNA Co., Ltd.

ユーザーアンケート分析 国際会議 CHI提出 活⽤例： アンケート項⽬ ● 不満⾜に思う⼈ほど、いろんな枠を⾒て探索している（＝Turnover Rateが⾼い） 不満⾜ 満⾜度をあげる ⾏動を促す施策⽴案 19 Turnover Rate が⾼い © DeNA Co., Ltd.

レコメンド編 （Product AIチーム） ユーザー体験向上 健全性担保 ユーザー理解 計算社会科学、ネットワーク分析 違反検知 配信違反検知、プロフィール違反検知 レコメンド 既存リスナー向け推薦、新規リスナー向け推薦 ファン定着 20 早期発⾒ 業務効率化 ロングテール © DeNA Co., Ltd.

Pocochaのタイムライン タブごとに配信中のライバーが並んでお り、画像をタップすると視聴が始まる ● タブの種類（抜粋） ○ ランカー/ホープ/ルーキー/デ ビュー：ライバーランクごと ○ 地域：ライバーの登録地域ごと ○ おすすめ：AIによってレコメン ドされたライバー 21 タブ © DeNA Co., Ltd.

Pocochaにおけるレコメンドの必要性 ● ⼈気なライバーだけをオススメすればよいのでは？ ○ ⼈によって好みは異なる ○ 全てのライバーにファンがついて「誰かにとっての特別な存在」 になれる環境を⽬指したい（ロングテール） ● 検索機能があれば好みのライバーを探せるのでは？ ○ 配信枠のリスナーの雰囲気も含め、 相性が良い⼈に検索だけでたどり着くのは困難 → レコメンドが必要 コアファン獲得率の⾼い「おすすめタブ」を作った話、 新規の継続率が1~2%向上した話をします！ 22 © DeNA Co., Ltd.

Pocochaのレコメンドの取り組み ● レコメンド：リスナーにおすすめのライバーを 提⽰すること ● アプリの「おすすめ」タブで提供中 既存リスナー向け推薦 新規リスナー向け推薦 対象 ユーザー 直近の⾏動履歴のあるユーザー 登録して数⽇のデータの少ない新規 ユーザー ⽬的 ユーザにとって居⼼地が良く、 ⻑く応援できる配信枠との 出会いを提供する 継続して視聴したくなるような推しの 早期発⾒ KPI コアファン獲得 初視聴から1週間以内に3⽇以上継続視聴 23 © DeNA Co., Ltd.

おすすめタブの効果 ● コアファン獲得率 2位 / 全タブ中（約20個）※2024年9⽉データ、1週間以内コアファン タブ間⽐較 コ ア フ ァ ン 獲 得 率 おすすめタブ 様々なランクのライバーを推薦 24 上位ランカーのみを表⽰しているタブ © DeNA Co., Ltd.

既存リスナーに向けたレコメンド ● ⾏動データが⼗分ある既存ユーザーに向けた推薦モデル リスナー特徴量 ユーザーの ⾏動履歴 AIモデル ライバー特徴量 コアファンのなりやすさ ぽこボックス： コメントと時間経過で無料コイン を獲得できる仕組み ● 考慮した点 ○ ⼈気ライバーばかり提⽰していないか？ ■ ロングテール指標の確認 ○ BOX訴求をするライバーばかりを推薦していないか？ ■ 学習データ整備 25 © DeNA Co., Ltd.

新規リスナーに向けたレコメンド ● データが⼗分に無い登録したての新規リスナー向け推薦モデル 視聴したライバー系列 AIモデル 推しになる確率 何⽇も継続視聴されるライバー ● ⾮AIの既存ロジックとの⽐較で、 フォロー率、1day継続率、3day継続率を1~2%改善 26 © DeNA Co., Ltd.

学び ● 学術知⾒に基づく分析による客観性の⾼い洞察が施策につながる ○ 重要な変数の発⾒ ○ 特定の観点を深ぼることで⽣まれる新しいレコメンドの可能性 ● レコメンド導⼊の際に意識すること ○ ⽬的明確化：導⼊の⽬的を明確にしましたか？ ○ 必要性検討：そのレコメンド本当に必要ですか？ ○ 改善計画：いきなり重たい推薦モデルが必要ですか？ ○ メンテナンス性：そのモデルずっと⾯倒⾒れますか？ 27 © DeNA Co., Ltd.

3. カスタマーサポート審査業務効率化 28 © DeNA Co., Ltd.

CS業務全体 横⼭ ⻯祐 CSチーム AI施策担当 29 © DeNA Co., Ltd.

Pocochaでの審査体制 Pocochaでは 『 安⼼‧安全 』 なサービス提供するために、 審査チームによるサイトパトロールを実施している。 ● 365⽇24時間体制で審査を実施 ● 審査担当が⼀つ⼀つ内容を確認 ● 利⽤状況を調査したうえで統⼀的な基準に沿って対応 30 © DeNA Co., Ltd.

Pocochaでの配信監視 ● 監視対象を複数のトリガーで検知し確認している ● 捕捉された違反は全て⼈間が確認し警告‧BANを実施している 31 © DeNA Co., Ltd.

Pocochaでのプロフィール審査 ● ユーザーが更新したプロフィール画像/テキストを審査 ● ⽉間100万件ほどを⼈間の⽬で確認し審査している ○ 配信と同様に全て⼈間が確認し警告‧BANを実施している 32 © DeNA Co., Ltd.

審査体制での課題 『⼈間だけでは⾒切れないボリュームになっている』 それにより... ● ⼈間が⾒れていない範囲で違反があるかもしれない ● 違反発⽣してから捕捉までの時間差が⽣まれてしまう ● 審査コストが⼤きくなっているので効率化したい 33 © DeNA Co., Ltd.

審査体制でのAI活⽤ ● 審査では “印象” を扱うことが多く⾃動化の難易度が⾼い ○ 例)この画像には〇〇の要素があり、アダルト違反に該当する ○ 例)このテキストは〇〇の要素があり、誹謗中傷違反に該当する ⇒ “印象” をAIの活⽤によって定量化し、 審査業務の効率化‧健全性の向上を実現したい 34 © DeNA Co., Ltd.

CS x AI （CS AIチーム） ユーザー体験向上 健全性担保 ユーザー理解 計算社会科学、ネットワーク分析 違反検知 配信違反検知、プロフィール違反検知 菅原 悠樹 データサイエンティスト レコメンド 既存リスナー向け推薦、新規リスナー向け推薦 ファン定着 35 早期発⾒ 業務効率化 ロングテール © DeNA Co., Ltd.

AI導⼊前の課題 多くのユーザーによりコンテンツが⽇々⽣成されているが、 取り締まりたい違反コンテンツはごく⼀部 ➔ ⼈のみに頼った審査では⾮効率的 ‧⼤量の無駄な審査 ‧違反コンテンツ審査までの⻑いラグ 違反コンテンツ ➔ ➔ データ化 抽出 … コンテンツを 順次審査 ⼤量のコンテンツ 36 © DeNA Co., Ltd.

⼈審査とAI審査の⽐較 ⼈審査とAI審査には相補的な利点‧⽋点が存在 ◯: 複雑なコンテキスト に沿った審査が可能 ◯: ⼤量の審査を ⾼速‧低コストで可能 ×: 審査に時間がかかり 運⽤コストが増⼤しやすい ×: 複雑なコンテキストを 考慮した審査が困難 ⼈審査 37 AI審査 © DeNA Co., Ltd.

AIを活⽤したソリューション ⼈審査とAI審査それぞれのメリットを活かした審査体制を導⼊ ● コンテンツをAI審査でフィルタリング ● AI審査でNG判定のコンテンツについて⼈審査を実施し最終判断 OK コンテンツ 対処なし OK ‧配信映像 ‧プロフィールなど AI審査 NG NG 警告‧BAN ⼈審査 38 © DeNA Co., Ltd.

AI審査の導⼊フロー 過去データを利⽤したAI導⼊時のシミュレーション 事前⾒積 ➔ ⼗分な導⼊効果‧受容可能なリスクであることを⾒積り AI審査の段階的‧⼩規模な本番導⼊ 段階的導⼊ ➔ ⾒積もり通りであることを確認 AI審査の本導⼊とリリース後モニタリング 本運⽤ 39 ➔ 審査数や違反捕捉数、通報件数の変化を監視 © DeNA Co., Ltd.

事例1：プロフィール審査ヘのAI導⼊ ● 従来のプロフィール審査体制 ○ プロフィールに少しでも変更があるたびに⼈審査を実施 ● 課題 ○ 明らかに問題のないプロフィールでも審査⼯数を消費 ■ 例:「こんにちは」➔「こんにちは。」 ○ 単純なNGワード設定では⾒落としが多く発⽣ ■ 伏せ字や⽂字種の違いなど ■ 例:「〽゜ʒ〽゜ʒ」, 「 P◯c0-チャ」 40 © DeNA Co., Ltd.

事例1：プロフィール審査ヘのAI導⼊ ● 画像違反‧⽂章違反を判定するAIを内製開発‧運⽤ ○ Pococha内審査データを利⽤することで厳しい審査基準に対応 ● ⽂章審査AIでの⼯夫 ○ ユーザー名や⾃⼰紹介等、異なる⽂章分類タスクを統⼀的に処理 ■ ⼊⼒⽂章にタスク種別を明⽰するテクニック ■ 例：[BIO] + こんにちは, [NAME] + 太郎 タスク種別 + 対象⽂章 Transformer系 モデル 違反確率 プロフィール⽂章審査AI 41 © DeNA Co., Ltd.

事例1：プロフィール審査ヘのAI導⼊ ● 開発した審査AIを⽤いて全件をフィルタリング ○ 違反可能性が⾼いプロフィールを⼈が重点的に審査 ‧プロフ画像違反判定AI ‧プロフ⽂章違反判定AI OK 対処なし OK プロフィール AI審査 ➔ ⼈審査数の60%を削減 42 NG NG 警告‧BAN ⼈審査 © DeNA Co., Ltd.

事例2：配信審査ヘのAI導⼊ ● 従来の配信審査体制 ○ 過去の配信状況などからライバー毎に違反確率を推定 ○ 違反確率に応じた頻度で⼈による⾒回り審査を実施 ● 課題 ○ 違反が発⽣しても次の⾒回り審査まで対処が遅れてしまう ○ ユーザー通報により捕捉される違反も多い 43 © DeNA Co., Ltd.

事例2：配信審査ヘのAI導⼊ ● 従来の定期的な⾒回り審査に加えて、AIで違反検知された配信を 優先的に審査 ‧配信画像違反判定AI OK 対処なし OK 配信映像 AI審査 NG NG 警告‧BAN ➔ 違反への素早い対処が可能に ⼈審査 44 © DeNA Co., Ltd.

学び（重要なこと） ● 課題の明確化とチーム連携が成功へのカギ ○ 業務フローの明確化からボトルネックを洗い出す ○ 事業部とAIチームで協⼒して解決策を考える ● 導⼊前のシミュレーション & 導⼊後のモニタリング ○ AI導⼊シミュレーションでAI導⼊のリスクと効果を把握 ○ リリース後モニタリングで効果を可視化 45 © DeNA Co., Ltd.

まとめ 46 © DeNA Co., Ltd.

まとめ Pocochaを成⻑させる 成⻑したPocochaを健全に保つ ユーザー体験向上 健全性担保 ユーザー理解 計算社会科学、ネットワーク分析 違反検知 配信違反検知、プロフィール違反検知 レコメンド 既存リスナー向け推薦、新規リスナー向け推薦 ファン定着 47 早期発⾒ 業務効率化 ロングテール © DeNA Co., Ltd.

3つのAIチームによる成果 ユーザー理解 レコメンド 違反検知 計算社会科学、ネットワーク分析 既存リスナー向け推薦、新規リスナー向け推薦 配信違反検知、プロフィール違反検知 Social Data Science ユーザー⾏動理解のた めの分析 複雑な⾏動を定量化！ 国際会議IC2S2採択！ Product AI プロダクトのユーザー 体験の向上 ファン獲得率の⾼い おすすめタブを開発！ CS AI CS（カスタマーサポー ト）審査業務の効率化 ⼈審査数の60％削減！ 48 © DeNA Co., Ltd.