【DeNA × AI Day】 DeNAのAI技術獲得戦略

DeNAのAI技術獲得戦略 データ統括部 AI技術開発部 1 藤川 和樹‧村上 直輝 © DeNA Co., Ltd.

本セッションの内容 1. DeNAのAI技術獲得戦略 ○ ○ ○ 事業ドメインに特化したAI部⾨の組織構成と起こり得る課題 継続的な技術獲得を実現するための取り組み 取り組みによって得られた組織の強み 2. 技術獲得 → 事業での活⽤事例 ○ ○ ○ 2 ⼊社直後の技術的不安を解消し⾃信を得た体験談 事業に必要な推薦技術の input/output の場としての活⽤例 新たなドメイン/技術領域へのチャレンジ © DeNA Co., Ltd.

⾃⼰紹介 藤川 和樹（Kazuki Fujikawa） AI技術開発部 副部⻑‧データサイエンティスト ● キャリア ○ ○ 2014年新卒⼊社 スポーツ‧ライブ‧ヘルスケアなど 幅広いドメインのML案件を担当 ● 現在の業務 ● 3 ○ AI組織のマネジメント ○ 新規PJ⽴ち上げ AIコンペティション ○ Kaggle Grandmaster ○ NLP‧推薦‧化学など © DeNA Co., Ltd.

本セッションの内容 1. DeNAのAI技術獲得戦略 ○ ○ ○ 事業ドメインに特化したAI部⾨の組織構成と起こり得る課題 継続的な技術獲得を実現するための取り組み 取り組みによって得られた組織の強み 2. 技術獲得 → 事業での活⽤事例 ○ ○ ○ 4 ⼊社直後の技術的不安を解消し⾃信を得た体験談 事業に必要な推薦技術の input/output の場としての活⽤例 新たなドメイン/技術領域へのチャレンジ © DeNA Co., Ltd.

DeNAのAI部⾨が向き合っていること ● DeNAのAI部⾨は『事業の成⻑戦略をAIで⽀える』ミッションを担う ● ミッション達成には以下2点が必要 ○ ○ 5 事業に深く⼊り込み、解くべき問題を⾒極めること 幅広い分野で⾼い技術⼒を保有すること ゲーム x 強化学習 スポーツ x 動画解析 ライブ配信 x 推薦 医療 x ⽣成AI 現代ゲームでの最強対戦 AI の作り ⽅！『逆転オセロニア』AI がトッ プレベルの強さに到達した理由 バスケットボール試合映像を⽤ いたボールトラッキングデータ の作成 新規リスナー向けリアルタイム レコメンドモデル‧⾮同期推論 基盤開発の取り組み 認知症‧軽度認知障害1000万 ⼈時代：誰もが穏やかに過ごせ る社会を⽣成AIで実現 © DeNA Co., Ltd.

• https://cedil.cesa.or.jp/cedil_sessions/view/2646
• https://engineering.dena.com/blog/2024/10/kbt-ball-tracking/
• https://dena.com/jp/story/89/
• https://engineering.dena.com/blog/2023/01/ai-intern-22-nakai/

DeNAのAI部⾨の組織構成 ● 特に『事業に深く⼊り込む』ことを⽬的に、原則として事業ドメイン に特化したグループを構成 スポーツ ゲーム ... ライブ配信 ヘルスケア‧他 ... ... ライブコミュニティG AIイノベーションG ... AI技術開発部 ゲームエンタメG RL 6 RL DS CV ビジョン‧スポーツG CV CV DS DS CV DS DS DS CV DS DS DS © DeNA Co., Ltd.

事業特化の組織構成で起こり得る課題 ● ① 先端技術をキャッチアップする余⼒が無くなる ○ 技術選択の精度が下がる‧シーズベースの提案が難しくなる ● ② 事業ニーズの波によって専⾨家が不⾜する ○ 特定の技術需要が重なると部⾨内の専⾨家で対応できなくなる ● ③ 事業毎に技術が分断され、積み上げが無くなる ○ 7 ナレッジが共有されず、他事業で先⾏して取り組んだ 優位性が失われる © DeNA Co., Ltd.

事業特化の組織構成で起こり得る課題 ● ① 先端技術をキャッチアップする余⼒が無くなる ○ 技術選択の精度が下がる‧シーズベースの提案が難しくなる ● ② 事業ニーズの波によって専⾨家が不⾜する ○ 特定の技術需要が重なると部⾨内の専⾨家で対応できなくなる ● ③ 事業毎に技術が分断され、積み上げが無くなる ○ ナレッジが共有されず、他事業で先⾏して取り組んだ 優位性が失われる 社内での取り組みによって、個⼈や組織が どのように変化したのかについてお話します！ 8 © DeNA Co., Ltd.

本セッションの内容 1. DeNAのAI技術獲得戦略 ○ ○ ○ 事業ドメインに特化したAI部⾨の組織構成と起こり得る課題 継続的な技術獲得を実現するための取り組み 取り組みによって得られた組織の強み 2. 技術獲得 → 事業での活⽤事例 ○ ○ ○ 9 ⼊社直後の技術的不安を解消し⾃信を得た体験談 事業に必要な推薦技術の input/output の場としての活⽤例 新たなドメイン/技術領域へのチャレンジ © DeNA Co., Ltd.

取り組み① Kaggle社内ランク制度 ● 業務時間を使ったKaggleなどのコンペティション参加を認める制度 ○ ○ ○ ○ トップランカーも多数在籍（GM: 5名、Master: 8名）※ Kagglerの半数程度は業務⼯数を利⽤（20~50%）※ Google Cloud利⽤⽀援も利⽤可能（20万円/⽉） 専⾨性の拡⼤‧積極的な外部発信による認知拡⼤を期待 2023/04以降の主な実績 ※ 2023/07 atmaCup - #15: 1st / 661 teams 2023/10 Kaggle - LLM Science Exam: 11th / 2,745 teams 2023/12 Kaggle - Child Mind Institute: 1st / 1,877 teams 2023/12 Kaggle - Stanford Ribonanza: 8th / 755 teams 2023/12 atmaCup - #16: 1st / 666 teams 2024/02 Kaggle - Santa 2023: 3rd / 1054 teams 2024/06 RecSys Challenge 2024: 1st / 145 teams 2024/07 Kaggle - LEAP: 4th / 693 teams 2024/07 Kaggle - USPTO: 1st / 571 teams 2024/12 Kaggle - Eedi: 4th / 1449 teams ※2024/12現在 10 © DeNA Co., Ltd.

取り組み② 国際学会派遣制度 ● 注⼒技術領域の先端技術獲得を⽬的に、国際学会参加を認める制度 ○ ○ ○ 先端研究動向を把握し、事業で活⽤する際の指針にする 優秀な研究者とのネットワークづくり 社内勉強会での報告を通じて横展開 CVPR2024 11 RecSys2024 © DeNA Co., Ltd.

取り組み③ 技術共有会 ● GO株式会社のAI部⾨と共催で、技術トピックの共有会を実施 ○ ○ ○ 社内プロジェクトの技術解説、論⽂‧Kaggle解法紹介等持ち回り 多様な技術領域の専⾨家から技術解説を聞くことができる 社内に資料や録画が残っており、必要に応じて⾒返す事も可能 （2017/1〜, 毎週40分x2テーマ） 公開済みの資料は以下URLから 閲覧可能です！ https://dena.ai/community/ 12 © DeNA Co., Ltd.

• https://dena.ai/community/

取り組み④ ⽉次プロジェクト報告会 ● 各プロジェクトの⽬標や進捗などを部⾨全体に⽉次で共有 ○ ○ プロジェクトで得た学びを他グループに展開 他グループで取り組む課題を知ることで、類似のタスクに取り組む 際に相談できるような体制を作る AI技術開発部 ゲームエンタメG RL 13 RL DS CV ビジョン‧スポーツG CV CV DS DS ライブコミュニティG CV DS DS DS AIイノベーションG CV DS DS DS © DeNA Co., Ltd.

取り組み⑤ 対外発信‧組織貢献の評価明確化 ● 対外発信‧組織貢献に繋がるアウトプットを成果として評価する 仕組みを導⼊ ○ あくまで事業貢献評価が主ではあるものの、①〜④などを活⽤して 採⽤活動など組織に貢献できた場合に賞与評価に反映 各評価の関係図 プロジェクト成果 事業貢献 評価 技術開発 評価 事業貢献：8 個人成果 プロダクト 開発 事業貢献 評価 組織 貢献 対外 発信 組織貢献・対外発信：2 ※半期ごとの賞与評価に反映。ベース給与評価は別の評価制度が存在 14 © DeNA Co., Ltd.

本セッションの内容 1. DeNAのAI技術獲得戦略 ○ ○ ○ 事業ドメインに特化したAI部⾨の組織構成と起こり得る課題 継続的な技術獲得を実現するための取り組み 取り組みによって得られた組織の強み 2. 技術獲得 → 事業での活⽤事例 ○ ○ ○ 15 ⼊社直後の技術的不安を解消し⾃信を得た体験談 事業に必要な推薦技術の input/output の場としての活⽤例 新たなドメイン/技術領域へのチャレンジ © DeNA Co., Ltd.

取り組みによって得られた組織の強み ● 課題① 先端技術をキャッチアップする余⼒が無くなる ➟ 国際学会制度や技術共有会をきっかけに体系的に学ぶことで、 技術動向や限界を踏まえた技術選択が可能に 最近の動向はどうなっ ているんだろう...？ トップ国際学会の トレンドは〇〇だな コンペでも△△が トレンドになって きてるな 技術共有会のネタに 論⽂を読んでまとめよう 16 © DeNA Co., Ltd.

取り組みによって得られた組織の強み ● 課題② 事業ニーズの波によって専⾨家が不⾜する ➟ ➟ RL‧CVなど専⾨性要する分野のニーズが急増した場合に、 周辺分野のコンペで実績あるメンバーをアサイン可能 少数精鋭で多様なドメインの案件に対応可能な筋⾁質な組織に CVのニーズが 急増！ CVコンペで 実績あります！ 17 DS DS DS 複数分野のコンペで 実績あります！ ゲームエンタメG ライブコミュニティG CV RLの開発速度 を上げたい！ DS RL RL DS CV DS © DeNA Co., Ltd.

取り組みによって得られた組織の強み ● 課題③ 事業毎に技術が分断され、積み上げが無くなる ➟ ➟ 18 技術共有会やプロジェクト報告会などでノウハウは共有、 他事業での成功/失敗を活かして経験者が⽴ち上げを主導 多事業ならではの経験の幅は組織の強みに © DeNA Co., Ltd.

本セッションの内容 1. DeNAのAI技術獲得戦略 ○ ○ ○ 事業ドメインに特化したAI部⾨の組織構成と起こり得る課題 継続的な技術獲得を実現するための取り組み 取り組みによって得られた組織の強み 2. 技術獲得 → 事業での活⽤事例 ○ ○ ○ 19 ⼊社直後の技術的不安を解消し⾃信を得た体験談 事業に必要な推薦技術の input/output の場としての活⽤例 新たなドメイン/技術領域へのチャレンジ © DeNA Co., Ltd.

⾃⼰紹介 村上 直輝 (Naoki Murakami) AI技術開発部 データサイエンティスト ● キャリア ○ ○ 学⽣時代にAIの受託開発で起業 2023年にDeNAに新卒として⼊社 ● 実績 ○ 国内外のAIコンペティションで 複数回優勝経験 ● Kaggle Grandmaster 20 © DeNA Co., Ltd.

本セッションの内容 1. DeNAのAI技術獲得戦略 ○ ○ ○ 事業ドメインに特化したAI部⾨の組織構成と起こり得る課題 継続的な技術獲得を実現するための取り組み 取り組みによって得られた組織の強み 2. 技術獲得 → 事業での活⽤事例 ○ ○ ○ 21 ⼊社直後の技術的不安を解消し⾃信を得た体験談 事業に必要な推薦技術の input/output の場としての活⽤例 新たなドメイン/技術領域へのチャレンジ © DeNA Co., Ltd.

そもそもの⼊社背景 ● 学⽣当時、⾃⾝の技術的な伸び悩みを感じていた ○ 周囲にAI技術に強い⼈間が少なかったため ● 成⻑が⾒込めそうという理由もあり⼊社を決定 なぜ成⻑が⾒込めそうか？ ● ● ● 22 社内にAI技術に強い⼈材がいる Kaggle制度などの⾃⼰研鑽のための制度がある 若⼿社員が活躍している © DeNA Co., Ltd.

⼊社直後の不安 技術的な成⻑が本当 にできるのか？ ⾃⾝の技術⼒で成果が 出せるのか？ そもそも Kaggle 制度や 国際学会派遣制度って 本当に使えるのか？ 23 © DeNA Co., Ltd.

転機：短期間のKaggle制度活⽤により成果 業務に慣れてきた頃... 短期間のコンペティションが開催 ● 約10⽇間のコンペティション（atmaCup#15 ） ● ちょうど業務に関わる推薦タスクのコンペ 業務調整をしつつ、Kaggle制度を利⽤して 平⽇５⽇間の会議以外の時間をコンペ参加に使う 🥇 優勝！技術⼒の不安も解消 24 © DeNA Co., Ltd.

この経験が実務の何に役⽴ったか？ その１：技術的な⾃信が円滑な業務推進につながった ● コンペで得られたもの ○ ● コンペティションを通して得た技術的な⾃信 役に⽴ったこと ○ ステークホルダーとやり取りする際に、知識や経験から⾃信をもってより良い意 ⾒‧具体的な情報を伝えられるように 「これってもっと性能上がるか確かめるのにどれくらい時間が必要そう？」 参加前：(何をしたら改善できるか⾃信ないな)「やってみないと分からないです」 参加後：(あれ試したら多分改善できそうだな)「これやるので１週間ください！」 25 © DeNA Co., Ltd.

この経験が実務の何に役⽴ったか？ その２：最新⼿法の導⼊検討に役⽴った ● コンペで得られたもの ○ ● コンペで利⽤したグラフニューラルネットワーク(GNN)の知識と経験 ■ 推薦システムで性能が⾼いとされている⽐較的新しい⼿法 役に⽴ったこと ○ 利⽤経験から性能改善などに使えるかの判断に役⽴った ■ 単体では性能⾯で既存モデルを超える可能性が低い ■ 既存モデルと併⽤するのも実装‧計算コストが多く⾒送り 組織的な観点でも、事業で必要になった技術を獲得でき、 「課題② 事業ニーズの波によって専⾨家が不⾜する」 の解決に繋がっている 26 © DeNA Co., Ltd.

本セッションの内容 1. DeNAのAI技術獲得戦略 ○ ○ ○ 事業ドメインに特化したAI部⾨の組織構成と起こり得る課題 継続的な技術獲得を実現するための取り組み 取り組みによって得られた組織の強み 2. 技術獲得 → 事業での活⽤事例 ○ ○ ○ 27 ⼊社直後の技術的不安を解消し⾃信を得た体験談 事業に必要な推薦技術の input/output の場としての活⽤例 新たなドメイン/技術領域へのチャレンジ © DeNA Co., Ltd.

きっかけ：事業で必要になった推薦技術 ● ライブコミュニケーションアプリ Pococha でより良い推薦システムが求められている ○ リスナーさん‧ライバーさんの双⽅にとって 魅⼒的な推薦/マッチングを実現したい ● 🤔 業務アサイン直後の困りごと ○ ○ 28 推薦システム分野の技術的な全体像が掴めていなかった ■ 情報収集や⼿法の⽐較検討が進めにくい 最新の動向を掴めていないことによる出遅れリスク © DeNA Co., Ltd.

転機：国際学会への参加 ● ちょうど良いタイミングで国際学会聴講の希望を聞かれた 国際学会の聴講で⾏きたい 学会ありますか？ 推薦システムの学会に ⾏きたいです！ 29 © DeNA Co., Ltd.

RecSys への参加で技術の input ● RecSys(Recommender Systems) は推薦システムの国際学会 ● 最先端の研究を⼀通り聞くことで 分野の全体像や最新研究のトレンドの移り変わりを体系的に input 推薦システム分野での近年のトピック例 30 LLM Sequential Recommendation Fair Evealuattion Graph Bias © DeNA Co., Ltd.

コンペティションで推薦技術の output Input の後に抱えた悩み🤔 学んだ⼿法は実際使えるのか？ 実際に⼿を動かしてみないと分からないことは多くある ● ● どうやって実装するのか チューニングして性能を上げるにはどこが重要か... コンペティションに出て 事業に関係する技術を実際に使ってみよう！ 31 © DeNA Co., Ltd.

⾃分の興味に合わせて 事業と直接関わりのないコンペにも参加 技術獲得と事業とのつながり 系列データ 技術獲得 LLM Kaggle LLM Science Exam ソロ⾦メダル 推薦 2023年 4⽉ atmaCup #16 優勝 国際学会 (RecSys) 7⽉ 10⽉ Kaggle LEAP 4位⼊賞 推薦 推薦 推薦 atmaCup #15 優勝 系列データ Kaggle Child Mind Institute - Detect Sleep States 優勝 RecSys Challenge 2024 優勝 2024年 4⽉ 1⽉ 7⽉ 新しい事業へ 事業 Pococha 新規リスナー向け 推薦システム開発 推薦 Pococha LLM利⽤の アセスメント LLM‧推薦 Pococha ロングテールな推薦の 技術調査 推薦 結果的に事業に活きた例をご紹介 32 © DeNA Co., Ltd.

事例①：LLMによる対話型推薦システム ● 対話型システムとは ○ 対話を通してユーザのニーズを聞き取りながら、 理由とともにアイテムを推薦するシステム ● シーズベースで事業応⽤検討時にアセスメント ○ → 33 LLMなどの最新技術を⽤いて、より良いユーザー体験を与えられないか？ 国際学会(RecSys)で得た知識からアイデア＆ LLM 関連コンペでの経験からスムーズなアセスメント © DeNA Co., Ltd.

事例②：ロングテール‧公平な推薦技術 ● 事業的なニーズ ○ ⼈気のライバーさんだけではなく、幅広いライバーさん を推薦‧マッチングさせたい 「公平性」に関わる分野は継続的に研究されているトピック → 国際学会(RecSys)で得た体系的な知識からスムーズに調査へ 組織的な観点でも、国際学会を通して先端技術を獲得でき、 「課題① 先端技術をキャッチアップする余⼒が無くなる」 の解決に繋がっている 34 © DeNA Co., Ltd.

本セッションの内容 1. DeNAのAI技術獲得戦略 ○ ○ ○ 事業ドメインに特化したAI部⾨の組織構成と起こり得る課題 継続的な技術獲得を実現するための取り組み 取り組みによって得られた組織の強み 2. 技術獲得 → 事業での活⽤事例 ○ ○ ○ 35 ⼊社直後の技術的不安を解消し⾃信を得た体験談 事業に必要な推薦技術の input/output の場としての活⽤例 新たなドメイン/技術領域へのチャレンジ © DeNA Co., Ltd.

新たなドメイン/技術領域でのチャレンジ ● 個⼈の will と事業のニーズを考慮したアサイン変更 ○ 個⼈の will：⾃分が経験のない領域でチャレンジし専⾨性を広げたい ○ 事業のニーズ：ゲーム分野で強化学習(RL)のアサインニーズ 上記を考慮してもらいアサイン変更 新しいドメイン/技術領域をキャッチアップすることに RLの開発速度 を上げたい！ 複数分野のコンペで 実績あります！ ゲームエンタメG RL 36 RL DS CV DS © DeNA Co., Ltd.

Kaggleで得られたキャッチアップ⼒を活かす ● Kaggleで鍛えられる能⼒の⼀つが新しい領域へのキャッチアップ⼒ ○ コンペに参加する度に新しい領域に触れることができる コンペ参加のおおまかな流れ 終われば 次のコンペへ 37 1. キャッチアップ ○ ドメイン/タスク理解 ○ 最新技術調査 2. 仮説検証＆性能改善 © DeNA Co., Ltd.

アサイン変更による嬉しいこと ● 個⼈の観点 新しいドメインと技術に触れられ成⻑に繋がっている ○ ドメイン：ライブ配信 → ゲーム ○ 技術：推薦 → 強化学習 ● 組織的な観点 キャッチアップ⼒のあるKagglerを柔軟にアサイン変更し、 「課題② 事業ニーズの波によって専⾨家が不⾜する」 にも対応できる 38 © DeNA Co., Ltd.

まとめ 1. DeNAのAI技術獲得戦略 ○ ○ ○ 事業ドメインに特化したAI部⾨の組織構成と起こり得る課題 継続的な技術獲得を実現するための取り組み 取り組みによって得られた組織の強み 2. 技術獲得 → 事業での活⽤事例 ○ ○ ○ ⼊社直後の技術的不安を解消し⾃信を得た体験談 事業に必要な推薦技術の input/output の場としての活⽤例 新たなドメイン/技術領域へのチャレンジ この機会に、皆さんの組織でも再現性ある技術獲得ができる状態 になっているかどうか、⾒直してみてはいかがでしょうか？ 39 © DeNA Co., Ltd.