求められ続けるデータエンジニアを目指して ~データを中心に組織をエンジニアリングする~
848 Views
November 11, 26
スライド概要
イベント名: Tokyo dbt Meetup #22
イベントURL: https://www.meetup.com/ja-jp/tokyo-dbt-meetup/events/316908519/
登壇者名: 渡辺ブルーノ
登壇概要: 生成AIという大きな転換点にデータエンジニアとして適応を目指した私見として組織、個人の実践と予測をまとめました
DeNA が社会の技術向上に貢献するため、業務で得た知見を積極的に外部に発信する、DeNA 公式のアカウントです。DeNA エンジニアの登壇資料をお届けします。
関連スライド
各ページのテキスト
求められ続ける データエンジニアを目指して ~データを中心に組織をエンジニアリングする~ 渡辺ブルーノ 株式会社ディー・エヌ・エー © DeNA Co., Ltd. 1
自己紹介 現在の役割とミッション ポジション ゲーム事業にて アナリティクスエンジニア 兼 データアーキテクト 業務内容 渡辺 ブルーノ 2021年11月 〜 DeNA在籍 💡 趣味: ランニング / ロックフェス ゲーム / 興味のある技術をいじる © DeNA Co., Ltd. ・ゲームサービスのデータ基盤構築・運用 ・全社向かいのデータガバナンス施策の推進 ・社内のdbtコミュニティ運営 経歴 2016年 2019年 2021年 ~ 現在 自動車業界 スタートアップ DeNA 分析ツール開発 アナリスト MLエンジニア データエンジニア 2
事業紹介 © DeNA Co., Ltd. 3
会社概要 © DeNA Co., Ltd. 商号 株式会社ディー・エヌ・エー 本社 東京都渋谷区渋谷二丁目24番12号 渋谷スクランブルスクエア 設立 1999年3月 事業内容 ゲーム事業、ライブコミュニティ事業、スポーツ・まちづくり事業、 ヘルスケア・メディカル事業、新規事業・その他 代表者 岡村 信悟 (代表取締役会長)、南場 智子 (代表取締役社長兼CEO) 従業員数 連結：2,483名 (2026年3月時点) 株式 東証プライム上場 (証券コード:2432) 2015年10月より日経225銘柄 売上収益 1,477億円 (2026年3月期、IFRS) 営業利益 281億円 (2026年3月期、Non-GAAP) 4
沿革 ※配信元：任天堂株式会社 1999 インターネット オークション事業で創業 2018 タクシーアプリ 『タクベル(『MOV』)』を リリース 2006 モバイルSNS 「モバゲータウン」 開始 2022 ヘルスケア領域(2014年参入) に加え、メディカル領域 参入 2011 2013 2015 任天堂との業務・資本提携 ライブコミュニティ事業開始 プロ野球参入 プロバスケットボールクラブの承継(2018年) Jリーグクラブへ経営参画(2021年) 2024 「Pokémon Trading Card Game Pocket」リリース 2025 2026 培われたノウハウ／ 組織を活かし 「AIイノベーション事業」 本格開始 「BASEGATE横浜関内」グランドオープン "Kawasaki Arena-City Project"2030年開業予定 （2020年JapanTaxiとの事業統合によ り『GO』誕生） ※配信元：株式会社ポケモン © DeNA Co., Ltd. 5
事業ポートフォリオ 挑戦を最も大切にする「永久ベンチャー」として、事業の成果を次の挑戦の後押しへと還元するエコシステムの形成を目指しています ゲーム ライブコミュニ ヘルスケア・メディカル ティ スポーツ・スマートシティ 新領域・その他 エンタメ新領域（アニメ／グッズ等） 6 AIイノベーション ベンチャー投資 © DeNA Co., Ltd.
アジェンダ 01 データエンジニアの職能 02 転換点と適応 03 DeNAの実践 04 まとめ © DeNA Co., Ltd. 7
データエンジニアの職能 © DeNA Co., Ltd. 8
データエンジニアの仕事はどこまでか データエンジニアの仕事は、 データ基盤を作り、安定運用するところまでか？ © DeNA Co., Ltd. 9
生成AIという大きな変化への一つの回答 大きな変化 生成AIの登場により、人だけでなく、AIも組織のデータを利用する それへの対応 組織のデータ管理と活用を、AIも利用する前提でリデザインする 仮説 データを中心に組織をエンジニアリングすることが、次の役割ではないか © DeNA Co., Ltd. 10
データ基盤から組織のデータ管理と活用へ データ基盤 データの発生・収集 データ活用 • BI・分析 • 業務システム • 事業部門 • SaaS・API • データプロダクト • イベント・ログ • AIエージェント • ファイル アーキテクチャ／品質／メタデータ／セキュリティ／統合・運用 ほか データエンジニア データエンジニアリングの専門性を起点に、データの管理と活用まで整備対象を広げる 出典：Aiken Pyramid（Data Strategy Professionals） © DeNA Co., Ltd. 11
転換点と適応 © DeNA Co., Ltd. 12
データエンジニアの役割を広げてきた転換点 技術的な転換点 DWH・BI モダンデータスタック 生成AI 主な利用主体 データエンジニアへの期待 アナリスト、意思決定者 データを正しく集め、意思決定へ届ける アナリスト、開発者、事業部門 信頼できるデータを速く、再現可能に届ける 人とAIエージェント 組織のデータを安全に継続的に利用できる状態を作る データを使う主体と用途が増えるたびに、データエンジニアの職務範囲も広がってきた © DeNA Co., Ltd. 13
AIのデータ活用が抱える二つの課題 データエンジニアの専門性の領域 利用者側の課題 正しいデータを見つけられるか メタデータ データの意味と前提を理解できるか モデリング 同じ指標を再現できるか 安全な範囲でアクセスできるか DWH・BI セキュリティ 管理者側の課題 品質と責任を管理できるか データ品質 権限とセキュリティを制御できるか セキュリティ 開発方法と文書を標準化できるか ドキュメント AIの実行を監視・制御できるか ガバナンス AIのデータ活用は、既存のデータエンジニアリング領域へ正面から取り組むことで改善できる 出典：Aiken Pyramid（Data Strategy Professionals） © DeNA Co., Ltd. 14
二本の軸でデータマネジメントを組織に浸透させる データマネジメントは以前から重要。生成AIの登場で、その重要性が増した 軸① 継続 軸② 染み出し データマネジメントの土台を作る 生成AIを軸に、データ管理・活用をリデザインする • 品質、モデリング、標準化、ドキュメント • 入力側：データを生む業務・システム • 基盤の中の活動を地道に続ける • 活用側：人とAIのデータの使い方 二本の軸で組織のデータ管理・活用をリデザインし、データエンジニアリングに落とし込む © DeNA Co., Ltd. 15
生成AIで範囲を広げる動機と余剰が生まれる 土台：モダンデータスタック（代表的な製品） 区分は a16z「Unified Data Infrastructure 2.0」を参考に簡略化 データソース 取り込み DWH・Lakehouse データ加工 データ活用 Sources Ingestion Storage Transformation Analysis & Output BigQuery ほか 余剰を作る ほか ほか ほか 動機 軸① モダンデータスタックと生成AIを活用し、 実装・ドキュメント整備をAIに任せる Looker 手を伸ばす ほか 軸② 生成AIの登場で、データの整備と活用の需要が増え、 データマネジメントを広げる動機ができた モダンデータスタックと生成AIで余剰を作り、データマネジメントを広げる動機へ手を伸ばす 出典：Emerging Architectures for Modern Data Infrastructure（a16z） ／ The 2025 MAD Landscape（FirstMark） © DeNA Co., Ltd. 16
dbtが積み上げてきた土台とこれから 前提 これまで 生成AIで dbt v2で 共通言語 土台 意味が増す さらに速く 加工の共通言語が誕生 品質・文書の機能を活用 AIの精度と安全を支える 開発生産性をもう一段 事業を超えて CI/CDの整備 開発から活用までを ローカル開発とCIの 加工のコアを揃える コンテキストの整理 今の機能で支援 精度・速度向上 厳格なバリデーション 静的解析で実行前に検知 Rust製の高速パーサー dbtという共通の土台が、生成AI時代のデータ活用の精度と安全性を支える 出典：Upgrading to dbt v2（dbt Docs） ／ dbt Agent Skills（dbt Developer Blog） © DeNA Co., Ltd. 17
DeNAの実践 © DeNA Co., Ltd. 18
データマネジメントチェックリスト 全社・横断 課題 軸② 染み出し • 全社で統一されたデータマネジメントの規定がなく、事業ごとの対応に頼っていた • AIオールインでデータ活用が増え、インシデントのリスクも高まる 対応するデータマネジメント領域 打ち手 変化 • 事業横断で使える実行的な規定として、チェックリストを作成し全社へ配布 • 範囲は、事業側でデータが生まれる入力側から活用側まで • 一部の事業で、チェックリストを使ったアセスメントと改善が回るようになった • 今後はトップダウンでの利用を進め、アセスメントと改善の文化を作る 全領域のアセスメントが目的 事業ごとの対応から、入力側から活用側まで全社で使える規定へ 出典：DeNAにおけるデータマネジメント組織体制と事例紹介（DeNA Tech／Docswell） ／ Aiken Pyramid（Data Strategy Professionals） © DeNA Co., Ltd. 19
データ資産監査の仕組み 全社・横断 課題 軸② 染み出し • データを、他の資産と同じように管理・監査できていなかった • データオーナーが宙に浮きやすく、全社で認識をそろえる必要があった 対応するデータマネジメント領域 打ち手 変化 • 全社向けデータカタログの基盤を構築・展開 • カタログを起点に、データ監査の仕組みを整備 • マネジメント層へも周知し、全社的な動きとして進める • 一部のパイロットプロジェクトで利用を開始 • データオーナーやメタデータを埋める意義が、利用者を含めて浸透し始めた データを、他の資産と同じように管理・監査できる状態へ 出典：Aiken Pyramid（Data Strategy Professionals） © DeNA Co., Ltd. 20
dbt × データモデリング × セマンティックレイヤー ゲーム事業（1事業の詳細） 課題 軸① 継続 → 活用側へ • 要望ごとにデータマートを構築・提供していた • スケールしにくく、運用とともに負債化しやすい 対応するデータマネジメント領域 打ち手 • dbtでデータモデリングを実装し、出口をセマンティックレイヤーにする • 必要な集計は、セマンティックレイヤーから生成する • アナリストを巻き込んだアジャイルプロジェクトにし、設計・実装を共に行うチームを組成 変化 • スケーラビリティのあるデータ提供 • モデリングでコンテキストが整理され、生成AIがデータを使いやすくなった • 生成AIが、セマンティックレイヤーで指標を再現性をもって計算できる • 利用者の観点を取り入れ開発効率的化。アナリストがアナリティクスエンジニアのスキル獲得 都度のデータマート構築から、人もAIも同じ定義で使えるデータ提供へ 出典：Aiken Pyramid（Data Strategy Professionals） © DeNA Co., Ltd. 21
開発フローに生成AIを組み込む ゲーム事業（1事業の詳細） 軸① × 余剰を作る • 生成AIよるデータ活用の要求が大きく増え、アジリティ高く安定した基盤の提供が必要 • データマネジメントの推進を支える余剰も必要 課題 対応するデータマネジメント領域 コーディングエージェントが開発しやすい環境を整える 打ち手 変化 • モノレポ化：開発のコンテキストを集約する • CI/CDの整備と拡大：加速するPR作成を下支えする • エージェントハーネスとガードレール：安全に開発させる • データエンジニアはほぼコードを書かず、要求・要件の整理とレビューで開発が回る • 開発作法をエージェントに組み込み、非エンジニアもterraformやパイプラインのPRを作れる • 生まれた余剰を、データマネジメントの推進と、さらなるデータ活用の形づくりに使う 生成AIで生まれた余剰を、データマネジメントの推進とデータ活用の形づくりへ 出典：Aiken Pyramid（Data Strategy Professionals） © DeNA Co., Ltd. 22
まとめ © DeNA Co., Ltd. 23
組織をエンジニアリングする三つの活動 余剰を作る 軸① 継続 1 dbtのテスト、CI、ドキュメントに、エージェントハーネスとガードレールを加え、AIに安全に開発を任せられ る基盤にする 入力側と活用側をアセスメントする 軸② 染み出し 2 3 担当するパイプラインの前後を、データマネジメントに基づいてアセスメントする （品質、意味、責任、開発方法など） 仕組みに変える 見つけた課題を、標準、テスト、ドキュメント、役割分担として組織に残す AIで余剰を作り、入力側と活用側へデータマネジメントを根づかせる © DeNA Co., Ltd. 24
まとめ 需要を予測・定義し、専門性を広げ続けることが 求められ続けるデータエンジニアの条件 データエンジニアの役割は、データを使う主体と用途に合わせて広がってきた 継続と染み出しの二本の軸で、データの管理と活用をリデザインする データエンジニアの専門性を、組織のデータ管理と活用へ広げる ⇒データを中心に、組織をエンジニアリングする © DeNA Co., Ltd. 25
We're Hiring! AI時代のデータ活用環境、一緒につくりませんか 【事業横断】データエンジニア - 株式会社ディー・エヌ・エー こんな環境です ‧多種多様な事業でのチャレンジ機会。 ‧データマネジメント戦略の実践が可能です！ 詳細はこちらの QRからどうぞ→ https://herp.careers/v1/denacareer /E04K-eHsk8Cq © DeNA Co., Ltd. 26
© DeNA Co., Ltd. 27