Youは何しにDatabricksへ！- 沼からLakehouseに住む場所変えにきました

は何しに 沼から た © へ！ に住む場所変えにきまし

自己紹介 ボウズ エンジニアマネージャー 担当組織 技術基盤での取り扱い領域 検索エンジン 技術基盤系組織 インフラ データ基盤組織 システムアーキテクト アクセシビリティ サービスオペレーション 、生成 © 2

基盤系の主な業務 物件鮮度を支える仕組み データベース移行 横断的な設計や品質の方針作り 生産性の改善、生成 開発 サービスオペレーション インフラの運用・改善 リサーチ・アクセシビリティ データ基盤の運用改善 © 3

データ基盤との出会い どうしたらこのデータ基盤をより効果的に活用できるだろうか © 4

コミュニティ形成 課題収集 データに課題感を持つ人材の発掘 非公式会議体への参加 意思決定会議体へ発展するビジョン データスチュワードの参画 コミュニティ形成が後の 取り組みを大きく支えることに © 5

初期の課題認識 見えてきた課題 本質的な課題 データ活用の概念 データで事業価値を カタログの使い勝手 高める をどう増やすか データのビジネスロジック理解 レガシーレポートの処遇 © 6

システムへの疑問 新たな疑問 既存のシステムはこれらの課題解決に 対応できるのだろうか？ © 7

カタログ問題 使い方がわからないと言われるカタログ整備の難しさ カタログ編集の制約 データとスキーマの不一致 データ探索の困難さ のカタログ化が進まない © 8

労力の問題 - 個別インフラ構築の必要性 予算問題 個別対応の高い労力 ガバナンスの分散 データ 基盤 工数 © 費用 取引コスト 9

離散したシステムによる問題 - リネージが効果を出せない - 影響範囲調査の困難さ - 仕様変更と為替変動の影響 - ワークフローも設定が離散 - グラフも民主化されていない 変更の入る確率が高い © 10

転機 から一言 って知ってる？ © 11

の可能性 課題解決の可能性が見えてきた カタログのシンプルさと理解しやすさ 低コストで をカタログ化 効果的なリネージの実現性 中央集権的ガバナンスが実現できそう © 12

導入戦術 サービスの価値を高めるデータのみ移行 を使った 整備 カタログ整備 データから価値を生み出せるプロジェクトの積極的誘致 築いてきたコミュニティがこの戦術を大きく支えてくれました © 13

成功要因 データスチュワードが データ整備に参加できた - エンジニアではないデータス 画像挿入 チュワードがコードを書き始 めた - ドメイン知識セットでカタロ グが整備された 記述したコードを一部加工して抜粋 プログラムを書いたことがない人が 週間程度でここまで書けるようになってました © 14

成功要因 エンジニアのスペシャリストが - データが一ヶ所で管理できるメリットがでかい。 高い生産性を出してくれた - データが一覧で可視化できるためデータに対する 理解が進む - レコメンド開発者の参画 - ポジティブなフィードバック - 週 - 開発速度の大幅向上 - アプリケーション側で利用しやすい形に整形して 提供することができる 回のデプロイ頻度 - フロント、バックエンド、 のデータ のインターフェースが安定するため同期的に開発 する必要がない。 © 15

結果 © 具体的な成果 副次効果 - コストダウンの実現 - データ活用の共通イメージ - 事業メトリクスの改善 - 活用アイデアの広がり - 大玉プロジェクトの成功 16

現状と展望 現状 展望 - システムのダブルコスト - データ活用の可能性探索 - ビジネス価値創出の取り込み - 段階的なコスト最適化 - 規模や集積メリットが効き始 - データ民主化の拡張 めた？ © 17

データの収集から活用まで すべてがシームレスで直感的につながる を実現した は 見通しが良く心地よいデータ活用環境を 提供してくれます。 © 18