データ界隈LT祭【第1回】_Iceberg と Delta Lake で分析基盤をつなげよう!!

データ界隈LT祭【第1回】 Iceberg と Delta Lake で 分析基盤をつなげよう!! manabian

はじめに Apache Iceberg と Delta Lake のフォーマット論争は収束に向かい、 統合カタログをどう構築するかが、新たな重要テーマとなっている。 Iceberg + Delta は、単なる相互運用性の話ではなく、 AI 時代のキーエレメントに なりつつある。 Iceberg + Delta 統合カタログ （統合 DWH） AI エージェント

自己紹介 【主業務】 レイクハウス・DWH・BI構築に関するSIベンダーにてフェローとして、 次の業務を実施。 • データエンジニアリングの実装論の整理とライブラリ開発 • データ分析基盤とアプリケーションの設計・構築に関する支援 • データ分析基盤に関する技術検証 @manabian 【趣味】 趣味がデータ分析基盤に関する調査や検証であり、 主に Qiita を中心に記事を投稿。

• https://x.com/manabian

JEDAI – Japan Databricks User Group ◼ 日本の Databricks コミュニティである JEDAI（Japan Databricks User Group）より参加。 ◼ 東京の次回開催は 10/2 であり、manabian が登壇予定。 引用元：JEDAI - Japan Databricks User Group - connpass 引用元：JEDAI Meetup! 秋のDatabricks技術トーク - connpass

• https://jedai.connpass.com/
• https://jedai.connpass.com/event/405514/

Iceberg + Delta

Iceberg + Delta ～フォーマット論争の終結～ ◼ 2026年6月のイベントにて、 Delta Lake と Iceberg の次期バージョンにて、 メタデータを共通化するというフォーマット論争を終結する発表がされた。 ◼ メタデータが共通化されるだけであり、 Delta と Iceberg がなくなるわけではない。 Delta + Iceberg, Better Together Delta Lake と Iceberg の構成レイヤー データ処理エンジン カタログ メタデータ イベントにて撮影 データ 引用元：Delta + Iceberg, Better Together | Databricks Lakehouse Runtime Catalog

• https://www.databricks.com/dataaisummit/session/delta-iceberg-better-together

AI Agent のための Iceberg + Delta の活用

AI Agent の課題 ◼ AI Agentの課題は、複数システムをまたがる際に認証・認可の運用が複雑になる点にある。 ◼ また、統合DWHを実装する際には、CDC（変更データキャプチャ）に関する設計や考慮が不十分 であることが多く、データ統合が困難になるという課題がある。 ①複数システムにおける認証・認可が複雑 ②データ統合が困難 統合 DWH AI Agent DB① DB② DB③ 認証 認証 認証 認可 認可 認可 STREAM CHANGES CDF CHANGES DB① DB② DB③ ネイティブ テーブル Delta テーブル ネイティブ テーブル

Iceberg + Delta によりベストな AI Agent の選択が可能 ◼ Iceberg / Delta の活用にて既存の変更を最小限に抑えながら統合 DWH（統合カタログ）を実現。 ◼ 統合されたデータを共通基盤として、ベストな Data & AI 基盤 を柔軟に選択・実装できる。 ソース データ AI Endpoint ベストな Data & AI 基盤 or or Iceberg テーブル ※2 データ 探索・理解 データ取得 REST API Delta テーブル AI エージェント （データエージェント） カタログ 統合 データ処理 統合カタログ （統合DWH） データ分析 MCP データ変更 認証 Iceberg テーブル Agent データ ガバナンス 認可 ※1 ※1 クラウドをまたがる場合には工夫が必要な場合あり データ 設計・実装・運用 ※2 別のサービスの可能性もある

ありがとうございました 参考になった記事には いいねをお願いします manabian 𝕏: @manabian Qiita: manabian

• https://x.com/manabian
• https://qiita.com/manabian

APPENDIX

随時更新中 データエージェントとは ◼ データエージェントとは、データを自律的に探索・取得・分析・変更し、必要なアクションまで 実行するAIエージェントである。 ◼ データエージェントは、1 つ以上のケイパビリティ分類の項目を機能としてもつと想定している。 No. ケイパビリティ分類 主目的 質問例 1 データ探索・理解 必要なデータを探索・特定する 「売上を分析するには？」 2 データ取得 データを取得する 「店舗別売上データを抽出して」 3 データ処理 データを加工・集計・計算する 「前年比や移動平均を計算して」 4 データ分析 データを解釈・考察し報告する 「売上減少を考察したレポートを作成して」 5 データ変更 データを登録・変更・削除する 「顧客ステータスを変更して」 6 データ設計・実装・運用 データ処理やMLなどのデータのコードを開発 「月別受注テーブルとそのPipelineを追加して」 7 データガバナンス データを適切に管理・統制する 「月別受注テーブルの参照権限を付与して」

Iceberg による相互運用の壁 ◼ バージョンや標準仕様だけでなく、サービス固有機能も考慮して、開発指針の検討が必要。 Iceberg の仕様バージョン • • • • v4 (次期バージョン、開発中) v3 (最新） v2 v1 Iceberg の 標準仕様 • • • • • データ型 Deletion Vector File Position Delete File Equality Delete Branching/Tagging サービス固有機能 • • • • 共通 • 利用可能なストレージ • 連携可能なカタログ Databricks • DEEP CLONE • 予測最適化 Snowflake • Small files • STREAM BigQuery • EXPORT TABLE METADATA