Databricks の Lakeflow 宣言型パイプライン (LDP) と Fabric のマテリアライズド・レイクビュー (MLV) を比較してみた

Microsoft Data Analytics Day(Online) 勉強会 Databricks の Lakeflow 宣言型パイプライン (LDP) と Fabric のマテリアライズド・レイクビュー (MLV) を 比較してみた 発表者：Satoshi Enomoto 2024/08/27

目次 • 概要 • 開発体験（言語・定義方法） • 実行／更新方式 • 運用・モニタリング • 作成手順の流れ • Tips 2

概要 • Databricks: Lakeflow 宣言型パイプライン (Lakeflow Declarative Pipelines, LDP) ✓ バッチおよびストリーミングのデータパイプラインを、SQLおよびPythonで宣言的に構築可能なフレームワーク ✓ Unity Catalog と統合されたLakehouse環境で、依存関係管理・自動最適化・品質チェックなどを備えたモダン ETL ✓ Lakeflow 宣言型パイプラインの概念 - Azure Databricks | Microsoft Learn • Microsoft Fabric: マテリアライズド・レイクビュー (Materialized Lake Views, MLV) ✓ Medallionアーキテクチャ（Bronze→Silver→Gold）を容易に実施できる宣言型SQLビュー（現時点はプレ ビュー） ✓ データ品質ルールの定義、系統（Lineage）可視化、実行の最適化・モニタリング機能などをネイティブにサポート ✓ マテリアライズされたレイクビューの概要 - Microsoft Fabric | Microsoft Learn 3

• https://learn.microsoft.com/ja-jp/azure/databricks/dlt/concepts
• https://learn.microsoft.com/ja-jp/fabric/data-engineering/materialized-lake-views/overview-materialized-lake-view?utm_source=chatgpt.com

開発体験（言語・定義方法） 比較項目 LDP MLV 定義言語 Pythonデコレータ（dltモジュール）またはSQLベースの宣 言構文 Spark SQLベースの CREATE MATERIALIZED LAKE VIEW 文で宣言 パイプライン構築 Databricksノートブックやスクリプトで記述、依存関係は 自動解析 Fabricノートブック上でSQLを使って定義 4

開発体験（言語・定義方法） 比較項目 LDP MLV 定義言語 Pythonデコレータ（dltモジュール）またはSQLベースの宣 言構文 Spark SQLベースの CREATE MATERIALIZED LAKE VIEW 文で宣言 パイプライン構築 Databricksノートブックやスクリプトで記述、依存関係は 自動解析 Fabricノートブック上でSQLを使って定義 5

実行／更新方式 • LDP ✓ ドライラン：実際には処理されずにコードを確認できる ✓ パイプラインを実行（デフォルト更新）：新しいレコードを処理 ✓ テーブルを完全に更新して～～（フルリフレッシュ）：すべてのレコードを再処理 6

実行／更新方式 • MLV ✓ 現在、全件フルリフレッシュのみ対応 ✓ 増分更新は今後のリリースに計画されている マテリアライズされたレイクビューの概要 - Microsoft Fabric | Microsoft Learn 7

• https://learn.microsoft.com/ja-jp/fabric/data-engineering/materialized-lake-views/overview-materialized-lake-view#current-limitations

運用・モニタリング • LDP ✓ DAG によって依存関係を確認可能 ✓ パイプライン設定（サーバレス・通知・JSON設定など）で柔軟な運用管理 ✓ Lakeflow Jobs によるジョブオーケストレーションも可能 8

運用・モニタリング • MLV ✓ Lineageの可視化、スケジュール管理、実行履歴や品質レポートの統合されたUIあり 9

運用・モニタリング • MLV ✓ Lineageの可視化、スケジュール管理、実行履歴や品質レポートの統合されたUIあり データ品質に関する Power BI レポート - Microsoft Fabric | Microsoft Learn 10

• https://learn.microsoft.com/ja-jp/fabric/data-engineering/materialized-lake-views/data-quality-reports

作成手順の流れ • LDP Qiita の記事で説明 Lakeflow パイプライン エディターを使用してLakeflow 宣言型 パイプライン を動かしてみる #Azure – Qiita • MLV Qiita の記事で説明 Microsoft Fabric のマテリアライズド・レイクビューを動かしてみた #Azure - Qiita 11

• https://qiita.com/satoshi_enomoto/items/0819cae2302edaa09711
• https://qiita.com/satoshi_enomoto/items/0fe1fa1e944e363eb12c

Tips • MLV ✓ パイプラインからMLVノートブックを実行してみたところエラーになった →パイプラインから実行できれば変数（スキーマ名やテーブル名）を渡すことができる？ 12

ご清聴ありがとうございました！