Azure Databricks の Onelake カタログ フェデレーション

>100 Views

March 31, 26

スライド概要

Microsoft Data Analytics Day(Online) 勉強会_202603発表資料
勉強会: https://sqlserver.connpass.com/event/386300/
Qiita: https://qiita.com/satoshi_enomoto

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

関連スライド

各ページのテキスト
1.

Microsoft Data Analytics Day(Online) 勉強会 Azure Databricks の Onelake カタログ フェデレーション 発表者:Satoshi Enomoto 2026/03/31

2.

自己紹介 • 榎本 聡(えのもと さとし) • 所属:株式会社ジール • 経歴:2022年4月~ • 最近の活動 ✓ JEDAI認定プログラム2026のPadawan受賞 JEDAI Order 2026 受賞者一覧 | Databricks User Groups 2

3.

目次 • 機能概要 • レイクハウスのフェデレーション検証 • ウェアハウスのフェデレーション検証 3

4.

機能概要 • Fabric 側に蓄積されたデータを Databricks でも活用したい一方、従来はデータコピーや同期処理が必 要となり、運用負荷やデータ鮮度の課題があったが、OneLake カタログフェデレーションにより、 Databricks から OneLake 上のデータをコピーせずに参照することが可能になる。 • 2026年3月時点でパブリックプレビュー機能 レイクハウス SQL ウェアハウス ノートブック Unity Catalog クエリ Onelake フェデレーション ウェアハウス OneLake カタログ フェデレー ションを有効にする - Azure Databricks | Microsoft Learn Azure Databricks Microsoft Fabric 4

5.

機能概要 • レイクハウスとウェアハウスをカタログとして作成できる • レイクハウスの files をボリュームとして作成できる ✓ 構築手順の詳細:Azure Databricks における Microsoft Fabric OneLake をカタログ統合する機能の構築手順 #MicrosoftFabric - Qiita 5

6.

レイクハウスのフェデレーション検証 • レイクハウス=カタログとして作成される • files は ボリュームとして作成される(2026年3月時点ではベータ版機能) 6

7.

レイクハウスのフェデレーション検証 • 読み取りはできるが書き込みは不可 • サーバーレスで実行可能(クラシックコンピュートの場合、Runtime 18.0 以降と標準アクセス モードが必須) 7

8.

レイクハウスのフェデレーション検証 • サーバーレス SQL ウェアハウスでも実行可能 8

9.

レイクハウスのフェデレーション検証 • files にあるファイルも読み込み可能 9

10.

レイクハウスのフェデレーション検証 • リアルタイムに反映 10

11.

レイクハウスのフェデレーション検証 • 複合データ型 (配列、マップ、構造体) はサポートされていない ✓ テーブル名は見えているが、データ型やデータは見れない 11

12.

レイクハウスのフェデレーション検証 • ミラーリングしたオブジェクトのショートカットもフェデレーション可能 ✓ Fabric で Azure SQLDB をミラーリング → レイクハウス ショートカット 12

13.

レイクハウスのフェデレーション検証 • ミラーリングしたオブジェクトのショートカットもフェデレーション可能 ✓ Files で ADLS のショートカット 13

14.

レイクハウスのフェデレーション検証 • ワークスペースに受信ネットワーク保護を設定した場合の検証 ✓ SCC を有効(クラシック コンピュートにパブリックIPなし)にした Databricks ワークスペースを作成(VnetはAzureマネージ ド) ✓ クラシック コンピュートからの送信 IP は NAT ゲートウェイで固定 14

15.

レイクハウスのフェデレーション検証 • ワークスペースに受信ネットワーク保護を設定した場合の検証 ✓ Fabric のワークスペース設定の受信ネットワークのホワイトリストに NAT の IP を追加 15

16.

レイクハウスのフェデレーション検証 • ワークスペースに受信ネットワーク保護を設定した場合の検証 ✓ ホワイトリストの IP (クラシッククラスター)でアクセスするとメタデータは取得可能 16

17.

レイクハウスのフェデレーション検証 • ワークスペースに受信ネットワーク保護を設定した場合の検証 ✓ SELECT はうまくできず断念 17

18.

レイクハウスのフェデレーション検証 • ワークスペースに受信ネットワーク保護を設定した場合の検証 ✓ サーバーレスだとメタデータも取得不可 18

19.

ウェアハウスのフェデレーション検証 • レイクハウスと同じようにウェアハウス=カタログとして作成される • ビューはサポートされていない(マテリアライズドビューもサポート外) 19

20.

ご清聴ありがとうございました!