誰も教えてくれない メダリオンアーキテクチャの デザインメソッド

2.4K Views

May 24, 24

スライド概要

JEDAI データエンジニア分科会 #1 集まれデータエンジニア! にて発表した`誰も教えてくれない メダリオンアーキテクチャの デザインメソッド`に関するスライド

https://jedai.connpass.com/event/316240/

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

JEDAI データエンジニア分科会 #1 集まれデータエンジニア! 誰も教えてくれない メダリオンアーキテクチャの デザインメソッド manabian

2.

自己紹介 【主な生業】 BI・DWH構築に関するSIベンダーにてテクニカルスペシャリスト職と して、次の業務を実施。 • Databricks におけるシステム実装論の整理とライブラリ開発 • データ分析基盤とアプリケーションの設計・構築に関する支援 • データ分析基盤に関する技術検証 @manabian 趣味がデータ分析基盤に関する調査や検証であり、 主に Qiita を中心に Databricks などのデータ分析基盤に関する記事を 投稿。 • 最強のデータ分析基盤を目指して~汎用的なデータ分析基盤の選定 方法の提案~ – Qiita • PySpark 開発時に知っておくべき7つのテーマ– Qiita • データエンジニア界隈で話題のdbt(data build tool)のまとめ #Python - Qiita

3.

はじめに メダリオンアーキテクチャの実装方法論 プログラムの共通化による開発生産性向上 データ分析基盤における データを どのように管理するか

4.

アジェンダ

5.

1. 前提となる事項の確認 1-1. データ分析基盤とは 実際に利用できるコンポーネント 引用元:最強のデータ分析基盤を目指して~汎用的なデータ分析基盤の選定方法の提案~ Qiita

6.

1. 前提となる事項の確認 1-2. メダリオンアーキテクチャとは 具体的な実装例がないため解釈に幅 引用元:メダリオンアーキテクチャ | Databricks

7.

2. メダリオンアーキテクチャの実装方法 2-1. 全体像 引用元:Databricks ( Spark ) における Spark テーブル (データレイク)のディレクトリ構成の検討 - Qiita

8.

2. メダリオンアーキテクチャの実装方法 2-2. Bronzeレイヤーついて(1/2)

9.

2. メダリオンアーキテクチャの実装方法 2-2. Bronzeレイヤーついて(2/2)

10.

2. メダリオンアーキテクチャの実装方法 2-3. Silver レイヤーついて 引用元:Bronze テーブルから Silver テーブルへのデータローディングパ ターン - Qiita

11.

2. メダリオンアーキテクチャの実装方法 2-4. Goldレイヤーついて

12.

2. メダリオンアーキテクチャの実装方法 2-5. Otherレイヤーついて

13.

2. メダリオンアーキテクチャの実装方法 2-6. 全体像の振り返り

14.

2. メダリオンアーキテクチャの実装方法 2-7. データ品質保証の実施

15.

3. データエンジニアリングの実施方法 3-1. オーケストレーションの設計方針

16.

3. データエンジニアリングの実施方法 3-2. Databricks におけるアクティビティ

17.

ありがとうございました 参考になった記事には いいねをお願いします manabian 𝕏: @manabian Qiita: manabian