20250424_data_engineering_study

1.2K Views

April 24, 25

#Databricks #メタデータ管理 #コスト管理 #データエンジニアリング #クラウド運用

スライド概要

reona.hoshino

@reonah

スライド一覧

data engineer

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 6.94MB)

関連スライド

猫でも分かるUnreal Engineの学び方 - 超初心者向け編 - 2023 v1.0

ue4 ue5 ue-beginner

エピックゲームズジャパン 1.5M

Unreal Engine5 Lumenの仕組みと肝心なところ

ue5 ue-rendering ue-lumen

エピックゲームズジャパン 1.3M

猫でも分かる UE5.0, 5.1 におけるアニメーションの新機能について【CEDEC+KYUSHU 2022】

ue5 cedec+kyushu ue-animation ue-optimize ue-bp ue-physics ue-sequencer

エピックゲームズジャパン 0.9M

Meta XR SDK(V66-74)でQuestアプリを開発

spatial anchor unity quest pro shaperecognizeractivatestate oculus integration transformfeaturestateprovider building blocks transformrecognizeractivestate ovrsemanticclassification jointdeltaprovider ovrscenemanager jointvelocityactivestate オクルージョン sequenceactivestate scene manager ambisonic depth api metaxraudiosource playerlocomotor meta xr sdk quest3 ovrplayercontroller マルチモーダル meta haptics studio direct touch ui meta xr haptics sdk ovrspatialanchor ovrtrackedkeyboard hapticclipplayer fingerfeaturestateprovider hapticclip ワイドモーションモード wmm mruk mr utility kit voice sdk jointrotationactivestate meta horizon os ui set asw application spacewarp ovr metrics tool unityscene manager colocation discovery コロケーション mx ink passthrough camera api hand tracking microgestures webcamtexturemanager passthroughcamerautils cameraviewermanager hand pose selector recorder

あうぜん 0.9M

SQL滅ぶべし

株式会社ホクソエム 877.3K

各ページのテキスト

人不足・時間不足を言い訳にせず Databricks をうまく利用する管理的機能にフォーカスした渋めな内容ですハックや新機能といった内容ではないのでご容赦ください🙇

自己紹介星野玲央奈 2017~ Backend Developer 2022~ Data Engineer Databricks 2023/06~ @reonah6 2024/06~

コンテンツ所属について直面した問題・解決方法まとめ

主なターゲット Databricks を使用したての方々少人数組織で使用している方

コンテンツ所属について直面した問題・解決方法まとめ

会社紹介

所属法人情報のデータベースSaaSを開発・販売日本全国の約550万法人準静的な情報動的な情報付加情報・代表者名・プレスリリース・活動活発度スコア・住所・求人・信用スコア・ホームページ・IR情報・概要/動向サマリ法人営業（営業情報収集）に利用

データフロー収集公開データ（国・自治体）独自アライアンス Webクロール蓄積・検証・加工活用 Amazon S3 Amazon Aurora PostgreSQL Databricks Amazon OpenSearch Service プロダクト法人に関するデータ（SaaSアプリケーション）

データフロープロダクトの前段にデータエンジニアリングのプロセス公開データ（国・自治体）独自アライアンス Webクロール Amazon S3 Amazon Aurora PostgreSQL Databricks Amazon OpenSearch Service プロダクト法人に関するデータ（SaaSアプリケーション）

10.

Databricksの用途クレンジング・エンリッチメント・半構造化データの構造化公開データ（国・自治体） enriched アライアンス csv/json 独自 Webクロール curated Medallion-Architecture Validation 法人に関するデータプロダクト Amazon S3 Databricks

11.

その他データエンジニア・データサイエンティスト・ビジネスアナリスト・インターン人の入れ替わりが多め

12.

コンテンツ所属について直面した問題・解決方法まとめ

13.

問題「このテーブルは使用可能か？」「このカラムの意味は？」を誰に聞いたらよいわからない新規参画者が自走しづらい環境「今月、利用料高いね。なぜ？」に回答できない金銭コストデータ量に対し、ストレージコストが高い正常系だけが考慮されたデータパイプライン・ローカルから実行されるIaC・管理されていないユーザetc…

14.

15.

新規参画者が自走しづらい誰かに聞かないと情報が得られない・検索も機能しないビジネスメタデータがない関連するドキュメントが散在（チケット・文書・チャット・リポジトリ） fi 出所：『データマネジメント知識体系ガイド第二版』 DAMA International編著、DAMA日本支部、Meta ndコンサルティング株式会社監訳、日経BP

16.

新規参画者が自走しづらいメタデータ、ドキュメント・コンテンツ管理動機づけが難しい処理実装・パイプライン化に追われ、後回しにされがち。必要性を感じづらい（中身をわかっているため。）

17.

Databricksにおけるメタデータ管理昨年OSS化 OSS版は現在v0.3.0 Unity Catalog メタデータ管理＋アクセスコントロール＋監査ログテーブルやMLモデルへのアクセスコントロール監査ログ Can view Usage

18.

Databricksにおけるメタデータ管理 Unity Catalogにおけるメタデータ管理テーブル説明テーブル参照頻度 Can view カラム説明リネージ https://speakerdeck.com/databricksjapan/databricksteyarou-metatetaguan-li

https://speakerdeck.com/databricksjapan/databricksteyarou-metatetaguan-li

19.

余談 AI/BI Genie 自然言語でのデータ分析ビジネスメタデータの充実が応答精度に直結

20.

解決法メタデータ、ドキュメント・コンテンツ管理動機づけが難しい生成AIを動機づけに利用生成AIによるコメントの自動生成自然言語によるデータ分析において、ビジネスメタデータの有用性が実感しやすくなった

21.

22.

金銭コスト課題1 誰が・何に金銭コスト（コンピュート）を使っているかわからないデフォルトのusage dashboardのみを利用プロジェクト別等のコスト分析ができていない

23.

Databricksにおけるコスト管理 usage dashboard ＋カスタムタグカスタムタグ KEY：VALUE形式で設定 • コンピュートリソースに付与 • 強制も可能（compute policy） OWNER：fuga • パブリッククラウド側に伝播コスト管理以外の用途でも有用 PROJECT：hoge IaC：https://github.com/org/repos/main.tf https://docs.databricks.com/aws/en/admin/account-settings/usage-detail-tags

24.

25.

金銭コスト課題2 パブリッククラウド（Azure, AWS, Google Cloud）の知見不足オブジェクトストレージ設定による金銭コスト増バケットバージョニングON & ライフサイクルなし Amazon S3 数十TBのnon current version（＝確実にアクセスしないもの）へ課金が発生していた。。。 https://docs.databricks.com/aws/en/delta/s3-limitations ネットワークがわからないから、DBへのFederationができない