Databricks Free EditionでGenieを触ってみた

1.6K Views

August 08, 25

スライド概要

JEDAI - The Data & AI Meetup Data + AI Summit 2025をみんなで振り返ろう！#2 (オンライン開催)にて発表した資料です。
自社で作成しているText2SQLのAgentとGenieとの精度比較について記載しております。

yutotto

@yuto-kobayashi-1

スライド一覧

DataScientistをしています

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

関連スライド

猫でも分かるUnreal Engineの学び方 - 超初心者向け編 - 2023 v1.0

ue4 ue5 ue-beginner

エピックゲームズジャパン 1.6M

Unreal Engine5 Lumenの仕組みと肝心なところ

ue5 ue-rendering ue-lumen

エピックゲームズジャパン 1.3M

Meta XR SDK(V66-74)でQuestアプリを開発

spatial anchor unity quest pro shaperecognizeractivatestate oculus integration transformfeaturestateprovider building blocks transformrecognizeractivestate ovrsemanticclassification jointdeltaprovider ovrscenemanager jointvelocityactivestate オクルージョン sequenceactivestate scene manager ambisonic depth api metaxraudiosource playerlocomotor meta xr sdk quest3 ovrplayercontroller マルチモーダル meta haptics studio direct touch ui meta xr haptics sdk ovrspatialanchor ovrtrackedkeyboard hapticclipplayer fingerfeaturestateprovider hapticclip ワイドモーションモード wmm mruk mr utility kit voice sdk jointrotationactivestate meta horizon os ui set asw application spacewarp ovr metrics tool unityscene manager colocation discovery コロケーション mx ink passthrough camera api hand tracking microgestures webcamtexturemanager passthroughcamerautils cameraviewermanager hand pose selector recorder

あうぜん 1.1M

UE5レンダリングフロー総おさらい(2024) 基礎編！[CEDEC+KYUSHU 2024]

ue5 unreal engine ue-rendering

エピックゲームズジャパン 1M

猫でも分かる UE5.0, 5.1 におけるアニメーションの新機能について【CEDEC+KYUSHU 2022】

ue5 cedec+kyushu ue-animation ue-optimize ue-bp ue-physics ue-sequencer

エピックゲームズジャパン 1M

各ページのテキスト

プロフィール • 2020年9月にJDDへJoin • 1度離任を経て再度2022年にJoin(計4年所属) • 金融系SE/PM:7年 , DS5年 • 採用リクルーターも兼任 • Databricks歴:4年最近資格を取り始めました (次はML系取得予定 ) Databricksに関する記事もちょこちょこ書いてます小林優人 AI & Data Science Div. Senior Data Scientist CONFIDENTIAL© 2025 Japan Digital Design, Inc. 2

JDDの特徴専門人材エンジニアリング・データサイエンス・デザイン開発インフラデータ分析基盤・クラウドIT環境 MUFGにおけるJDDの役割 Japan Digital Design株式会社（JDD）は、AI・CX・Tech領域を組み合わせ、 MUFGのDX活動に対するソリューションを提供します。顧客・自社のビジネス課題ソリューション R&D ドメイン知識人材交流による金融DX人材育成・ DXナレッジ向上 MUFGとの協業・人材交流やR&D機能を通じて、金融のイノベーションを先導し、 MUFGのお客様にとっての金融体験や、MUFGの事業環境をアップデートし続けます。 CONFIDENTIAL© 2025 Japan Digital Design, Inc. 4

JDDの提供サービス AI・CX・Tech連携によるソリューション提供＋ R&D 1. データを活かす顧客データ、外部データを分析し、課題を解決するモデルを構築。学術研究者や外部機関とも連携し、最新の技術を取り込むことを目指す。 AI 2. 顧客体験を創る顧客を起点とする体験設計として、戦略立案、顧客調査、プロトタイピング、開発支援、ブランディングまで一連のサービス、サポートを提供。 JDD 強み 3. 新しい技術で解決するデータ分析モデル実装、アプリやウェブサイト、情報連携システムなどのプロトタイピングや実装サービス、コンサルティングを提供。 Tech CX CONFIDENTIAL© 2025 Japan Digital Design, Inc. 5

業務端末 MacBook Pro – M4 Pro/Max メモリ48GB〜64GB USキーボードも選択可能開発環境 GitHub Enterprise Cloud / GitHub Copilot が中心 Slack、Atlassian Cloud、AWS、管理系SaaS等にはSSOで接続可能ネットワーク Webプロキシ無し・VPN無し・社内ネットワーク無し勤務場所リモート前提・フルフレックス CONFIDENTIAL© 2025 Japan Digital Design, Inc. 6

Free Editionとは • Databricksを無償で体験できるプラン • ノートブック、Serverless／Model Serving など主要機能の学習・検証が可能 • 初学者の理解やPoC前の下見に最適 • 企業環境では制約が出やすいLLM関連機能も、個人環境で最新機能に触れやすい Serverless Serving Genie Playground Assistant CONFIDENTIAL© 2025 Japan Digital Design, Inc. 8

10.

11.

AI/BI Genieスペースとは • 対象データ・用語定義・利用ルールをひとまとめにしたチャット型分析スペース • 質問からSQLを自動生成して実行、表/グラフをその場で提示 • 根拠SQLの確認・共有、履歴やお気に入りで再現性を確保 • 権限はUnity Catalogに準拠、Serverless実行やモニタリングにも対応 • MCPにも対応！ https://docs.databricks.com/aws/ja/genie/ CONFIDENTIAL© 2025 Japan Digital Design, Inc. 11

https://docs.databricks.com/aws/ja/genie/

12.

13.

なぜGenieを触ろうと思ったか • Databricks に Text2SQL 機能（AI/BI Genie）が実装され、自社でPoC中の領域と重なる実力を把握したかった • 自社スクラッチ版 Text2SQL と同条件で比較し、精度・再現性・運用性の差を確認 • 比較結果に応じて移行も選択肢に入れ、最適な投資配分（内製継続か／Genie活用か）を判断 CONFIDENTIAL© 2025 Japan Digital Design, Inc. 13

14.

15.

16.

17.

18.

19.

対象データセット No データソース 1 令和5年1月1日住民基本台帳人口・世帯数（都道府県別・総計） 2 2020年基準消費者物価指数 3 令和3年経済センサス‐活動調査事業所に関する集計－産業別集計－卸売業・小売業（産業編・総括表） 4 ドラッグストア商品別販売額等 5 （家計調査）第3表 1世帯当たり年間の品目別支出金額（総世帯） 6 調剤医療費の動向 7 毎月勤労統計概要 • 政府統計ポータル e-Stat の公開データを基に、検証用の擬似テーブルを作成 • 作成したテーブルを入力として、自社 PoC の QA 生成エージェントで各テーブルにつき 15 問の QA を自動生成 Sample Dataset(住民基本台帳) • 自社の SQL Agent はテーブルごとにプロンプトを個別設計しているため、Genie でも「1 テーブル＝1 スペース」を作成し、インストラクションにテーブル説明を登録 • API 経由で Genie を呼び出し、精度を評価 CONFIDENTIAL© 2025 Japan Digital Design, Inc. 19

20.

結果 No データソース Genie 自社Agent Δ 1 令和5年1月1日住民基本台帳人口・世帯数（都道府県別・総計） 0.4667 1.0000 +0.5333 2 2020年基準消費者物価指数 0.7333 0.9333 +0.2000 3 令和3年経済センサス‐活動調査事業所に関する集計－産業別集計－卸売業・小売業（産業編・総括表） 0.5714 0.7143 +0.1429 4 ドラッグストア商品別販売額等 0.6667 0.8000 +0.1333 5 （家計調査）第3表 1世帯当たり年間の品目別支出金額（総世帯） 0.6000 0.6667 +0.0667 6 調剤医療費の動向 0.8000 0.8000 0.0000 7 毎月勤労統計 0.3333 0.7333 +0.4000 • 評価方法：GoldenデータがText2SQLで取得したレコードに含まれていれば正解と判定 • 結果比較：自社Agentの方がGenieより高い精度を示した • 誤り分析：Genieの出力をデバッグした結果、誤答の要因を特定・推察 CONFIDENTIAL© 2025 Japan Digital Design, Inc. 20

21.

22.

23.

24.

25.

26.

JDDの情報発信について DS/MLE 積極採用中！公式ブログ（note） https://note.com/japan_d2 公開記事 ● 金融の巨大データを活用した新しい価値の創造へ立ち向かう ● LLMを用いた合成データ作成事例をまとめてみた-NLP2024参加報告① ● テーブルデータ用ニューラルネットワークは勾配ブースティング木にどこまで迫れるのか？ JDDコーポレートサイト https://japan-d2.com/ X（Twitter） https://x.com/Japan_D2 Facebook https://www.facebook.com/japand2 CONFIDENTIAL© 2025 Japan Digital Design, Inc. 26

Databricks Free Editionで Genieを触ってみた