3.9K Views
August 01, 24
スライド概要
株式会社 Hogetic Lab 取締役 CTO。データエンジニアリングの分野で長年の経験を持ち、Google Cloud Champion Innovator(Data Analytics)としても活動中。
いでよ、 Gemini! そしてデータの力を 解き放ちたまえ!! Proprietary
岩尾 一優 株式会社 Hogetic Lab 取締役 CTO Champion Innovator - データ分析 Google Cloud Next Tokyo ’24 Proprietary 02
Hogetic Lab Google Cloud の ● Sell / Build / Service パートナー ● 生成 AI パートナー データ分析を全ての企業に届けるスタートアップ コンサルティング & 受託サービス ○ ※画像の置換方法 グレーボックスを選択し、 右クリックで「画 像を置換」 を選択し、配置したい画像に差 し替えてください。本テキストは削除してく ださい。 Google Cloud Next Tokyo ’24 データ分析案件 / データ基盤案件 / 生成 AI 案件など 自社開発プロダクト(on Google Cloud) ○ ○ ○ ○ Collectro : データ収集 BI Suite : データ可視化 AI Craft : RAG 構築 Bizschola : データ人材育成講座 /顧問プログラム Proprietary 03
発表サマリー Gemini の強大な力を活用して データ活用の効果 /効率を圧倒的に高める 方法を ご紹介します Google Cloud Next Tokyo ’24 04
Gemini とデータ活用 Gemini(Google 製マルチモーダル生成 AI)の特徴 ● 長いコンテキスト( 200 万トークン)を処理可能 ○ 大量データを直接インプット可能 ○ 複雑なデータセットの全体像を把握しやすい ○ データ間の関連性をより深く理解可能 データ分析や活用と相性が良い Google Cloud Next Tokyo ’24 Proprietary 05
Gemini とデータ活用 Gemini を用いて効果的にデータ活用するためのポイント ● メタデータが適切に整備されている ● 効果的なプロンプトを作成できている 本発表では、これらのポイントに焦点を当て、 Gemini を活用したデータ活用の具体的な方法と事例をご紹介します。 Google Cloud Next Tokyo ’24 Proprietary 06
メタデータの重要性 整備すると誰がどう嬉しいの? Google Cloud Next Tokyo ’24 Proprietary 07
メタデータの定義と価値 メタデータの定義 ● ● データを説明するデータ 例 : BigQuery のテーブル / カラムの description メタデータの価値と活用 ● ● データの検索性 / 再利用性の向上 生成 AI によるメタデータの活用 (SQL 生成など) メタデータは、人間と AI の 両方にとって、データを効果的に 理解し活用するための鍵となる Google Cloud Next Tokyo ’24 Proprietary 08
メタデータ整備の課題 メタデータの重要性は広く認識されているものの、 実際には多くの企業で整備されていない... ● 作成・維持に要する多大な労力と時間 ● 短期的な投資対効果の見えにくさ ● 組織全体での一貫した取り組みの難しさ そこで・・・ Google Cloud Next Tokyo ’24 Proprietary 09
いでよ、 Gemini! そしてメタデータを整備したまえ!! Google Cloud Next Tokyo ’24 Proprietary & Confidential 010
Gemini でメタデータの整備を効率化 Gemini を活用することで、 メタデータ整備の初期段階を 大幅に効率化 ● ● 手順 ○ BigQuery からスキーマを抽出 ○ カラムの description を生成 ○ BigQuery のスキーマを更新 注意点 ○ Proprietary 人間によるレビューが必要 (ゼロから整備するよりは効率的) 011
description 生成の仕組み 自社では、データセットを指定すると配下のテーブル全てのカラム の description が自動で登録される補助ツールを開発 あなたはデータエンジニアです。 <中略> 以下の BigQuery のスキーマにおいて、 description フィールドの値を追加してください。 ● 基本は description をカラム名から推定 ● 推定結果の品質向上や安定化には プロンプトの磨き込みが重要 ● 出力を JSON フォーマットに固定 ### ルール - カラム xxx の description は必ず “yyy” とすること <中略> ### 制約事項 - description の中身は日本語とすること - description 以外のフィールドは変更しないこと ### BigQuery スキーマ {BigQuery スキーマ} Google Cloud Next Tokyo ’24 Proprietary 012
期待される効果① テーブルスキーマ (SQL 生成の精度向上) ①「date_2」のようなわかりにくい カラムに description を追加 Vertex AI Studio ②プロンプトにメタデータ(カラムの説明)を インプットすることで指示文の内容を正しく 理解し SQL を生成 (課題)Data Canvas でも Text-to-SQL を 試してみたが、現時点ではカラム description を参照できていなそう... Proprietary & Confidential 013
期待される効果② Vertex AI Studio (レビュー精度の向上) ①プロンプトに誤りを含んだ SQL と メタデータ(カラムの説明)をインプット ②レビュー対象 SQL の意味的な 誤りを指 摘し正しく修正 (ポイント)メタデータがない場合、文法的 な誤りは指摘できても意味的な誤りの指摘 はできない Proprietary & Confidential 014
Gemini がデータ活用を サポート Google Cloud Next Tokyo ’24 Proprietary 015
データ活用のあるある課題 データダッシュボードがうま く活用されていない ● ● データ解釈 / 施策立案の難しさ 業務知識とデータ分析 スキルの両立の難しさ Google Cloud Next Tokyo ’24 人的リソースの制約 ● ● 専門人材の不足 データ分析に割ける 時間的制約 Proprietary 016
ここでも「いでよ、 Gemini!」 200 万トークンを処理可能 という圧倒的な力で データの解釈や施策立案をサポートして!! Google Cloud Next Tokyo ’24 Proprietary & Confidential 017
具体的な活用例 BI ツール上の AI サマリー 自社では、自社製の BI ツールに Gemini を統合し活用 プロンプト設定画面 中身は後ほど説明 Google Cloud Next Tokyo ’24 Proprietary 018
プロンプトに含めるもの 指示文 コンテキスト プロンプトの目的と期待される 出力を明確に定義し、 AI に求める内容を具体的に伝える 背景情報、関連する前提条件、 業界や職種特有の知識 など、 状況を理解するための情報を提供 データ 出力形式 分析対象の具体的なデータセット 期待される回答の構造、形式、 詳細度を指定し、結果の一貫性を確保 Gemini ならダッシュボードごと データをインプット可能!! Google Cloud Next Tokyo ’24 Proprietary 019
プロンプトの例 あなたは SRE(site reliability engineer)として、クローラーのエラーデータを分析し、サマリーレポートを作成する任務を担っています。 以下のデータを慎重に分析し、洞察に富んだレポートを作成してください。 ### データ <実際のデータを添付> これらのデータを分析し、以下の点に注目してサマリーレポートを作成してください 1. 最も頻繁に発生しているエラーの種類と、それらが特定のクローラーに集中しているかどうか 2. エラーの発生傾向(増加、減少、または安定しているか) <中略> ### 出力形式 1. 全体的な状況 2. 主要な問題点 3. 積極的な改善が必要な領域 4. 推奨される対策 コンテキスト 日頃 SRE がどのような観点で データを見て対策を考えている のかをインプット 推奨される対策を提案する際は、以下のガイドラインに従ってください - 具体的で実行可能な提案をしてください - 短期的な解決策と長期的な改善策の両方を考慮してください - 可能な限り、提案の潜在的な影響や利点を説明してください 分析と報告を開始してください。 Google Cloud Next Tokyo ’24 020
期待される効果 データ活用の民主化 ● ● 専門知識不要で、 誰でも複雑なデータを理解 最終的な意思決定は人間が 行うが、データに基づく意思 決定をサポート Google Cloud Next Tokyo ’24 生産性の向上 ● データ解釈と施策立案の時 間を大幅に短縮 Proprietary 021
まとめ Google Cloud Next Tokyo ’24 Proprietary 022
まとめ 本日は Gemini × データ活用の事例を紹介しました。 ● (前半)Gemini を活用しメタデータを効率的に整備する方法 ● (後半)Gemini を活用しデータ解釈/施策立案を支援する方法 Gemini を最大限活用するには ● ● (Gemini ありきではなく)業務課題をうまく捉え、 そこに生成 AI を溶け込ませる (単なるチャット I/F として活用するのみではなく) プロダクトに搭載するなど体験を磨く などが重要 Google Cloud Next Tokyo ’24 本資料はこちらで公開予定 Proprietary 023
Thank you Proprietary 024