20250618_なんでもCopilot_Copilotが変える！Fabric×Snowflakeのデータカタログ構築によるData&AIの民主化

© 2025 NTT West Corporation. All Rights Reserved. 2 /25 自己紹介たかすかまさひで高須賀将秀博士（情報学）（2023/3）研究分野：組合せ最適化，数理最適化，オペレーションズ・リサーチ（OR），グラフ理論所属：NTT西日本デジタル改革推進部（2021/8～），法政大学デザイン工学部兼任講師（2024/4～），個人事業（Udemy講師等）（2024/6～）業務：データドリブン経営を牽引する立場・データ活用基盤のシステム開発・データ分析手法の研究・データ分析活用事例の提案・デジタル人材育成資格：クラウド資格（AWS 15/15，MCP 39/48，GCP 12/12）， Microsoft Top Partner Engineer Award（2024）， AWS All Certifications Engineers（2024）高須賀将秀のホームページ

3.

© 2025 NTT West Corporation. All Rights Reserved. 3 /25 私の研究（博論）内容 ◼ 与えられた全ての工事に対して立会者の割当を決定する問題である ◼ 移動距離や立会者のスキル等の様々な条件を考慮し割当を決定している ◼ 条件は万人共通の条件もあれば手配者の思考や嗜好によって異なるものもある入力出力工事4 工事1 1 工事2 4 手配者工事5 2 1 工事6 3 工事7 工事8 8 工事9 6 工事5 数理モデル 5 工事6 工事3 手配者の思考/嗜好 = 7 工事2 4 2 5 工事3 立会者1～4 工事4 工事1 立会者4 3 工事7 立会者1 7 立会者2 工事8 ブラックボックス化 8 工事9 9 9 立会者3 6

4.

© 2025 NTT West Corporation. All Rights Reserved. 4 /25 私の研究（博論）内容 ◼ 高度な技能を有している手配者により意思決定が行われている工事立会者手配業務に対し実用的な手配結果を算出可能な数理モデルを構築した長期効果短期効果付随効果過去の工事立会者手配業務デジタルデータ活用による工事立会者手配業務人件費年間1億（関東エリア：年間6万件）年間0.1億（関東エリア：年間6万件）（想定）品質年間工事事故5件年間工事事故0件（想定）総移動時間 11,424 s（3.2 h） 11,593 s（3.2 h）※1 総割当ペナルティ 163 pt 81 pt※1 手配時間 3時間2回/1日 5分×2回/1日やり方アナログ（手書き）デジタル手配結果 ※1：数理モデル4で総移動時間を重視すると, 総合移動時間10,697 s, 総品質146 ptとなる.

5.

6.

© 2025 NTT West Corporation. All Rights Reserved. 6 /25 本日の話をする高須賀の立場 • 技術者・研究者 • データ活用・基盤の専門家 • さらにいうと，本日の話には関係ないが，数理最適化の専門家育成コスト＝ Copilotのバックエンド側を検討・開発する側の立場 AI・データの民主化を推進するために，利用者のハードルを下げる仕掛けづくり Copilotの登場により，利用者，開発者双方のコストが下がり， AI・データの民主化が加速閲覧者分析者データ管理者高須賀の立場基盤管理者開発コスト

7.

© 2025 NTT West Corporation. All Rights Reserved. 7 /25 データ活用の障壁って何でしょうか？（1/2） • データがない（データのサイロ化，データ品質） • 必要なデータが部署ごとに分断されている／正確で使えるデータが整っていない • 環境がない（インフラ，ツール） • データ活用基盤やBIツールが未整備で活用が進まない生成元データデータ活用基盤

8.

© 2025 NTT West Corporation. All Rights Reserved. 8 /25 データ活用の障壁って何でしょうか？（2/2） • スキルがない（分析スキル，データのドメイン知識） • データを読み解く力や、どこにどんなデータがあるかを把握できていない（データカタログがない） • データ活用の一連のプロセスにおけるスキル習得にコストがかかるデータ収集・DBスキル（SQL，KQL）・API・Web連携（REST API， Scraping）・ETL/ELTツール・ドメイン知識データ加工・プログラミングスキル（SQL， Python）・データクレンジング（欠損値，外れ値，データ型変換）・データ統合（名寄せ，MDM）・ドメイン知識データ分析・プログラミングスキル（SQL， Python）・統計・数学スキル・課題考察スキル・ドメイン知識データビジネスデータエンジニアリングデータサイエンスデータ，環境，スキルが揃った状態に加えて，データカタログがないとAI・データの民主化が進まない

9.

© 2025 NTT West Corporation. All Rights Reserved. 9 /25 データカタログとは（1/2） • データカタログとは，組織内のデータ資産（データベース，ファイル，データレイクなど）のインベントリであり，メタデータを用いてデータの検索，理解，管理を効率化するツール基盤管理者データ管理者テクニカルメタデータオペレーショナルメタデータビジネスメタデータスキーマ名テーブル名カラム名データ型レコード数作成日更新日更新頻度論理名説明 Database1 Schema1 Table1 Column1 String 2,313,581 2024/4/1 2025/6/1 month 従業員マスタ XXするため Database1 Schema1 Table1 Column2 String 92,462,152 2024/4/1 2025/6/17 Day 契約マスタ XXするため … … … … … … … … … … Database3 Schema5 Table2 Column2 String 63,746 2024/4/1 2025/4/1 Year 商品マスタ XXするため … … … … … … … … … … … ここを作るのが大変 … データベース名一言でいうと，データ活用する上での道しるべ

10.

© 2025 NTT West Corporation. All Rights Reserved. 10 /25 データカタログとは（2/2） • データカタログとは，組織内のデータ資産（データベース，ファイル，データレイクなど）のインベントリであり，メタデータを用いてデータの検索，理解，管理を効率化するツールデータカタログの主な機能データカタログのメリットデータの検索組織内のデータ資産を検索し，必要なデータを見つけるメタデータの管理データに関する情報を（メタデータ）収集，整理，更新するデータの可視化データの概要や詳細な情報を可視化し，データの理解を深めるデータのガバナンスデータに関するルールやポリシーを定義し，データの使用を管理するデータのリネージ追跡データの流れを追跡し，データの起源や変更履歴を把握するデータ品質の評価データの品質を評価し，必要に応じて改善するデータの発見と利用の効率化組織内のデータを効率的に検索し，必要なデータにアクセスできるデータの品質向上データのガバナンスを強化し，データの品質を向上させるデータ利用の安全性の向上データの利用を管理し，不正アクセスや漏洩のリスクを低減するデータガバナンスの強化データに関するルールやポリシーを定義し，データの使用を管理するデータ分析の促進データ分析に必要なデータを容易に探し，利用できる

11.

© 2025 NTT West Corporation. All Rights Reserved. 11 /25 データカタログの必要性の変化 • AI・データの民主化の流れ，データカタログの必要性の変化を以下に示す LLMを活用した自動データカタログ構築ビジネスメタデータを自動的に生成してデータカタログを作成するが，読み解きが難しい，どう活用すればいいかわからない（データ管理者の負荷低減，基盤管理者の負荷増，分析者・閲覧者スキル要）システム部門と業務部門の協力のもと人手でデータカタログを作成テクニカルメタデータは揃うがビジネスメタデータが揃わず，データカタログを活用してデータ活用を行うまでに至らず（データ活用関係者全員がつらい状態）データカタログの手動構築データカタログの自動構築メタデータを活用したAI・データの民主化利用者の負担共同する壁暗黒期 LLMを活用した自然言語データベース問い合わせ・簡易分析ツール（いわゆるtext2sql）利用者のハードルを下げるために，自然言語でデータの中身や簡易な分析を行うツールを作成するが，基盤管理者側の負荷増データカタログ不要のAI・データ民主化 Copilotの登場により，全員が幸せな世界にそもそもデータカタログ必要？作る壁見る・使う壁黎明期 AI・データの民主化ブレイクポイント？活用成長期

12.

https://dev.classmethod.jp/articles/informatica-edc/

13.

© 2025 NTT West Corporation. All Rights Reserved. 13 /25 データカタログの必要性の変化（暗黒期）データカタログを人手で作成するのは正気の沙汰ではない・AI・データの民主化を推進するために，データカタログを作成したい・そのために，業務部門に協力依頼したいシステム部門データ活用推進者・データ活用のやり方がわからない・必要なデータを集められない・通常業務で手一杯・データオーナの責任所在が不明確・データ活用に対するROIが不明瞭・カタログ作成の稼働捻出不可業務部門

14.

15.

16.

17.

18.

19.

20.

21.

22.

23.

© 2025 NTT West Corporation. All Rights Reserved. 23 /25 Snowflake とFabric でのCopilot の比較 • Snowflake とFabric において，Copilot がAI・データ民主化をどのようにサポートするか比較（使い勝手は別場で紹介予定） • Snowflake: データウェアハウス中心のCopilot機能で，SQLとSnowpark中心の開発支援 • Microsoft Fabric: エンドツーエンドの統合プラットフォームとして，各サービス（Power BI， Data Factory等）でのCopilot機能を提供 Snowflake Fabric データ収集データ加工データ分析 Snowflake Copilot • 自然言語でデータソース接続の設定をサポート • データ取り込み手順の提案 • 外部データソース連携の推奨設定提案 Snowflake Copilot • 変換ロジックの自動生成 • SQLクエリの提案 • データクリーニング手順の自動化 Snowflake Copilot • 複雑なSQL分析クエリの生成 • パフォーマンス最適化の自動提案 • Cortex AI機能との連携で高度な分析 • 自然言語での分析結果解釈 Copilot in Data Factor • データフロー作成の自動化 • 自然言語でETLパイプライン生成 • データソース接続の提案 Copilot in Data Factory • データ変換の自動設計 Power Query Copilot • M言語での変換式自動生成 • 列の型変換や結合条件の提案 Copilot in Power BI • DAX式の自動生成 • 可視化レポートの自動生成 Copilot in Notebooks • Python/R/Scalaコード生成 • 分析レポートの自動作成 • 自然言語での洞察抽出と要約

24.

25.

© 2025 NTT West Corporation. All Rights Reserved. 宣伝 • すきやねんAzure!! • 6/27 MOTIVATION EXPO 2025（数理最適化×Fabric×Azure） • 15:10-15:45 資格分析ダッシュボードを使って資格取得を頑張ろう • 15:55-16:50 Azure を用いて万博を効率よく回る方法を学んでみよう https://sukiyanenazure.connpass.com/event/355779/ • Udemyコンテンツリリース！ • 簡単に数理最適化アプリが作れる！製造業における数理最適化の活用術 • 数理最適化の基礎（万博訪問ルート最適化アプリの解説） • ローカル環境における数理最適化（Python in Excel を使った数理最適化もあるよ！） • クラウド環境における数理最適化（Snowflake，Azure，Google Cloud，AWSでの構築） https://www.udemy.com/course/optcloud/?couponCode=B84064EC2AE116CB0B52 25 /25

20250618_なんでもCopilot_Copilotが変える！Fabric×Snowflakeのデータカタログ構築によるData&AIの民主化

mshdtksk

関連スライド

20250627_JAZUG_すきやねんAzure_数理最適化×Azure×Fabricのコラボレーション_数理最適化をより身近なものにするために_ー万博訪問ルート最適化サービスを作ってみたー

20250328_Jagu'e'r_データ利活用科会_Dify×StreamlitによるAIエージェント活用の模索

20250526_Jagu'e'r Technical Summit_統合資格分析ダッシュボードサービスを作ってみた話

20250527_Jagu'e'r 人材育成分科会_GoogleAWSAzureAllCerts更新奮闘記

20250510_JAZUG_Global Azure 2025_統合資格分析ダッシュボードサービスを作ってみた話

20241220_Streamlit Meetup Tokyo 2024_Streamlitを活用して博士過程での研究を効率化した話

各ページのテキスト