20250618_なんでもCopilot_Copilotが変える！Fabric×Snowflakeのデータカタログ構築によるData&AIの民主化

© 2025 NTT West Corporation. All Rights Reserved. Copilotが変える！ Fabric×Snowflakeの データカタログ構築によるData&AIの民主化 なんでもCopilot #34 2025/6/18 高須賀 将秀

© 2025 NTT West Corporation. All Rights Reserved. 2 /25 自己紹介 たかすか まさひで 高須賀 将秀 博士（情報学）（2023/3） 研究分野：組合せ最適化，数理最適化，オペレーションズ・リサーチ（OR），グラフ理論 所属：NTT西日本 デジタル改革推進部（2021/8～）， 法政大学 デザイン工学部 兼任講師（2024/4～），個人事業（Udemy講師等）（2024/6～） 業務：データドリブン経営を牽引する立場 ・データ活用基盤のシステム開発 ・データ分析手法の研究 ・データ分析活用事例の提案 ・デジタル人材育成 資格：クラウド資格（AWS 15/15，MCP 39/48，GCP 12/12）， Microsoft Top Partner Engineer Award（2024）， AWS All Certifications Engineers（2024） 高須賀将秀のホームページ

© 2025 NTT West Corporation. All Rights Reserved. 3 /25 私の研究（博論）内容 ◼ 与えられた全ての工事に対して立会者の割当を決定する問題である ◼ 移動距離や立会者のスキル等の様々な条件を考慮し割当を決定している ◼ 条件は万人共通の条件もあれば手配者の思考や嗜好によって異なるものもある 入力 出力 工事4 工事1 1 工事2 4 手配者 工事5 2 1 工事6 3 工事7 工事8 8 工事9 6 工事5 数理モデル 5 工事6 工事3 手配者 の思考/嗜好 = 7 工事2 4 2 5 工事3 立会者1～4 工事4 工事1 立会者4 3 工事7 立会者1 7 立会者2 工事8 ブラックボックス 化 8 工事9 9 9 立会者3 6

© 2025 NTT West Corporation. All Rights Reserved. 4 /25 私の研究（博論）内容 ◼ 高度な技能を有している手配者により意思決定が行われている工事立会者手配 業務に対し実用的な手配結果を算出可能な数理モデルを構築した 長期効果 短期効果 付随効果 過去の工事立会者手配業務 デジタルデータ活用による工事立会者手配業務 人件費 年間1億（関東エリア：年間6万件） 年間0.1億（関東エリア：年間6万件）（想定） 品質 年間工事事故5件 年間工事事故0件（想定） 総移動時間 11,424 s（3.2 h） 11,593 s（3.2 h）※1 総割当ペナルティ 163 pt 81 pt※1 手配時間 3時間2回/1日 5分×2回/1日 やり方 アナログ（手書き） デジタル 手配結果 ※1：数理モデル4で総移動時間を重視すると, 総合移動時間10,697 s, 総品質146 ptとなる.

© 2025 NTT West Corporation. All Rights Reserved. アジェンダ • データカタログとは • データカタログの必要性の変化 • Snowflake とFabric でのCopilot の比較 5 /25

© 2025 NTT West Corporation. All Rights Reserved. 6 /25 本日の話をする高須賀の立場 • 技術者・研究者 • データ活用・基盤の専門家 • さらにいうと，本日の話には関係ないが，数理最適化の専門家 育 成 コ ス ト ＝ Copilotのバックエンド側を 検討・開発する側の立場 AI・データの民主化を推進するために， 利用者のハードルを下げる仕掛けづくり Copilotの登場により，利用者， 開発者双方のコストが下がり， AI・データの民主化が加速 閲覧者 分析者 データ管理者 高須賀の立場 基盤管理者 開 発 コ ス ト

© 2025 NTT West Corporation. All Rights Reserved. 7 /25 データ活用の障壁って何でしょうか？（1/2） • データがない（データのサイロ化，データ品質） • 必要なデータが部署ごとに分断されている／正確で使えるデータが整っていない • 環境がない（インフラ，ツール） • データ活用基盤やBIツールが未整備で活用が進まない 生成元データ データ活用基盤

© 2025 NTT West Corporation. All Rights Reserved. 8 /25 データ活用の障壁って何でしょうか？（2/2） • スキルがない（分析スキル，データのドメイン知識） • データを読み解く力や、どこにどんなデータがあるかを把握できていない（データカタ ログがない） • データ活用の一連のプロセスにおけるスキル習得にコストがかかる データ収集 ・DBスキル（SQL，KQL） ・API・Web連携（REST API， Scraping） ・ETL/ELTツール ・ドメイン知識 データ加工 ・プログラミングスキル（SQL， Python） ・データクレンジング（欠損値，外れ値， データ型変換） ・データ統合（名寄せ，MDM） ・ドメイン知識 データ分析 ・プログラミングスキル（SQL， Python） ・統計・数学スキル ・課題考察スキル ・ドメイン知識 データビジネス データエンジニアリング データサイエンス データ，環境，スキルが揃った状態に加えて，データカタログがないとAI・データの民主化が進まない

© 2025 NTT West Corporation. All Rights Reserved. 9 /25 データカタログとは（1/2） • データカタログとは，組織内のデータ資産（データベース，ファイル，データレイクな ど）のインベントリであり，メタデータを用いてデータの検索，理解，管理を効率化す るツール 基盤管理者 データ管理者 テクニカルメタデータ オペレーショナルメタデータ ビジネスメタデータ スキーマ名 テーブル名 カラム名 データ型 レコード数 作成日 更新日 更新頻度 論理名 説明 Database1 Schema1 Table1 Column1 String 2,313,581 2024/4/1 2025/6/1 month 従業員マスタ XXするため Database1 Schema1 Table1 Column2 String 92,462,152 2024/4/1 2025/6/17 Day 契約マスタ XXするため … … … … … … … … … … Database3 Schema5 Table2 Column2 String 63,746 2024/4/1 2025/4/1 Year 商品マスタ XXするため … … … … … … … … … … … ここを作るのが大変 … データベース名 一言でいうと，データ活用する上での 道しるべ

© 2025 NTT West Corporation. All Rights Reserved. 10 /25 データカタログとは（2/2） • データカタログとは，組織内のデータ資産（データベース，ファイル，データレイクな ど）のインベントリであり，メタデータを用いてデータの検索，理解，管理を効率化す るツール データカタログの主な機能 データカタログのメリット データの検索 組織内のデータ資産を検索し，必要なデータを見つける メタデータの管理 データに関する情報を（メタデータ）収集，整理，更新する データの可視化 データの概要や詳細な情報を可視化し，データの理解を深める データのガバナンス データに関するルールやポリシーを定義し，データの使用を管理する データのリネージ追跡 データの流れを追跡し，データの起源や変更履歴を把握する データ品質の評価 データの品質を評価し，必要に応じて改善する データの発見と利用の効率化 組織内のデータを効率的に検索し，必要なデータにアクセスできる データの品質向上 データのガバナンスを強化し，データの品質を向上させる データ利用の安全性の向上 データの利用を管理し，不正アクセスや漏洩のリスクを低減する データガバナンスの強化 データに関するルールやポリシーを定義し，データの使用を管理する データ分析の促進 データ分析に必要なデータを容易に探し，利用できる

© 2025 NTT West Corporation. All Rights Reserved. 11 /25 データカタログの必要性の変化 • AI・データの民主化の流れ，データカタログの必要性の変化を以下に示す LLMを活用した自動データカタログ構築 ビジネスメタデータを自動的に生成してデータカタログを作成 するが，読み解きが難しい，どう活用すればいいかわからな い（データ管理者の負荷低減，基盤管理者の負荷増， 分析者・閲覧者スキル要） システム部門と業務部門の協力のもと人手でデータカタログを作成 テクニカルメタデータは揃うがビジネスメタデータが揃わず，データカタロ グを活用してデータ活用を行うまでに至らず（データ活用関係者全 員がつらい状態） データカタログの手動構築 データカタログの自動構築 メタデータを活用したAI・データの民主化 利 用 者 の 負 担 共 同 す る 壁 暗黒期 LLMを活用した自然言語データベース問い合わせ・ 簡易分析ツール（いわゆるtext2sql） 利用者のハードルを下げるために，自然言語で データの中身や簡易な分析を行うツールを作成する が，基盤管理者側の負荷増 データカタログ不要のAI・データ民主化 Copilotの登場により，全員が幸せな世界に そもそもデータカタログ必要？ 作 る 壁 見 る ・ 使 う 壁 黎明期 AI・データの民主化 ブレイクポイント？ 活 用 成長期

© 2025 NTT West Corporation. All Rights Reserved. 12 /25 データカタログの必要性の変化（暗黒期） 説明文 論理名 Microsoft製品でいうと， Azure DataCatalog https://dev.classmethod.jp/articles/informatica-edc/

• https://dev.classmethod.jp/articles/informatica-edc/

© 2025 NTT West Corporation. All Rights Reserved. 13 /25 データカタログの必要性の変化（暗黒期） データカタログを人手で作成するのは 正気の沙汰ではない ・AI・データの民主化を推進するために， データカタログを作成したい ・そのために，業務部門に協力依頼したい システム部門 データ活用推進者 ・データ活用のやり方がわからない ・必要なデータを集められない ・通常業務で手一杯 ・データオーナの責任所在が不明確 ・データ活用に対するROIが不明瞭 ・カタログ作成の稼働捻出不可 業務部門

© 2025 NTT West Corporation. All Rights Reserved. 14 /25 データカタログの必要性の変化（黎明期①） ビジネスメタデータを含む，データカタログ作成プログラム API経由でテーブルを読み，作成したデータカタログを書き込む 自動生成したデータカタログ

© 2025 NTT West Corporation. All Rights Reserved. 15 /25 データカタログの必要性の変化（黎明期①） 自動生成したデータカタログ（Snowflake）

© 2025 NTT West Corporation. All Rights Reserved. 16 /25 データカタログの必要性の変化（黎明期①） 自動生成したデータカタログ（Fabric）

© 2025 NTT West Corporation. All Rights Reserved. データカタログの必要性の変化（黎明期①） データカタログのたたきを作ったが， そもそも，データカタログを見る・使う人が少ない 17 /25

© 2025 NTT West Corporation. All Rights Reserved. 18 /25 データカタログの必要性の変化（黎明期②） 作成したメタデータ（データカタログの元） 1 2 ３ 資格の人気度に関する情報を分析して

© 2025 NTT West Corporation. All Rights Reserved. 19 /25 データカタログの必要性の変化（成長期） 1 資格の人気度に関する情報を分析して 2

© 2025 NTT West Corporation. All Rights Reserved. 20 /25 データカタログの必要性の変化（成長期） 3 2 4 人気度カテゴリ

© 2025 NTT West Corporation. All Rights Reserved. 21 /25 データカタログの必要性の変化（成長期） 3 1 資格の人気度に関する情報を分析して 2 4 人気度カテゴリ

© 2025 NTT West Corporation. All Rights Reserved. データカタログの必要性の変化（成長期） Copilotのおかげで スキルやデータカタログがなくても， AI・データの民主化が進む時代の到来！？ 22 /25

© 2025 NTT West Corporation. All Rights Reserved. 23 /25 Snowflake とFabric でのCopilot の比較 • Snowflake とFabric において，Copilot がAI・データ民主化をどのようにサポート するか比較（使い勝手は別場で紹介予定） • Snowflake: データウェアハウス中心のCopilot機能で，SQLとSnowpark中心の開発支援 • Microsoft Fabric: エンドツーエンドの統合プラットフォームとして，各サービス（Power BI， Data Factory等）でのCopilot機能を提供 Snowflake Fabric データ収集 データ加工 データ分析 Snowflake Copilot • 自然言語でデータソース接続の設定をサ ポート • データ取り込み手順の提案 • 外部データソース連携の推奨設定提案 Snowflake Copilot • 変換ロジックの自動生成 • SQLクエリの提案 • データクリーニング手順の自動化 Snowflake Copilot • 複雑なSQL分析クエリの生成 • パフォーマンス最適化の自動提案 • Cortex AI機能との連携で高度な分析 • 自然言語での分析結果解釈 Copilot in Data Factor • データフロー作成の自動化 • 自然言語でETLパイプライン生成 • データソース接続の提案 Copilot in Data Factory • データ変換の自動設計 Power Query Copilot • M言語での変換式自動生成 • 列の型変換や結合条件の提案 Copilot in Power BI • DAX式の自動生成 • 可視化レポートの自動生成 Copilot in Notebooks • Python/R/Scalaコード生成 • 分析レポートの自動作成 • 自然言語での洞察抽出と要約

© 2025 NTT West Corporation. All Rights Reserved. まとめ • AI・データの民主化の現在地について解説した • データカタログの必要性の変化について解説した • AI・データの民主化を加速するCopilot の機能について解説した • 次回，Copilot の機能に関する細かな使い勝手について解説予定！ 24 /25

© 2025 NTT West Corporation. All Rights Reserved. 宣伝 • すきやねんAzure!! • 6/27 MOTIVATION EXPO 2025（数理最適化×Fabric×Azure） • 15:10-15:45 資格分析ダッシュボードを使って資格取得を頑張ろう • 15:55-16:50 Azure を用いて万博を効率よく回る方法を学んでみよう https://sukiyanenazure.connpass.com/event/355779/ • Udemyコンテンツリリース！ • 簡単に数理最適化アプリが作れる！製造業における数理最適化の活用術 • 数理最適化の基礎（万博訪問ルート最適化アプリの解説） • ローカル環境における数理最適化（Python in Excel を使った数理最適化もあるよ！） • クラウド環境における数理最適化（Snowflake，Azure，Google Cloud，AWSでの構築） https://www.udemy.com/course/optcloud/?couponCode=B84064EC2AE116CB0B52 25 /25

• https://sukiyanenazure.connpass.com/event/355779/
• https://www.udemy.com/course/opt-cloud/?couponCode=B84064EC2AE116CB0B52