テキストデータを価値に変える！　Fabric AI関数の活用術

テキストデータを価値に変える！ Fabric AI関数の活用術 Microsoft Data Analytics Day(Online) 勉強会 兵藤 克樹

アジェンダ ◆ 概要 ◆ 利用方法 ◆ 各関数のデモ ◆ 容量消費 2

はじめに ◆ 全てのSKUでCopilot, AI機能が利用可能に！！ • Copilot と AI Capabilities は、Microsoft Fabric のすべての有料 SKU で利用できます |Microsoft Fabric ブログ |マイクロソフトファブリック 3

• https://blog.fabric.microsoft.com/en-us/blog/copilot-and-ai-capabilities-now-accessible-to-all-paid-skus-in-microsoft-fabric

AI関数とは ◆ 大規模言語モデル（LLM）によるテキスト分析 Open AIを使用して、ノートブックでのテキスト分析を実現 ◆ 複雑な設定は必要なし 必要なライブラリをインポートするだけで、すぐに利用可能 ◆ 1行のコードで実現 入力列、出力列を指定するだけのような簡潔なコードで実現可能 ◆ 用途に応じてモデルを切り替え可能 組み込みのOpenAIモデルに加え、独自のOpenAI APIキーを指定して自社に最適なLLMを利用可能 4

利用可能な関数 関数名 機能概要 活用シナリオ（実務の場面での使い方） ai.similarity 入力された文章と、別の文章（基準） との意味的な類似度を測定 顧客からの問い合わせ内容が、過去のFAQと似ているかを判定し、最 も関連性が高い回答をレコメンド表示する ai.classify 文章の内容に応じて、指定したカテゴ リに自動分類 お問い合わせフォームの自由記述を、「返品依頼」「製品不具合」 「その他」に自動で分類して、各部門に振り分ける ai.analyze_sentiment 文章の感情（ポジティブ・ネガティ ブ・中立）を分類 製品レビューやアンケートコメントを分析して、感情を分類し、満足 度や不満点を把握し、改善ポイントを特定する ai.extract テキストから、人物名・組織名・場 所・日付などの固有情報を抽出 海外から届いたビジネスメールから、会社名・会議日程・担当者名な どを自動で抽出し、CRMに登録する ai.fix_grammar 英文のスペルミス・文法誤り・句読点 ミスを修正 海外顧客へのメール草案を、文法的に正しく整え、ビジネス英語とし て適切な表現に補正する ai.summarize 長文の要点を簡潔にまとめて要約 サポート対応履歴や技術文書などを読みやすく要約し、社内共有や報 告に使える形に整える ai.translate テキストを他の言語に翻訳 製品マニュアルやヘルプ記事を多言語化したり、外国語レビューを社 内で理解できるよう翻訳する ai.generate_response 指定の目的や指示に応じて自然な文章 を生成 「顧客からのクレームに丁寧に返信するメールを作成」など、業務文 書を自動生成して対応時間を短縮する 5

利用方法 ライブラリのインストール ◆ 組み込みのOpen AIを利用する場合 ◆ 独自のOpen AIを利用する場合 6

利用方法 コードサンプル ◆ 感情分析 sentiment = df.ai.analyze_sentiment(input_col="reviews", output_col="sentiment") [df]を読み込み、[review]列の感情を抽出し、[sentiment]列に追加、新しいデータフレーム[sentiment]として保存 ◆ 翻訳 translations = df.ai.translate(to_lang="Japanese", input_col="text", output_col="txt_jpn") [df]を読み込み、[text]列を[日本語]に翻訳し、[txt_jpn]列に追加、新しいデータフレーム[translations]として保存 7

利用方法 GUIでのセットアップ ◆ GUIですぐに利用可能 8

利用方法 GUIでのセットアップ ◆ データフレームを自動認識しコード生成、またサンプルコードの生成もしてくれる 9

利用方法 GUIでのコード生成 ◆ GUIでコード生成も可能 10

使用の前提 ◆ テナント設定 ◆ Copilot, OpenAI機能の有効化 ※独自のOpenAIを利用する場合は不要 ◆ リージョン外データ処理の有効化 11

テナント設定の注意点 ◆ リージョン外データ処理の許可 ◆ 基本は容量と同じリージョン内のOpenAIで処理される ◆ しかし現在、CopilotやAI機能のためにMSが管理しているOpenAIは米国とヨーロッパにのみ存在するため、 容量が米国かヨーロッパ以外の場合は、リージョンをまたいでデータが処理されることを許可する必要がある • • Fabric容量のリージョン 使用されるOpenAIのリージョン 容量のリージョン外でのデータ処理 利用に必要なテナント設定 米国 米国 無し Copilotの有効化 ヨーロッパ ヨーロッパ 無し Copilotの有効化 英国 ヨーロッパ あり Copilotの有効化 リージョン外データ処理の許可 日本、東南アジア など 米国 あり Copilotの有効化 リージョン外データ処理の許可 Copilot 管理者設定 - Microsoft Fabric | Microsoft Learn Fabric におけるプライバシー、セキュリティ、Copilot の責任ある使用 - Microsoft Fabric | Microsoft Learn 12

• https://learn.microsoft.com/ja-jp/fabric/admin/service-admin-portal-copilot
• https://learn.microsoft.com/ja-jp/fabric/get-started/copilot-privacy-security

感情分析 13

感情分析 14

分類 15

分類 16

要約 むかしむかし、あるところに、おじいさんとおばあさんが住んでいました。 おじいさんは山へしば刈りに、おばあさんは川へ洗濯に行きました。 おばあさんが川で洗濯をしていると、どんぶらこっこ、どんぶらこと、大きな桃が流れてきました。 「まぁ、なんて大きな桃でしょう。家に持って帰って、おじいさんと食べましょう。」そう言っておばあさんは、桃を家に持ち帰りました。 おじいさんと二人で桃を切ろうとしたそのとき、桃がぱかっと割れて、中から元気な男の赤ちゃんが飛び出してきました。 「これはきっと天からの授かりものじゃ。名前は桃から生まれたから『桃太郎』にしよう。」 こうして桃太郎は、愛情を受けてすくすくと成長しました。 村でも評判の元気で賢い子に育ち、力も強く、どんな相手にも負けないようになりました。 ある日、桃太郎はおじいさんとおばあさんに言いました。 「鬼ヶ島にいる悪い鬼たちを退治しに行きたいと思います。村の人たちが困っているので、ぼくがやっつけます。」 おじいさんとおばあさんは驚きながらも、桃太郎の決意に心を打たれ、おばあさんはきびだんごを作って持たせてくれました。 「これを持って行きなさい。道中で力になるでしょう。」 桃太郎はきびだんごを腰にぶら下げて、鬼ヶ島へと旅立ちました。 途中で犬に出会い、「桃太郎さん、どこへ行くのですか？」と聞かれました。 「鬼ヶ島へ鬼退治に行くんだ。きびだんごを一つあげるから、仲間にならないか？」犬は大喜びで仲間になりました。 しばらくすると猿に出会いました。「桃太郎さん、どこへ行くのですか？」 「鬼ヶ島へ鬼退治に行くんだ。きびだんごを一つあげるから、仲間にならないか？」猿も喜んで仲間になりました。 さらに歩いていくと、今度はキジに出会いました。「桃太郎さん、どこへ行くのですか？」 「鬼ヶ島へ鬼退治に行くんだ。きびだんごを一つあげるから、仲間にならないか？」キジも羽をばたつかせて喜び、「もちろんです！」と仲間になりました。 こうして、桃太郎は犬、猿、キジの三匹を連れて、鬼ヶ島を目指しました。 途中の険しい山道も、深い谷も、強い意志を胸に乗り越えていきました。 夜はたき火を囲みながら作戦を練り、昼は互いに助け合いながら進みました。 数日後、ついに鬼ヶ島が海の向こうに見えてきました。 島へ渡るため、漁師の舟を借りて、海を渡ります。 波が荒れ、嵐のような風が吹く中でも、桃太郎と仲間たちは力を合わせて舟をこぎ、ようやく鬼ヶ島へとたどり着きました。 鬼ヶ島の門は大きく、分厚く、鋼のように固くできていました。 桃太郎は刀を抜き、「ここが勝負どころだ。みんな、力を合わせよう！」と叫びました。 犬は門の下をくぐり、猿は門の上によじ登り、キジは空から急降下して鬼たちの注意を引きつけました。 そして桃太郎が正面から突入。門を突き破り、城内に突入します。 鬼たちは最初は驚き、次々と立ち向かってきました。しかし桃太郎と動物たちの連携は素晴らしく、鬼たちは次第に押されていきます。 犬は足元に噛みつき、猿は背後から引っかき、キジは目をつつきます。最後には、鬼の大将が現れました。体は真っ赤で、巨大な金棒を振り回しています。 「なんだ、お前らは！ 人間が、我らの城に攻めてくるとは！」 17

要約 2034文字→174文字 18

応答生成 19

応答生成 20

容量消費 ◆ OpenAI言語モデル モデル コンテキスト (トークン) 入力: (1,000 トークンあたり) 出力 (1,000 トークンあたり) GPT-4o-2024-08-06 Global 128 K 84.03 CU 秒 336.13 CU 秒 GPT-4o-mini-0718 Global 128 K 5.04 CU 秒 20.17 CU秒 GPT-4 32 K 2,016.81 CU 秒 4,033.61 CU 秒 GPT-3.5-Turbo-0125 16,000 16.81 CU 秒 50.42 CU 秒 • Fabric の Azure AI サービスを使用する - Microsoft Fabric | Microsoft Learn 21

• https://learn.microsoft.com/ja-jp/fabric/data-science/ai-services/ai-services-overview