作ってあそぼ！今から始めるAOAI

作ってあそぼ！ 今から始めるAOAI

自己紹介 • 今年で29歳 • 普段は客先でAzure/AWSと日々格闘中 • エンジニア歴3年目のフレッシュメン（オンプレ未経験なのは内緒） • 未熟者なのでこれおかしいよ！があればこっそり教えてほしい！！ Twitter：ryuuu_ch

経緯 悔い改めに来ました まだChatGPTを使ってない人は「人生を悔い改めた方がいい」――孫正 義節が炸裂 ※画像はBing Image Createrで作成

• https://www.itmedia.co.jp/news/articles/2310/04/news175.html

AzureOpenAIとは • Microsoftが提供するAIサービス。 • 顧客の入出力をMicrosoftが利用することがない。 • プライベートエンドポイントをサポート。閉域網での利用ができる。 Data, privacy, and security for Azure OpenAI Service Azure OpenAI は VNET とプライベート エンドポイントをサポートしていま すか?

• https://learn.microsoft.com/ja-jp/legal/cognitive-services/openai/data-privacy
• https://learn.microsoft.com/ja-jp/azure/ai-services/openai/faq

やりたいこと • ゼロベースから理解を進める。とにかく思いついたものを作る。 • TeamsでChatGPTをREST APIで呼び出してみる。 • DALL・Eで画像生成をTeamsで行う。 • 社内文書検索をTeamsで行う。 • OpenAIのChatGPTプラグインにPowerAutomateが追加されたため、 せっかくなのでPowerAutomateを利用する。 Microsoft、「ChatGPT」向けの「Power Automate」プラグインを発表

• https://forest.watch.impress.co.jp/docs/news/1533920.html

１．Teamsから呼び出してみる • とりあえずREST APIとして実装されているChat Completion APIをたたいて呼び出すこと にする。 Chat completions API Chat Completion API の操作 Azure OpenAI Service で GPT-35-Turbo と GPT-4 を使い始める Microsoft Teams に ChatGPT を追加する手順

• https://platform.openai.com/docs/guides/gpt/chat-completions-api
• https://learn.microsoft.com/ja-jp/azure/ai-services/openai/how-to/chatgpt?pivots=programming-language-chat-completions
• https://learn.microsoft.com/ja-jp/azure/ai-services/openai/chatgpt-quickstart?tabs=command-line&pivots=rest-api
• https://www.prins.co.jp/knowledge/column/20230807-4501/

２．Teamsから画像生成してみる • 画像生成モデル（DALL・E）のAPIをたたいて画像生成をする。 • せっかくなのでプロンプトエンジニアリングも試してみる。雑にチャット投げてもそれっぽくプロンプトを生成するように指定する。 ロールプレイ 再帰的自己改善（RCI） One-Shot prompting その他ルール Prompt Engineering Guide ChatGPT - Azure OpenAI 大全 p65 Azure OpenAI Service を使用して画像を生成する The request of DALL-E API returns 'notRunning' status

• https://www.promptingguide.ai/jp
• https://speakerdeck.com/hirosatogamo/chatgpt-azure-openai-da-quan
• https://learn.microsoft.com/ja-jp/azure/ai-services/openai/dall-e-quickstart?tabs=command-line&pivots=rest-api
• https://learn.microsoft.com/en-us/answers/questions/1318332/the-request-of-dall-e-api-returns-notrunning-statu

３．文書検索機能をつけてみる • GPT3.5/4のモデルは2021年9月までの情報までしか学習していない • それ以降の情報は外部から取り入れる必要がある。 • 独自文書など学習のしようがないものについても同様。 • 回避策としてRAGという手法を用いる。 1. LLMに独自文書の検索クエリを生成 2. 生成したクエリから得られたコンテンツの要約を生成 3. LLMにその要約を食わせてそれを元に回答させる

３．文書検索機能をつけてみる • 独自文書の検索にはAzure Cognitive Searchのセマンティック検索を用いる。 • 知らないはずの情報について回答が得られる。 • 独自文書にない内容についてはWebサイトから取得する方法もあるが、現時点では実装していない。 Azure Cognitive Search の全文検索を重点的に学習するワークショップを公開 セマンティック ランク付けを構成して検索結果でキャプションを返す 5.internal-document-search

• https://qiita.com/nohanaga/items/2a90539f7667fa9e486a
• https://learn.microsoft.com/ja-jp/azure/search/semantic-how-to-query-request?tabs=rest,portal-query
• https://github.com/Azure-Samples/jp-azureopenai-samples/tree/main/5.internal-document-search

３．文書検索機能をつけてみる

３．文書検索機能をつけてみる 作成したプロンプトは以下の通り

３．文書検索機能をつけてみる

３．文書検索機能をつけてみる

３．文書検索機能をつけてみる 作成したプロンプトは以下の通り

アクションアイテム • • • • AOAIでWhisperがパブリックプレビューになったので議事録を自動化してみる。 AOAIの閉域構成を作ってみたい。 Amazon Bedrock触ってみたい。 LangChain/Semantic Kernelを触ってみたい。 Azure OpenAIを使ったチャットボットWebアプリをAzureに閉じたネットワーク環境に構築する方法 AzureでGPT活用するためのシステムの参考アーキテクチャ Azure OpenAI Landing Zone reference architecture Azure Open AIの「Add your data」で出来ること出来ないこと OpenAI Whisper model in preview in Azure OpenAI service and Azure AI Speech Azure OpenAI on your data (preview) Microsoft が LLM をアプリ開発に統合するための OSS「Semantic Kernel」を発表

• https://dev.classmethod.jp/articles/azure-openai-chatbot-in-closed-network/
• https://logmi.jp/tech/articles/329038
• https://techcommunity.microsoft.com/t5/azure-architecture-blog/azure-openai-landing-zone-reference-architecture/ba-p/3882102
• https://zenn.dev/microsoft/articles/azure-openai-add-your-data-procon
• https://azure.microsoft.com/ja-jp/updates/openai-whisper-model-in-preview-in-azure-openai-service-and-azure-ai-speech/
• https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/use-your-data
• https://qiita.com/nohanaga/items/430b59209b02c298ef2a

終わりに 1週間でも何とかなる 言葉の意味をLLMとChatGPTしか知らなくてもなんとかなった つまり今からでも間に合う！！！！！！！！

参考資料 • AI技術について追いつくために読んでおいたほうが良い資料 • • • • • • ChatGPT - Azure OpenAI 大全 Prompt Engineering Guide Azure OpenAI Developers セミナー Day1、Day2 Azure OpenAI Service リファレンスアーキテクチャ AzureでGPT活用するためのシステムの参考アーキテクチャ Azure OpenAI Service 周り 7-8 月までの Updates • Cognitive Search周りの資料 • Azure Cognitive Search でのナレッジ マイニングの実装 • Azure Cognitive Search の全文検索を重点的に学習するワークショップを公 開

• https://speakerdeck.com/hirosatogamo/chatgpt-azure-openai-da-quan
• https://www.promptingguide.ai/jp
• https://www.youtube.com/watch?v=tFgqdHKsOME
• https://www.youtube.com/watch?v=cEynsEWpXdA
• https://www.microsoft.com/ja-jp/events/azurebase/contents/default.aspx?pg=AzureOAIS
• https://logmi.jp/tech/articles/329038
• https://qiita.com/nohanaga/items/fcc854038ef7c3307914
• https://learn.microsoft.com/ja-jp/training/paths/implement-knowledge-mining-azure-cognitive-search/
• https://qiita.com/nohanaga/items/2a90539f7667fa9e486a