20250118_jawsug_hakodatei_lt_beajouneyman

函館 #15 re:Invent 2024 で怒涛のアップデートだった Bedrock の新機能を触ってみた Journeyman | @beajourneyman Jan 2025

Journeyman ジャニ (Takeki Oizumi) 所属：セゾンテクノロジー(4月に社名変更) 2022年10月より遠隔地勤務可に 仕事：Amazon Connect を基盤とした IVRシステムの開発保守リーダー 推しサービス：Amazon Connect / Polly 最近は Bedrock SNS：@beajourneyman 認定： CLF / SAA / AIF

開催のお祝いメッセージ

SSMLチューニング(函館Ver)
<speak>
<phoneme alphabet="x-amazon-pron-kana" ph="
'">JAWS</phoneme>
<phoneme alphabet="x-amazon-pron-kana" ph="
UG</phoneme>
<phoneme alphabet="x-amazon-pron-kana" ph="
</phoneme> <break time="0.05s"/>
<p>
!</p>
</speak>

' ">' ">

Amazon Bedrock アップデートプチおさらい https://speakerdeck.com/shimy/jawsug-qian-xie-2025-dot-1-14

• https://speakerdeck.com/shimy/jawsug-qian-xie-2025-dot-1-14

本日のやってみたメニュー • Amazon Nova テキスト系 • Amazon Nova Canvas, Reel • Knowledge Bases RAG評価 ※詳細な手順は説明しません。Qiitaブログご覧ください。

Amazon Bedrock とは？

基盤モデルを使用して生成 AI アプリケーション を構築およびスケーリングする最も簡単な方法。 Amazon Bedrockは、Amazon Web Services (AWS) が提供する基盤とな るAIサービスです。このサービスは、高度な機械学習モデルを簡単に利用可能にするこ とで、開発者が効率的にアプリケーションを構築できるようにします。Bedrockは、多 様なデータ処理と機械学習のニーズに対応し、エンタープライズレベルのセキュリティと 可用性を提供します。これにより、ビジネスの成長に必要な強力なAI機能を活用しや すくなります。

12/03 Amazon Nova 発表！！

Amazon Nova は4つの基盤モデル

AWS公式発表 New!! https://aws.amazon.com/jp/about-aws/whatsnew/2024/12/amazon-nova-foundation-models-bedrock/

• https://aws.amazon.com/jp/about-aws/whats-new/2024/12/amazon-nova-foundation-models-bedrock/

AWSニュースブログ New!! https://aws.amazon.com/jp/blogs/aws/introducing-amazon-novafrontier-intelligence-and-industry-leading-price-performance/

• https://aws.amazon.com/jp/blogs/aws/introducing-amazon-nova-frontier-intelligence-and-industry-leading-price-performance/

何が嬉しいのか？ マルチモーダル対応で、安く、そして早い。 何故試そうと思ったのか？ Amazon.comのアンディー・ジャシーCEOが発表し た意図を知りたくなった。

Nova Lite, Pro マルチモーダルを試す この画像をAWSサービスを明示して解説してください

プレイグラウンド チャットモードで画像解析 ファイル名 日本語NG

Nova Lite 解析結果

Nova Lite 解析結果 サービスの解説の後にあったまとめ “このシステムは、Webサーバーを用いてユーザーからのHTTPリクエス トを処理し、必要に応じてAWS LambdaやAmazon EC2で処理 を分散します。データはAmazon S3やDynamoDBに保存され、 メッセージングはAmazon SQSやAmazon Connectを介して行わ れます。監視とログ管理はAmazon CloudWatchで行われ、音声 変換はAmazon Pollyによって提供されます。また、従来の電話ネッ トワークとの連携も考慮されています。

Nova Pro 解析結果

Nova Pro 解析結果 AWSの外の通信に言及していたが、弊社製品のHULFTを正しく認 識できていなかった orz... “1. **HULF（HTTPS over QUIC）**: クライアントとサーバー 間の通信を高速化するためのプロトコル。HTTP/3とも呼ばれます。

Nova Micro を“比較モード”で試す AWS re:Invent

Claude 3.5 haikuと比較

Claude 3.0 haikuと比較

比較結果 2.2倍 1.6倍

やってみた結果から見えてくるコト

なぜ、アンディー・ジャシーCEOが話したか？

触った感想 • 早い、とても早い（きっと進化も • 大規模利用で大きなインパクト • Speech-to-Speech, Any-to-Any 楽しみ

Amazon Nova Canvas & Reel

Amazon Nova Canvas & Reel New!! https://aws.amazon.com/jp/ai/generative-ai/nova/

• https://aws.amazon.com/jp/ai/generative-ai/nova/

Amazon Nova Canvas を試す JAWS Festa 生成AI絵画展

Amazon Nova Canvas を試す バージニア 北部

Amazon Nova Canvas を試す A portrait of a Japanese woman in a warm and celebratory atmosphere, presenting a large bouquet of flowers to the manager of the Hiroshima Carp baseball team, who is shown from behind wearing the team’s uniform. The woman has a cheerful expression on her face. The background features a beautiful blue sky with some clouds.

Amazon Nova Canvas を試す

Amazon Nova Reel を試す The two of them are smiling happily as the clouds move slowly in the background.

Amazon Nova Reel を試す

Amazon Nova Reel を試す

Amazon Nova Reel を試す

人物と空を認識している！！

触った感想 • 他の生成モデルと同様の感覚で利用できる • ちょっとした画像作成に良さそう • 人物や複雑な動作はまだ苦手かも

RAG(検索拡張生成)とは？ RAG（検索拡張生成）は、外部の情報を活用して生成されたコンテンツの信頼性を 高めるための技術です。RAGは、生成モデル（Genrative AI）と外部データベース を組み合わせて、ユーザーの質問に関連する最新の情報や専門知識を即座に取り込 むことができます。これにより、AIが生成する回答の精度と関連性が向上し、より信頼 性の高い情報提供が可能になります。RAGは、特にインフォメーションシステムや検索 エンジンの応用に有効です。

Amazon Bedrock の新しい RAG 評価 と LLM を審査員として利用する機能 New ＆ Preview https://aws.amazon.com/jp/blogs/aws/new-rag-evaluationand-llm-as-a-judge-capabilities-in-amazon-bedrock/

• https://aws.amazon.com/jp/blogs/aws/new-rag-evaluation-and-llm-as-a-judge-capabilities-in-amazon-bedrock/

何が嬉しいのか？ • • これまでRAGを評価する際には、ユーザーが評価を行うか、他ベンダー製品 (Ragasなど)を利用する必要があった。 本新機能により、AWSサービスでシームレスにRAG評価が可能になり、評価プロ セスの効率化と統合が期待できる。 何故試そうと思ったのか？ • • • RAGはユーザー自身がデータセットを作成して運用するため、品質を維持していく 対策が重要になる。 RAGをプロダクションで活用していく上で、品質評価は必須要件である。 LLMOps(RAGOps)をAWSサービスで完結して構築する要の機能と感じた。

さっそく、自分チャットボット を評価した ドキドキ https://qiita.com/beajourneyman/items/65161b0b434d88dff21f

• https://qiita.com/beajourneyman/items/65161b0b434d88dff21f

ナレッジベース評価基盤構築と結果確認の流れ 1. 2. 3. 4. S3バケットを用意する 評価用JSONLデータセット(お手本)を用意してS3にアップロードする RAG評価基盤を構築する 評価結果サマリ、詳細を確認する https://qiita.com/beajourneyman/items/c1ac4948214891887e2e

• https://qiita.com/beajourneyman/items/c1ac4948214891887e2e

自分RAGの評価結果(サマリ) 数十本の自分のQiita記事を ベクトルストアに入れたRAG ＜品質指標＞ 1.0に近いほど良い ＜レスポンシブAIメトリクス＞ ※いわゆる責任あるAI指標 0に近いほど良い ホッ

自分RAGの評価結果の詳細

触った感想 • LLMOps(RAGOps)の要になるアップデート • メトリクスをトリガーで自動化が捗りそう • 評価用JSONLデータセット作成、苦戦

本日、やってみたコト(再掲) • Amazon Nova テキスト系 • Amazon Nova Canvas, Reel • Knowledge Bases RAG評価 是非使ってみてください！！

今回紹介した Amazon Nova 含め 推しサービスを中心にQiitaに 書いているので、良かったらご覧ください https://qiita.com/beajourneyman

• https://qiita.com/beajourneyman

新幹線沿線♪ https://jawsug-tochigi.connpass.com/event/342140/

• https://jawsug-tochigi.connpass.com/event/342140/

Share your lessons.

ご清聴、ありがとうございます！ ジャニ (Journeyman) | @beajourneyman