AWS_reInvent_2024_Bedrock_アップデート

AWS re:Invent 2024 Bedrock アップデート 木村情報技術株式会社 KIMURA INFORMATION TECHNOLOGY Co., Ltd.

自己紹介 名前 川添 由仁 (Yuni Kawazoe) 所属 木村情報技術 株式会社 システム開発本部 SRE部 主な担当 アーキテクチャ設計・構築・運用 好きなAWSサービス Amazon Bedrock / AWS Fargate AWS歴 8年 好きなこと 水樹奈々、熱気球、仕事 その他：JAWS-UG SAGA 運営メンバー 佐賀熱気球パイロット協会 役員 2

目次 • AWS re:Invent 2024とは？ • 写真で振り返る AWS re:Invent 2024 • Amazon Bedrockのアップデート情報 • 気になったアップデート • 実際にさわってみた • まとめ 3

AWS re:Invent 2024とは？ Amazon Web Services (AWS)が主催する 年に1度のテクノロジーカンファレンスです。 昨年は、アメリカ・ラスベガスで、約一週間(12/2-6)開催されました。 基調講演での、最新のアップデート発表や技術セッション、ワークショップ・トレーニングなど があり、約1000を超えるコンテンツが用意されています。 4

写真で振り返る AWS re:Invent 2024 5

Amazon Bedrockのアップデート情報 今回のre:invent期間中にリリースされた機能は、115個 そのうちAmazon Bedrock関連のアップデートは19個でした。 約15%がAmazon Bedrockということになります。 ちなみに、他サービスは以下でした Amazon Q 17個 Amazon SageMaker 14個 Amazon Connect 14個 Amazon S3 6個 Amazon EC2 5個 ※リリース情報に製品名が記載されている数 今回のre:inventで、AI系が多かったというのが、数字的に出ていました。 6

Amazon Bedrockのアップデート情報 2024/12/02 Amazon Bedrock Knowledge Bases now supports streaming responses Amazon Bedrock now supports Rerank API to improve accuracy of RAG applications Amazon Bedrock Knowledge Bases now supports custom connectors and ingestion of streaming data Amazon Bedrock Knowledge Bases now supports RAG evaluation (Preview) Amazon Bedrock Model Evaluation now includes LLM-as-a-judge (Preview) Amazon Bedrock Knowledge Bases now provides auto-generated query filters for improved retrieval 2024/12/03 Introducing latency-optimized inference for foundation models in Amazon Bedrock 2024/12/04 Announcing Amazon Bedrock IDE in preview as part of Amazon SageMaker Unified Studio Amazon Bedrock Guardrails now supports Automated Reasoning checks (Preview) Amazon Bedrock Model Distillation is now available in preview Amazon Bedrock now supports multi-agent collaboration 7

Amazon Bedrockのアップデート情報 2024/12/05 Amazon Bedrock Knowledge Bases now supports GraphRAG (preview) Amazon Bedrock Knowledge Bases now processes multimodal data Amazon Bedrock Guardrails supports multimodal toxicity detection for image content (Preview) Amazon Bedrock Marketplace brings over 100 models to Amazon Bedrock Amazon Bedrock announces preview of prompt caching Amazon Bedrock Knowledge Bases now supports structured data retrieval Amazon Bedrock Intelligent Prompt Routing is now available in preview Amazon Bedrock Data Automation now available in preview 8

気になったアップデート Amazon Bedrock Intelligent Prompt Routing is now available in preview ・内容 リクエストに対して、同じモデルファミリー内の異なる基盤モデル間でルーティングが可能 リクエスト毎に、どのモデルが最高のパフォーマンスを提供するかを予測し、 応答の質とコストの最適化を図ることが可能 ⇒精度を損なうことなく、最大30%のコスト削減が可能 ・現在利用可能なPrompt Routerは2種類のみ Claude 3 Haiku / Claude 3.5 Sonnet Llama 3.1 8B / Llama 3.1 70B ・利用方法 AWSマネジメントコンソール、AWSCLI、SDKから利用可能 ・利用可能リージョン バージニア北部/ オレゴンリージョンのみプレビュー可能 9

気になったアップデート(Amazon Bedrock Intelligent Prompt Routing) ・利点 プロンプトをさまざまな基盤モデルにルーティングすることで、応答の品質とコストを最適化可能 複数のモデルの長所を活用することで、全体的なパフォーマンスを向上させることができる。 複雑なオーケストレーション ロジックを必要とせず、管理が簡素化される。 新しいモデルが利用可能になったら組み込むことで将来に対応できる。 ・仕組み 受信リクエストごとに、インテリジェント プロンプト ルーティングが指定された各モデルのパフォーマンスを 予測します。 Amazon Bedrock は、応答品質とコストの最適な組み合わせを提供すると予測されるモデルを動的に選 択します。 Amazon Bedrock は、処理対象として選択したモデルにリクエストを送信します。 応答が返されますが、これにはAmazon Bedrockが選択したモデルに関する情報も含まれています。 https://docs.aws.amazon.com/bedrock/latest/userguide/prompt- routing.html#prompt-routing-limitations 10

実際にさわってみた ⇒Haikuから戻ってきていることが確認出来る ⇒同じ内容(日本語)だが、3.5 Sonnetから返ってきている 11

実際にさわってみた 考慮事項と制限事項 ・プレビュー期間中は、事前設定されたルーターからのみ選択可能です。 ・現在、インテリジェントプロンプトルーティングは英語のプロンプトのみを受け付けます。 ・インテリジェントプロンプトルーティングは、アプリケーション固有のパフォーマンスデータ に基づいてルーティングの判断や応答を調整することはできません。 ・インテリジェントプロンプトルーティングは、独自の専門的なユースケースに対して、必ずし も最適なルーティングを提供すると限りません。ルーティングの効果は、初期トレーニング データに依存します。 https://docs.aws.amazon.com/bedrock/latest/userguide/prompt- routing.html#prompt-routing-limitations 12

実際にさわってみた 英語か.. 13

実際にさわってみた ⇒日本語でも、Haikuで戻ってくる場合もあるようです。 (昨晩までは、戻ってこなかったが..) 14

実際にさわってみた ちなみに左側のメニューを開くと、 Routing criteria Response quality difference: 0% という記載があります。 15

実際にさわってみた モデルによって予測された各プロンプト に対する最大モデルの応答と最小モデ ルの応答の品質の違い。値が低いほど、 小さいモデルの応答が、大きいモデルの 応答に似ていることを意味します。 値が小さい ⇒大きいモデルが選ばれやすい 値が大きい ⇒小さいモデルが選ばれやすい らしい?(クラメソさんの記事参照) 0%ということは、基本大きいモデルが 優先して利用される? ⇒今は、固定だけど、GAされたら チューニングできるようになるかも? 正式リリース(GA)を楽しみ待ちます! 16

気になったアップデート Amazon Bedrock Data Automation now available in preview ・内容 マルチモーダルな非構造化データから、様々な情報を取ることが可能 文書、画像、動画、音声の4種類に対応 ⇒今までは、テキストベース(構造データ)のデータからしか、RAGが組めなかったが、 本機能で画像データなどの非構造化データからRAGが組めるようになる ・利用可能リージョン オレゴンリージョンでのみで、プレビュー利用可能 17

実際にさわってみた 18

実際にさわってみた 19

実際にさわってみた 20

まとめ ・Amazon Bedrock Intelligent Prompt Routing 同じモデルファミリー内で、異なる基盤モデル間で、ルーティング可能となり、 最大30%程度コスト削減可能となる機能 現時点では、プレビューで、英語プロンプトのみがサポートされている。 ルーティングの基準も二つのモデルの回答の質の差が0%ではない場合、 上位モデルの回答が優先されていそう ・Amazon Bedrock Data Automation 非構造化データか、様々な情報を取得出来るようになる機能 (非構造化データ⇒構造化へ変換できる機能) 現時点では、プレビュー knowledgeBaseとの連携も可能で、RAGでやれることが広がる 21

Thank you