20241216_cloudlt_lt_beajouneyman

#cloudlt Bedrockの新評価機能(Preview) でRAGを評価してみた Journeyman | @beajourneyman Dec 2024

本日、お伝えしたいコト(結論) • BedrockとRAGの特徴をつかむ • 新機能、RAG評価を学ぶ • どんな評価ができるか知る

Journeyman ジャニ (Takeki Oizumi) 所属：セゾンテクノロジー(4月に社名変更) 2022年10月より遠隔地勤務可に 仕事：Amazon Connect を基盤とした IVRシステムの開発保守リーダー他 推しサービス：Amazon Connect / Polly 最近は Bedrock SNS：@beajourneyman 認定： CLF / SAA / AIF

Amazon Bedrock とは？

基盤モデルを使用して生成 AI アプリケーション を構築およびスケーリングする最も簡単な方法。 Amazon Bedrockは、Amazon Web Services (AWS) が提供する基盤とな るAIサービスです。このサービスは、高度な機械学習モデルを簡単に利用可能にするこ とで、開発者が効率的にアプリケーションを構築できるようにします。Bedrockは、多 様なデータ処理と機械学習のニーズに対応し、エンタープライズレベルのセキュリティと 可用性を提供します。これにより、ビジネスの成長に必要な強力なAI機能を活用しや すくなります。

RAG(検索拡張生成)とは？ RAG（検索拡張生成）は、外部の情報を活用して生成されたコンテンツの信頼性を 高めるための技術です。RAGは、生成モデル（Genrative AI）と外部データベース を組み合わせて、ユーザーの質問に関連する最新の情報や専門知識を即座に取り込 むことができます。これにより、AIが生成する回答の精度と関連性が向上し、より信頼 性の高い情報提供が可能になります。RAGは、特にインフォメーションシステムや検索 エンジンの応用に有効です。

Amazon Bedrock の新しい RAG 評価 と LLM を審査員として利用する機能 New ＆ Preview https://aws.amazon.com/jp/blogs/aws/new-rag-evaluationand-llm-as-a-judge-capabilities-in-amazon-bedrock/

• https://aws.amazon.com/jp/blogs/aws/new-rag-evaluation-and-llm-as-a-judge-capabilities-in-amazon-bedrock/

何が嬉しいのか？ • • これまでRAGを評価する際には、ユーザーが評価を行うか、他ベンダー製品 (Ragasなど)を利用する必要があった。 本新機能により、AWSサービスでシームレスにRAG評価が可能になり、評価プロ セスの効率化と統合が期待できる。 何故試そうと思ったのか？ • • • RAGはユーザー自身がデータセットを作成して運用するため、品質を維持していく 対策が重要になる。 RAGをプロダクションで活用してく上で、品質評価は必須要件である。 LLMOps(RAGOps)をAWSサービスで完結して構築する要の機能と感じた。

さっそく、自分チャットボット を評価しました ドキドキ QR https://qiita.com/beajourneyman/items/65161b0b434d88dff21f

• https://qiita.com/beajourneyman/items/65161b0b434d88dff21f

ナレッジベース評価基盤構築と結果確認の流れ 1. 2. 3. 4. S3バケットを用意する 評価用JSONLデータセット(お手本)を用意してS3にアップロードする RAG評価基盤を構築する 評価結果サマリ、詳細を確認する QR https://qiita.com/beajourneyman/items/c1ac4948214891887e2e

• https://qiita.com/beajourneyman/items/c1ac4948214891887e2e

自分RAGの評価結果が出ました(サマリ) 数十本の自分のQiita記事を ベクトルストアに入れたRAG ＜品質指標＞ 1.0に近いほど良い ＜レスポンシブAIメトリクス＞ ※いわゆる責任あるAI指標 0に近いほど良い ホッ

自分RAGの評価結果の詳細

苦労したポイント

本日、お伝えしたいコト(再掲) • BedrockとRAGの特徴をつかむ • 新機能、RAG評価を学ぶ • どんな評価ができるか知る 是非使ってみてください！！

今回紹介したRAG評価含め 推しサービスを中心に アドベントカレンダーを書いているので、 良かったらご覧ください QR https://qiita.com/beajourneyman

• https://qiita.com/beajourneyman

QR https://jawsug-niigata.connpass.com/event/337921/

• https://jawsug-niigata.connpass.com/event/337921/

QR https://increments.connpass.com/event/338077/

• https://increments.connpass.com/event/338077/

ご清聴、ありがとうございます！ ジャニ (Journeyman) | @beajourneyman