見せてやる！Oracle本気の Retrieval-Augmented Generation ってやつをな！

見せてやる！Oracle本気（マジ）の Retrieval Augmented Generationってやつをな！ 日本オラクル Mamiko Sasakawa

自己紹介 笹川真実子（ささかわまみこ）  概要  特技 ◆ 日本オラクル新卒入社2年目 ◆ Oracle Digital Solution Architect ◆ 宿2重予約 ◆ “パクチーを抜いてください”を5カ国語話せる  趣味  今年やったこと ◆ 海外放浪 ◆ (危険な山への)登山 ◆ 飲酒 20 カ国/year 2 GitHub：msasakaw（ほとんど何も載ってない） Qiita ：msasakaw （ちゃんと書いてる） ◆ アフリカ大陸到達 ◆ 砂漠 de キャンプ ◆ 減酒（2日で終了） 4 yama/year Copyright © 2024, Oracle and/or its affiliates 4 sake/day ↑ボツワナで持ち帰ろうとしたライオン

Agenda 1. RAGとは 2. OCI で実装する本気のRAG構成 3. 見せてやる！Oracle 本気のRAG Demoってやつをな！ 3 Copyright © 2024, Oracle and/or its affiliates

Oracle Cloud Infrastructure AI/ML 製品ポートフォリオ お客様のAI活用によるビジネス変革を実現する包括的なクラウドサービス Applications Fusion Applications Fusion Analytics NetSuite Industry Applications 3rd Party Applications Embedded Generative and Classic AI AI Services GenAI Agents Digital Assistant Speech Language Vision Document Understanding Generative AI and ML for Data Platforms Oracle Database Vector Search Autonomous Database Select AI MySQL HeatWave Vector Store Data Science ML in Oracle Database MySQL HeatWave AutoML Data Labeling Data AI Infrastructure Supercluster with RDMA networking Compute GPU: bare metal, VMs, Kubernetes Block, Object, File Storage, HPC filesystems https://www.oracle.com/jp/artificial-intelligence/ai-services/ 4 Copyright © 2024, Oracle and/or its affiliates AI Partners and ISVs GenAI

• https://www.oracle.com/jp/artificial-intelligence/ai-services/

RAGとは 5 Copyright © 2024, Oracle and/or its affiliates

RAG(Retrieval-Augmented Generation)とは？ 外部の知識ベースを検索して関連情報を取得しLLMの回答を拡張する方法 • LLMの入力プロンプトに検索結果を組み込むことで、LLMのテキスト生成を調整する • よく使われる検索システムの例 • （ベクトル）データベース、全文検索エンジン、etc. 海外出張には何が 必要ですか？ ユーザー パスポートを準備してく ださい。... 海外出張には何が 必要ですか？ LLM RAGを使わない例 →海外旅行についての一般的な回答 6 Copyright © 2024, Oracle and/or its affiliates ユーザー 連携 まず、XXXのXXに申請 を行ってください。次に… LLM RAGを用いた例 →社内規定に基づいた独自回答 社内規定集 データベース

RAG（Retrieval-Augmented Generation）とは 動作フロー RAG を使ったAI チャットボット 1.海外出張の準備は？ ユーザー アプリケーション アプリケーション 3. 質問文＋関連情報 4.XXXで事前申請してください LLM 2. (ベクトル※) 検索 によって 関連情報を連携 ナレッジベース (ベクトルデータベース) 文書を(ベクトル化して) 事前に登録 ## 社内規定集内の海外出張の情報 - 海外出張については以下の準備が必要です - 1. XXXに事前申請を… 社内規定集等の文書 7 Copyright © 2024, Oracle and/or its affiliates ※ベクトル検索により質問の意味に沿ったデータの取得が可能

RAG（Retrieval-Augmented Generation）とは 動作フロー RAG を使ったAI チャットボット 質問に対して最も関連性のある文書 を探してプロンプトに差し込む プロンプト 1.海外出張の準備は？ ユーザー アプリケーション 3. 質問文＋関連情報 4.XXXで事前申請してください LLM 2. (ベクトル※) (ベクトル) 検索 検索 によって によって 関連情報を連携 ナレッジベース (ベクトルデータベース) 文書を(ベクトル化して) 事前に登録 ## 社内規定集内の海外出張の情報 - 海外出張については以下の準備が必要です - 1. XXXに事前申請を… 社内規定集等の文書 8 Copyright © 2024, Oracle and/or its affiliates ※ベクトル検索により質問の意味に沿ったデータの取得が可能

RAG（Retrieval-Augmented Generation）とは 動作フロー プロンプト 関連情報に基づいて、質問に回答してください RAG を使ったAI チャットボット ## 社内規定集内の海外出張の情報 - 海外出張については以下の準備が必要です - 1. XXXに事前申請を… ## 質問文 海外出張の準備は？ 1.海外出張の準備は？ ユーザー アプリケーション アプリケーション 3. 質問文＋関連情報 4.XXXで事前申請してください LLM 2. (ベクトル※) 検索 によって 関連情報を連携 ナレッジベース (ベクトルデータベース) 文書を(ベクトル化して) 事前に登録 ## 社内規定集内の海外出張の情報 - 海外出張については以下の準備が必要です - 1. XXXに事前申請を… 社内規定集等の文書 9 Copyright © 2024, Oracle and/or its affiliates ※ベクトル検索により質問の意味に沿ったデータの取得が可能

見せてもらおうか・・・ Oracle 本気 (マジ)のRAGってやつを・・・・ 10 Copyright © 2024, Oracle and/or its affiliates

OCI で実装する本気のRAG構成 RAGの真価を引き出すための Oracle RAGソリューション ナレッジベース ②クエリー Oracle DB 23ai ③検索結果 ④回答生成指示 ①質問 OCI Agents ⑤回答 ⑥回答 LLM 質問・回答の保持や管理 OCI Cache キャッシュストア 11 Copyright © 2024, Oracle and/or its affiliates

OCI で実装する本気のRAG構成 RAGの真価を引き出すための Oracle RAGソリューション ナレッジベース ②クエリー ①質問 Oracle DB 23ai ③検索結果 ④回答生成指示 エンタープライズ用途に最適なモデル OCI Agents - 少ないパラメータで高性能 ⑥回答 ⑤回答 - 高いセキュリティとプライバシーを確保 LLM 質問・回答の保持や管理 OCI Cache キャッシュストア 12 Copyright © 2024, Oracle and/or its affiliates

OCI で実装する本気のRAG構成 RAGの真価を引き出すための Oracle RAGソリューション 様々なデータ、検索手法を1つのデータベースで管理 データ例）画像、テキスト、音声 など 検索例）テキスト、ベクトル など - データ一貫性維持と、開発生産性向上を実現 ナレッジベース ②クエリー Oracle DB 23ai ③検索結果 ④回答生成指示 ①質問 OCI Agents ⑤回答 ⑥回答 LLM OCI Cache キャッシュストア 13 Copyright © 2024, Oracle and/or its affiliates

OCI で実装する本気のRAG構成 RAGの真価を引き出すための Oracle RAGソリューション ナレッジベース ②クエリー Oracle DB 23ai ③検索結果 ④回答生成指示 ①質問 OCI Agents ⑤回答 ⑥回答 LLM 生成AIやその他サービスとの連携ツールをフルマネージドで提供 - AIアプリケーション実装の複雑さを軽減 - 回答精度向上のための様々なツールを搭載 質問・回答の保持や管理 OCI Cache キャッシュストア 14 Copyright © 2024, Oracle and/or its affiliates

見せてやる！ Oracle 本気のRAG Demoってやつを！ 15 Copyright © 2024, Oracle and/or its affiliates

Oracle 本気のRAG Demo 16 Copyright © 2024, Oracle and/or its affiliates

Oracle Database 23ai のここがすごい！ 1. AI関連機能は全エディションで利用可能 2. Exadata なら・・・ 大量データに対してどえりゃー高速にベクトル検索が可能 17 Copyright © 2024, Oracle and/or its affiliates

Oracle Database 23ai のここがすごい！ 1. AI関連機能は全エディションで利用可能 2. Exadata なら・・・ 大量データに対してどえりゃー高速にベクトル検索が可能 Oracle のベクトル検索にかける思いは 本気（マジ）です!! 結局DBの話に なっちゃった☆ (・ω<)ﾃﾍ☆ 18 Copyright © 2024, Oracle and/or its affiliates

まとめ • RAGとはナレッジベースと連携し、LLMの回答を強化する方法 • OCI にはRAGの構築に必要な全てのサービスが揃っている 19 Copyright © 2024, Oracle and/or its affiliates