Serverless Meetup Osaka #05 Dify + TiDB + Bedrockパート資料

Serverless Meetup Osaka #05 Dify + TiDB + Bedrock PingCAP株式会社 関⼝匡稔 （X: @bohnen）

ハンズオンの資料はこちらです https://bit.ly/dify-tidb-vector

• https://bit.ly/dify-tidb-vector

分散MySQL互換データベース Design Goals AZ AZ AZ LB SQL ● MySQL互換 ● 運用の容易さ TiDB TiDB TiDB TiKV TiKV TiKV ● 水平スケール ● 強い一貫性 KVS ● 高い可用性と信頼性

TiDB Cloud - フルマネージドDBaaS Serverless（共有型） Dedicated（占有型） TiDB Serverless はマルチテナント マネージドTiDBサービスです。 サーバ構成などを気にせず⼿軽に利 ⽤できます。 TiDB Dedicated はお客様専⽤のマ ネージドTiDBサービスです。 基幹システムなどに要求される⾼い ⾮機能要件を満たします。 ● 最低課⾦なしの完全従量課⾦ ● 透明性の⾼いノード単位課⾦ ● TiFlash(HTAP)も利⽤可能 ● ⾼い耐障害性、カスタマイズ性 ● ⾼速起動、ブランチ、Data Service ● 移⾏ツールやCDCなどもオンデマン Vector Searchといった先進機能 ドで利⽤可能

TiDB Cloud Serverless（AWS） https://aws.amazon.com/jp/blogs/storage/how-pingcap-transformed-tidb-int o-a-serverless-dbaas-using-amazon-s3-and-amazon-ebs/

• https://aws.amazon.com/jp/blogs/storage/how-pingcap-transformed-tidb-into-a-serverless-dbaas-using-amazon-s3-and-amazon-ebs/

TiDB Cloud ServerlessのAI対応 TiDB⾃⾝で実装 TiDB + LLM App OSS + LLM ‧ベクトル検索 ‧Text to SQL ‧Graph RAG ‧OSS Insight ‧TiDB.ai ‧TiDB Labs ● MCP server ● PyTiDB

• https://docs.pingcap.com/tidbcloud/vector-search-overview/
• https://docs.pingcap.com/ja/tidbcloud/use-chat2query-api/
• https://github.com/pingcap/autoflow
• https://ossinsight.io/
• https://tidb.ai/
• https://labs.tidb.io/ja
• https://pingcap.github.io/ai/integrations/tidb-mcp-server/
• https://github.com/pingcap/pytidb

RAG（Retrieval Augmented Generation） LLMの学習していないドメイン知識を検索により取得 LLMに解釈させハルシネーションを防⽌するのに役⽴てる LLM APIやコーディングによ るDBとの接続 質問の解釈 外部情報の取得 ● 質問（ベクトル） ● ● ドキュメント 類似度 結果の解釈 回答の⽣成

RAGの例：TiDB AI 精度向上のために ‧ベクトル検索 ‧質問の書き換え ‧知識グラフ ‧推奨演習 などを追加している https://tidb.ai/

• https://tidb.ai/

Dify + TiDB + Bedrock ハンズオン

Dify + TiDB + Bedrock ハンズオン解説

0. TiDB側 設定 TiDB Cloud ServerlessクラスタのSQL Editorから、Difyデータベースを作成す る

1. Dify .env設定 TiDB Cloud Serverlessの 接続情報を設定するだけ！ 設定情報は “Connect” から 再起動を忘れずに

2. ナレッジの設定 対象とするドキュメントによって変える のがポイント うまく切り分けられるかが検索精度に影 響します RerankのトップKはナレッジで設定する 値が上限値になるので注意 多少⼤きめに設定しておきましょう

データの保存プロセス

3. ワークフローでの利⽤ Knowledge Retrievalノードを使う 質問⽂をクエリ変数にセットします ここで返ってきた結果が次のノード（多 くの場合はLLMノード）のコンテキスト として利⽤されます

4. LLMからの利⽤ コンテキストとして設定 ただし、コンテキストとして設定するだけでは 不⼗分 SYSTEMなどのプロンプトで明⽰的に コンテキストを参照する必要があるので注意し てください 実⾏時にはプロンプトの⼀部としてLLMに渡さ れます

おまけ: TiDB Labsの紹介 オンラインラーニングサイト TiDB Labsでは、Bedrockを使ったコーディング演 習もあります。興味を持っていただけた⽅は是⾮チャレンジしてください！

• https://labs.tidb.io/ja

Thank you Chapter Title Confidential, do not distribute / 19