---
title: 【Paper&amp;Hacks vol.102】VLM RAG ~目を持つRAG~
tags: 
author: [松尾研LLMコミュニティ](https://image.docswell.com/user/matsuo-lab_llm)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/KJ4WX5N271.jpg?width=480
description: 【Paper&amp;Hacks vol.102】VLM RAG ~目を持つRAG~ by 松尾研LLMコミュニティ
published: October 20, 26
canonical: https://image.docswell.com/s/matsuo-lab_llm/5Y8R6N-Paper&amp;HacksVol.103
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/KJ4WX5N271.jpg)



# Page. 2

![Page Image](https://bcdn.docswell.com/page/LE1YNW5K7G.jpg)

（９回シリーズ） RAGの仕組みを理解して改善し続けよう
〜 LangChain Family × GradioによるRAGシステム開発 〜
第７回：VLM RAG
〜 目を持つ RAG 〜
2026/10/20
異業種データサイエンス研究会® 代表
井伊 篤彦


# Page. 3

![Page Image](https://bcdn.docswell.com/page/GEWG465PJ2.jpg)

井伊篤彦
Who am I?
1963年（昭和38年）生まれ。京都大学工学部修士課程（合成化学専攻）修了。大学
院で量子化学を副専攻。
前職は一部上場大手日用品製造メーカー研究所。社内で各種製品開発を行うかた
わらコンピューターケミストリーを手掛け、化学分子3D表示ソフト等をC言語を用い
て開発。
その後、海外駐在やグローバルな商品開発マネージャーを経て、2017年からAI及
びxR (VR, AR, MR) を用いた新規プロジェクトをゼロから立ち上げ率いた。AIプロ
ジェクトでは、自ら機械学習モデルを開発した。
2019年に FBコミュニティ「異業種データサイエンス研究会 ®」を立ち上げる。現在
16個のFBコミュニティ を運営している。
プログラミングスクールで AIプログラミングの指導 をする傍ら、
年間数十回のデータサイエンス・AI関連のセミナーを実施 している。


# Page. 4

![Page Image](https://bcdn.docswell.com/page/47ZL2YN6J3.jpg)

9 回+1 シリーズ： RAG の基礎から実践まで
第一部 基礎編：RAGの仕組みを理解して改善し続けよう
1回目
作る
2回目
測る
動いて中身も見える
RAGアプリ
Ragas × LangSmith
・Retriever / Prompt / LLM
・Faithfulness /
Relevance
・悪い例を追跡
・ログ（run_id）保存
・Gradioで体験
・検索と生成を分解
4回目
選択
5回目
自律化
タスクに応じた
generator 選択 / API 利
用
LangGraph / Agentic
RAG
3回目
改善する
chunk &amp; prompt 戦略 /
Advanced RAG
・chunk_size / overlap
・当たりチャンク探索
・改善の再現性
・Embedding選択
・API利用
・モデルサイズ選択
・検索 / 推論 / 生成
・ループで精度改善
・運用に近い形へ
第二部 実践編：現場で扱うための拡張と運用
GPU 効率利用
LLM 量子化
6回目
評価と基盤固め
7回目
目をもつ
評価法／検索システム
／データ前処理
VLM RAG
8回目
関係を知る
9回目
運用
Graph RAG
（11/17予定）
MLOpsを組み込んだ実
用的なRAGｼｽﾃﾑ
（12/15予定）


# Page. 5

![Page Image](https://bcdn.docswell.com/page/YJ6WVD8LJV.jpg)

9 回+1 シリーズ： RAG の基礎から実践まで
第一部 基礎編：RAGの仕組みを理解して改善し続けよう
1回目
作る
2回目
測る
動いて中身も見える
RAGアプリ
Ragas × LangSmith
・ログ（run_id）保存
・Gradioで体験
Relevance
・悪い例を追跡
・検索と生成を分解
導
入
・Retriever / Prompt / LLM
・Faithfulness /
4回目
選択
5回目
自律化
タスクに応じた
generator 選択 / API 利
用
LangGraph / Agentic
RAG 技術紹
3回目
改善する
chunk &amp; prompt 戦略 /
Advanced RAG
・chunk_size / overlap
ソリューション
・Embedding選択
・当たりチャンク探索
・改善の再現性
・API利用
・モデルサイズ選択
・検索 / 推論
介/ 生成
・ループで精度改善
・運用に近い形へ
第二部 実践編：現場で扱うための拡張と運用
GPU 効率利用
LLM 量子化
6回目
評価と基盤固め
7回目
目をもつ
評価法／検索システム
／データ前処理
VLM RAG
ソリューション
8回目
関係を知る
9回目
運用
Graph RAG
（11/17予定）
MLOpsを組み込んだ実
用的なRAGｼｽﾃﾑ
技術紹介
実運用
（12/15予定）


# Page. 6

![Page Image](https://bcdn.docswell.com/page/GJ5MD39MJ4.jpg)

9 回+1 シリーズ： RAG の基礎から実践まで
第一部 基礎編：RAGの仕組みを理解して改善し続けよう
1回目
作る
2回目
測る
動いて中身も見える
RAGアプリ
Ragas × LangSmith
・Retriever / Prompt / LLM
・Faithfulness /
Relevance
・悪い例を追跡
・ログ（run_id）保存
・Gradioで体験
・検索と生成を分解
4回目
選択
5回目
自律化
タスクに応じた
generator 選択 / API 利
用
LangGraph / Agentic
RAG
3回目
改善する
chunk &amp; prompt 戦略 /
Advanced RAG
・chunk_size / overlap
・当たりチャンク探索
・改善の再現性
・Embedding選択
・API利用
・モデルサイズ選択
・検索 / 推論 / 生成
・ループで精度改善
・運用に近い形へ
第二部 実践編：現場で扱うための拡張と運用
GPU 効率利用
LLM 量子化
6回目
評価と基盤固め
7回目
目をもつ
評価法／検索システム
／データ前処理
VLM RAG
8回目
関係を知る
9回目
運用
Graph RAG
（11/17予定）
MLOpsを組み込んだ実
用的なRAGｼｽﾃﾑ
（12/15予定）


# Page. 7

![Page Image](https://bcdn.docswell.com/page/9E298Z2R7R.jpg)

配布資料用（コードおよび入力データ）
https://drive.google.com/drive/folders/1WrR7kr-LyOrhN7BXjgE2ZqLqlKgdXUae?usp=drive_link
※ 本ハンズオンは、事前準備を完了していることを前提に進行します。
コード実行用のキー取得、Google Colab の基本操作、Google Drive のマウント確認は、必ず事前に済ませてください。
① Google Colab から Google ドライブのマウントの方法については、添付のドキュメントを読み、事前確認お願いします。
https://docs.google.com/document/d/1wJEIOvWlEMdj-DwmvTPgVkWYUSvWsWNc/edit?usp=drive_link&amp;ouid=106881452668
834877355&amp;rtpof=true&amp;sd=true
②ハンズオン用コードを全て動かすには、HuggingFace と OpenAI API（有料版）のシークレットトークン（キー） が必要です。ローカ
ルVLM（Bonsai-2）版だけを動かすには、HuggingFace のシークレットトークン（キー） だけあれば実行できます。
HuggingFace シークレットトークン取得参考記事：
https://qiita.com/so9_Monodzukuri_AI/items/388e9b546ecb2ecfc420
OpenAI API キー取得参考記事：
https://www.tis2010.jp/openai_apikey/
③ Google Colab のシークレット機能の使い方記事：
https://note.com/npaka/n/n79bb63e17685


# Page. 8

![Page Image](https://bcdn.docswell.com/page/D7Y46RY5EM.jpg)

ハンズオンに必要な準備情報は、募集サイトに事前告知してお
ります。セミナー当日に準備できていない方は、後日アーカイブ
動画を観てコードを実行してみてください。


# Page. 9

![Page Image](https://bcdn.docswell.com/page/VENYZDP4J8.jpg)

第7回 RAGハンズオン
絵画データベース
VLM RAG を動かそう
HF キーのみお持ちの方
（無料バージョン）
ハンズオン用アプリ
01_VLM_RAG_Bonsai2版.ipynb
02_VLM_RAG_モデル統合版 .ipynb
HF キーとOpenAI API キーを
お持ちの方
（有償バージョン）


# Page. 10

![Page Image](https://bcdn.docswell.com/page/Y79PZG34E3.jpg)

RAGの基本フロー
Embedding
ベクトルDB
生データ
検索
Embedding
Retriever
コンテキスト
回答
質問
システム
プロンプト


# Page. 11

![Page Image](https://bcdn.docswell.com/page/G78D1VMV7D.jpg)

今回のVLM RAGは何をするのか
回答
・入力画像から、DB内の
同一作品・類似作品を探す
・検索結果から作品情報・画家
情報・画風などのメタデータ取
得する
入力は「画像＋質問」
今回のVLM RAGは、画像検索 と画像＋質問の理解 を組み合わせたRAGである。


# Page. 12

![Page Image](https://bcdn.docswell.com/page/L7LMQ53RJR.jpg)



# Page. 13

![Page Image](https://bcdn.docswell.com/page/4EMY13DPEW.jpg)

VLM RAGでは、
Retriever 側と Generator 側の
両方に「目」 が必要。


# Page. 14

![Page Image](https://bcdn.docswell.com/page/PER9LQ4YJ9.jpg)



# Page. 15

![Page Image](https://bcdn.docswell.com/page/P7XQW524EX.jpg)

独自設計 絵画データベース
画像
作品
画家
images.csv
artworks.csv
artist_id.csv
artwork_id
COLOR
作品の正本情報
画家の基本情報
GRAY
artist_id
作品名
制作年
作品情報
同じ作品に
複数画像を持てる
image_id
artist_id
artwork_id
artwork_id
画風
artist_profiles.csv
artist_style_profiles.c
sv
人物・経歴
特徴・作風
artist_id
検索用の派生データ
Embedding
プロフィール
正本情報とは分離して管理
IDで「画像 → 作品 → 画家」を
意味的につなぐ
画像ファイルの集合ではなく、意味的に結び付いた DBとして設計する。
1


# Page. 16

![Page Image](https://bcdn.docswell.com/page/37K9V6MP7D.jpg)

独自設計 絵画データベース
画像
images.csv
COLOR
GRAY
同じ作品に
複数画像を持てる
image_id
artwork_id
画像DBにカラー画像と白黒画像を
登録したことで、色味の違う画僧 や、
白黒画像に対応 させた。


# Page. 17

![Page Image](https://bcdn.docswell.com/page/LJ3WM6Y4J5.jpg)

SigLIP2


# Page. 18

![Page Image](https://bcdn.docswell.com/page/8JDK6V55EG.jpg)

「探す目」 SigLIP2
今回使用
google/siglip2-base-patch16-384
384px入力 / 768次元Embedding
SigLIP2とは：Googleのマルチモーダル Embeddingモデル
画像とテキストを、比較可能な共通Embedding空間へ変換する
画像
COLOR / GRAY
テキスト
日本語 / 英語
→
SigLIP2
→
共通Embedding空間
画像とテキストを同じ物差し
で比較
Image → Image検索
類似画像を探す
→
Text → Image検索
言葉から画像を探す
→
検索結果
→
作品ID / artist_id
→
作品・画家情報へ接続
SigLIP2は画像を説明するモデルではなく、画像を「探す目」 を担当する。


# Page. 19

![Page Image](https://bcdn.docswell.com/page/VEPKYVGD78.jpg)

SigLIP2は本当に使えるのか
Image → Image
加工画像を
元作品へ回収
Top-1
50 / 50
Text → Image
日本語・英語
96 query PASS
Top-1一致
37 / 48
明るさ・コントラスト・GRAY・JPEGでも回収
日本語と英語は大枠では近い検索結果
blur / sharpen / sepia / resolution変更でも成立
ただし完全同一ではない
GRAY query 8件は、8/8でGRAY画像が代表
特に「構図・視点」で言語差が大きい
同一作品の加工画像を戻す検索は安定
日本語が使えないのではなく、言語差を把握して使う
総合判断：継続採用
実測結果から、SigLIP2をVLM RAGの「探す目」 として継続採用。


# Page. 20

![Page Image](https://bcdn.docswell.com/page/27VVGZ6G7Q.jpg)

Bonsai-2
OpenAI API


# Page. 21

![Page Image](https://bcdn.docswell.com/page/5JGL842D7L.jpg)

「理解する目」 VLM
画像
→
VLM
画像を直接入力
→
視覚情報を読む
見えるものは VLMに任せる
・人物 / 服装 / 姿勢
・背景 / 場面 / 光
・構図 / 配置 / 雰囲気
・画像中の細部
確定情報は DBから与える
・作品名 / 作者名
・制作年 / 所蔵先
・画家プロフィール
・画風 / 美術史的背景
視覚理解
正本メタデータ
視覚理解と正本情報を分担
VLMには「見えるもの」 を見てもらい、確定情報は DBから与える。


# Page. 22

![Page Image](https://bcdn.docswell.com/page/47QY9GPXEP.jpg)

今回使うローカル VLM「Bonsai-2」
Ternary Bonsai-2 27B
発表：2026年9月17日
Vision benchmark
同一評価系の Vision category score
Qwen3.8-27B
ベース
約5.9GB
PTQ1_0
text + image
Vision対応
T4 16GBで
実行可能
OpenAI互換APIでGradioへ接続
language model + mmproj
Qwen3.6-27B
79.82
Qwen3.8-27B
81.64
Bonsai-2 27B
78.59
Qwen3.8の
約96.3%
Vision性能は若干低下するが、
27B級VLMをローカルで使える配置効率が高い
Bonsai-2は、Qwen3.8を約5.9GBまで三値化し、Qwen3.6級に近い Vision性能をT4で実行可能 なモデル。


# Page. 23

![Page Image](https://bcdn.docswell.com/page/KE4WX5Y2J1.jpg)

8月の「LLM量子化セミナー」の Bonsai から Bonsai-2 へ
8月
LLMをローカルで動かす
→
今回
画像を見る VLMをローカルで動かす
単に小さくする話ではない
低ビット化 + 専用runtime + 実用品質確認
Bonsai 27B
Bonsai-2 27B
・1bit / 三値量子化
・低ビット重みを低ビットのまま処理
・専用形式・ローダー・ kernelまで含む
・目的： LLMを手元 GPUで使う
VLM単体
→
・Qwen3.8ベースのTernary VLM
・画像 + text prompt を処理
・mmprojでVision入力
・目的：画像理解をローカル RAGへ入れる
VLM + Retrieval
→
Grounded VLM RAG
8月はLLMをローカルで動かす。今回は画像を見る VLMをローカルで動かす。


# Page. 24

![Page Image](https://bcdn.docswell.com/page/L71YNW6KJG.jpg)

VLMだけでは不十分 → 検索結果に応じて答え方を変える
VLM単体で
出来ること / 限界
検索結果に応じて
答え方を変える
だから
・画像の内容はかなり読める
・一方、作品名・作者名などを
誤ることがある
・「それらしい説明」と
「正しい作品情報」は別
・RAGで正本メタデータを与える
視覚理解は得意
一致度が高い
作品・作者・制作情報は
DBメタデータから回答
類似作品の
み
類似作品・画家プロフィール・
画風を参考情報として使う
根拠が不足
断定せず「分からない」
とする
検索の確かさに応じて断定度を変える
VLMの知識を信用しすぎず、見える情報と検索した根拠・メタデータを組み合わせ て答える。


# Page. 25

![Page Image](https://bcdn.docswell.com/page/G7WG46WPE2.jpg)

VLM RAGでは、
Retriever 側と Generator 側の
両方に「目」 が必要。


# Page. 26

![Page Image](https://bcdn.docswell.com/page/4JZL2Y56E3.jpg)

今回の 簡易 VLM RAG のフロー
今回の実装では、
ベクトルDB
画像のみを Embeddingし
検索
メタ情報
ヒットしたメタ情報を
コンテキストとして渡す
コンテキスト
Retriever


# Page. 27

![Page Image](https://bcdn.docswell.com/page/YE6WVD9LEV.jpg)

今回の 簡易 VLM RAG の処理フロー
探す目：検索とメタデータ取得
入力
画像
SigLIP2
画像
Embedding
類似画像を
検索
ベクトルDB
正本メタデータ取得
artworks /
profiles / style
作品ID
作者ID
※今回は閾値 0.9 に設定
※DBに絵画情報がない
という情報も渡す
質問
この絵画について、作品
名、作者、描かれている内
容を含めて分かりやすく説
明してください。分からな
い情報は断定しないでくだ
さい。
DB情報
＋
画像
＋
質問
VLMが
最終回答
理解する目：画像を読解
画像検索 で根拠を集め、画像・質問 とともにVLMへ渡して回答する


# Page. 28

![Page Image](https://bcdn.docswell.com/page/GE5MD3NME4.jpg)

今回の 簡易 VLM RAG のフロー
画像 Embedding の
ベクトルDB
作品ID
検索
メタ情報
作者ID
cosine 類似度で
ヒットした画像を
ID でメタ情報と接続
メタ情報から
コンテキスト取得
Retriever


# Page. 29

![Page Image](https://bcdn.docswell.com/page/97298Z5RJR.jpg)

DB登録絵画
No RAG
Bonsai-2 単独（No RAG）ではハルシネーション が起こる。


# Page. 30

![Page Image](https://bcdn.docswell.com/page/DJY46RK57M.jpg)

DB登録絵画
RAG
今回の VLM RAG はDB登録絵画 では正しい情報 を回答。


# Page. 31

![Page Image](https://bcdn.docswell.com/page/V7NYZDR4E8.jpg)

DB登録外絵画
No RAG
Bonsai-2 単独（No RAG）ではハルシネーション が起こる。


# Page. 32

![Page Image](https://bcdn.docswell.com/page/YJ9PZGM473.jpg)

DB登録外絵画
RAG
今回の VLM RAG はDB登録外の絵画 では、ハルシネーション防止 を行っている。


# Page. 33

![Page Image](https://bcdn.docswell.com/page/GJ8D1VLVJD.jpg)

プロンプト
画像一致か
否かで分岐


# Page. 34

![Page Image](https://bcdn.docswell.com/page/LJLMQ5LRER.jpg)

プロンプト
画像が一致した場合
- VERIFIED情報はDBで確認済みの正本情報として使用してください。
- 作者名、作品名、制作年、所蔵先など、DBに存在する固有情報を画像から独自推測して変更しな
いでください。
- 描かれている対象、色彩、構図、人物、雰囲気などは入力画像を直接観察して回答 してください。
- DB情報を機械的に列挙せず、ユーザーの質問に必要な情報だけを使って自然に回答してくださ
い。


# Page. 35

![Page Image](https://bcdn.docswell.com/page/47MY13MP7W.jpg)

プロンプト
画像が一致しなかった場合
- この入力画像はDB登録作品そのものとは一致していません。その事実を回答で明示 してください。
- RETRIEVED_REFERENCEは検索結果に基づく参考情報 であり、入力画像そのものについて確認済みの事
実ではありません。
- 参考作者候補を入力画像の作者だと決めつけない でください。実作者が候補群に含まれない可能性がありま
す。
- 入力画像を直接観察した内容を回答 の中心にしてください。
- 作者を推定する場合は、画像の視覚的特徴と参考作者候補の画風情報を照合し、「〜の可能性があります」
「〜に近い特徴があります」など、推定であることが分かる表現 を使用してください。
- 根拠が弱い場合は作者を特定せず、「この情報だけでは作者を確定できません」 と答えてください。
- 作品名、制作年、所蔵先などを断定しないでください 。
- 類似作品の情報を入力画像そのものの事実として言い換えないでください。


# Page. 36

![Page Image](https://bcdn.docswell.com/page/P7R9LQVYE9.jpg)

No RAGとRAGで何が変わるか
No RAG
画像＋質問をVLMへ
直接入力
視覚情報＋モデル自身の
知識・推測
作品名・作者などを
誤って断定 する場合がある
RAG
処理
根拠
回答
画像検索でDB情報を取得
画像＋質問とともにVLMへ
視覚情報＋検索結果＋
作品・画家の正本情報
DB登録：正本情報で回答
DB登録外： 根拠なければ断定しない
検索結果の確かさに応じて、作品情報を「断定する／しない」を判断する
VLMは共通。RAGは根拠を与え 、回答の断定度を変える 。


# Page. 37

![Page Image](https://bcdn.docswell.com/page/PJXQW5Z47X.jpg)

第7回 RAGハンズオン
絵画データベース
VLM RAG を動かそう
ハンズオン用アプリ
01_VLM_RAG_Bonsai2版.ipynb
02_VLM_RAG_モデル統合版 .ipynb


# Page. 38

![Page Image](https://bcdn.docswell.com/page/3JK9V68PJD.jpg)

登録絵画
共通プロンプト
登録外絵画
VLM、RAG / No RAGの選択


# Page. 39

![Page Image](https://bcdn.docswell.com/page/LE3WM624E5.jpg)

まとめ：目を持つ RAGとは何か
探す目
理解する目
マルチモーダル Embedding
VLM Generator
SigLIP2
Bonsai-2 / OpenAI API
画像から作品を探す
画像を読み、質問に答える
2つの目を支える「 意味を保った絵画 DB」
画像 → 作品 → 画家 ／ 作品・画家の正本情報
検索根拠に応じて、作品情報を「断定する／しない」を判断
探す目で根拠を見つけ、理解する目 で画像を読み、DBの正本情報と組み合わせ て答える。


# Page. 40

![Page Image](https://bcdn.docswell.com/page/8EDK6VZ57G.jpg)



# Page. 41

![Page Image](https://bcdn.docswell.com/page/V7PKYVDDJ8.jpg)

9 回+1 シリーズ： RAG の基礎から実践まで
第一部 基礎編：RAGの仕組みを理解して改善し続けよう
1回目
作る
2回目
測る
動いて中身も見える
RAGアプリ
Ragas × LangSmith
・Retriever / Prompt / LLM
・Faithfulness /
Relevance
・悪い例を追跡
・ログ（run_id）保存
・Gradioで体験
・検索と生成を分解
4回目
選択
5回目
自律化
タスクに応じた
generator 選択 / API 利
用
LangGraph / Agentic
RAG
3回目
改善する
chunk &amp; prompt 戦略 /
Advanced RAG
・chunk_size / overlap
・当たりチャンク探索
・改善の再現性
・Embedding選択
・API利用
・モデルサイズ選択
・検索 / 推論 / 生成
・ループで精度改善
・運用に近い形へ
第二部 実践編：現場で扱うための拡張と運用
GPU 効率利用
LLM 量子化
6回目
評価と基盤固め
7回目
目をもつ
評価法／検索システム
／データ前処理
VLM RAG
8回目
関係を知る
9回目
運用
Graph RAG
（11/17予定）
MLOpsを組み込んだ実
用的なRAGｼｽﾃﾑ
（12/15予定）


# Page. 42

![Page Image](https://bcdn.docswell.com/page/2JVVGZ1GJQ.jpg)

2027年企画予告：自作小型 GPTスクラッチ開発ハンズオン（仮）
1/19（火）20:00 - 21:30 予定（仮題：小型GPTを作ってみよう ― 開発の全体像とアプリ事例）
2/23（火）20:00 - 21:30 予定（仮題：GPTをゼロから作る ― モデル設計とスクラッチ事前学習）
3/23（火）20:00 - 21:30 予定（仮題：GPTを育てる ― 継続事前学習とモデルの能力拡張）
4/20（火）20:00 - 21:30 予定（仮題：GPTと会話する ― SFTとチャットボット開発）
5/25（火）20:00 - 21:30 予定（仮題：GPTを賢く使う ― GRPOとRAGアプリ開発）
モデルサイズ： 69 MB


# Page. 43

![Page Image](https://bcdn.docswell.com/page/5EGL848DJL.jpg)

異業種データサイエンス研究会 ® では、
AI、データサイエンス、 Pythonレッスン等の
無料セミナーを行っています。
ご興味があるかたは、一度告知サイトを覗
いてみてください。
https://datascienceteam.connpass.com/


# Page. 44

![Page Image](https://bcdn.docswell.com/page/4JQY9G9X7P.jpg)

APPENDIX


# Page. 45

![Page Image](https://bcdn.docswell.com/page/K74WX5X2E1.jpg)

今回の実装から、大規模絵画 DB拡張の可能性
今回の実装
大規模化しても維持
10作品 × COLOR / GRAY
画像Embedding
20画像・768次元Embedding
SigLIP2
拡張時に Retrieverを選択
Faiss
画像ベクトル検索の高
速化
Chroma
Embedding＋metadat
aを一体管理
作品単位へ統合
SigLIP2
max(COLOR, GRAY)
↓
IDで意味的に接続
NumPy 配列全件
cosine 類似度比較
小規模では簡潔・透明
image_id → artwork_id → artist_id
根拠付き回答
正本metadata → VLM
OpenSearch キーワード＋ Vector＋
条件検索
件数だけでなく、検索要件で選ぶ
「画像 → 作品 → 画家」の構造を保持 し、Retrieverを段階的に置き換える


# Page. 46

![Page Image](https://bcdn.docswell.com/page/LJ1YNWNKEG.jpg)

オリジナルアスペクト比
非常に高い cosine 類似度で正しく検索


# Page. 47

![Page Image](https://bcdn.docswell.com/page/GJWG464P72.jpg)

切り抜き
切り抜き画像 でも閾値 (0.9) 以上の
cosine 類似度で正しく検索


# Page. 48

![Page Image](https://bcdn.docswell.com/page/4EZL2Y2673.jpg)

オリジナル


# Page. 49

![Page Image](https://bcdn.docswell.com/page/Y76WVDVL7V.jpg)

回転


# Page. 50

![Page Image](https://bcdn.docswell.com/page/G75MD3DM74.jpg)

左右反転


# Page. 51

![Page Image](https://bcdn.docswell.com/page/9J298Z8RER.jpg)

上下反転
上下反転では cosine 類似度が低い


