Public Visual Relocalization
-- Views
November 21, 24
スライド概要
株式会社サイバーエージェントで取り組んでいる Visual Relocalization のご紹介です。
データセットはパートナーであるサツドラホールディングス株式会社様の EZOHUB TOKYO で取得しています。
関連スライド
各ページのテキスト
第48回ロボティクス勉強会 Visual Relocalization CyberAgent AI Lab 石田岳志
石田 岳志 Takeshi Ishita ● 所属: ○ CyberAgent AI Lab ● 出身: ○ 山梨県笛吹市 ○ 桃がたくさん採れる 写真 ● 学歴: ○ 東京高専 専攻科 (学士) ● 専門: ○ Visual SLAM, Visual Localization ○ LiDAR SLAM (ちょっと)
目指すもの 学術貢献 事業貢献 自己位置推定 3次元復元 環境理解
手軽に導入可能な位置推定 LiDAR… まだちょっと値段が高い カメラ... 物体認識にも使えるし安い 今回は地図に対するカメラの位置推定をご紹介
Visual Relocalization 地図上でカメラがどこにあるのかを推定する問題
2つのステップ：地図復元と位置推定 COLMAP での地図復元 RGB画像 COLMAP 画像特徴つき 点群地図 位置推定 RGB画像 画像特徴つき 点群地図 6DoF カメラ 姿勢
今回は位置推定を解説 COLMAP での地図復元 RGB画像 COLMAP 画像特徴つき 点群地図 位置推定 RGB画像 画像特徴つき 点群地図 6DoF カメラ 姿勢
実際に位置推定してみる 8
画像から地図を作る：データの収集 パートナーである サツドラホールディングス株式会社様の EZOHUB TOKYO でデータ取得 RealSense D455 の RGB カメラを利用 ● 視野角が広い ● キャリブレーションパラメータが わかりやすい
画像から地図を作る：COLMAPによる地図復元 画像の情報が埋め込まれている → 姿勢推定に利用できる 赤いものはカメラ姿勢
入力画像と地図をマッチングし、位置推定 緑枠：推定成功 赤枠：推定失敗 動画は4倍速 https://www.youtube.com/watch?v=OBBnJqUkoQg パートナーであるサツドラホールディングス株式会社様のご協力のもと EZOHUB TOKYO でデータを取得しました
動作の仕組み 12
3ステップで位置推定 1. 画像検索 入力画像と特徴点マッチングできる画像を地図から探す 2. マッチング 入力画像の特徴点と地図内の3次元点を結びつける 3. 姿勢推定 2次元点と3次元点の対応からカメラ姿勢を求める
前提：カメラの表現 カメラはどのように物体を見ている？ 3次元点を2次元点に投影する
前提：地図の表現 地図は 2次元点と3次元点の対応で 表現される
姿勢推定の手順：画像フレームを入力する 姿勢推定したい画像フレームを 入力する
姿勢推定の手順：画像検索 入力フレームと 特徴点マッチング可能な画像を 地図フレームの中から探す
姿勢推定の手順：画像検索 特徴点マッチングするフレームを 指定する
姿勢推定の手順：マッチング 地図内のフレームに対して 特徴点マッチングを行う 入力画像の2次元点と 地図内の3次元点の 対応関係が得られる
姿勢推定の手順 得られた対応関係を使って カメラの姿勢を推定する PnP問題という よく知られた問題に落とし込めるので 簡単にカメラ姿勢推定できる
カメラによる姿勢推定の利点・欠点 利点 ● 安価なセンサで位置推定可能 ● 省スペース、省電力 欠点 ● 地図作成に時間がかかる ● 地図と特徴点マッチングできない画像の姿勢は推定できない ● 入力画像ごとに地図を全探索しているため、遅い ○ オドメトリ推定と組み合わせることで改善可能
Relocalizationのコードとデータを公開しています！！ リポジトリURL: github.com/CyberAgentAILab/visual-relocalization-colmap データセットURL: huggingface.co/datasets/cyberagent/in-store-visual-localization パートナーであるサツドラホールディングス株式会社様のご協力のもと EZOHUB TOKYO でデータを取得しました
今後の予定 地図環境の理解 ● 何がどこに写っているのか ● 店舗で使う場合、商品の種類や位置を知りたい オドメトリと組み合わせて高速化 ● 高速で滑らかな動作を目指す