【論文読み会】3D reconstruction from satellite imagery using deep learning

2023年度論⽂読み会#11(3Dデータ論⽂読み会#５) 衛星画像を⽤いた3D再構築における深層学習の活⽤ 2024/3/12 京都⼤学⼯学研究科 栗林 雷旗

⽬次 ● ● ● ● ● ● テーマ 背景 理論 ⼿法 結果 まとめ

テーマ ● Learning-based MVS は都市部の 3D 再構築に有⽤? -衛星画像の深度分布予測というアプローチ. ● 着想: 教師あり学習→撮影地点の建物や⼟地の深さ/⾼さを予測できるか

背景 ● ● ● Maxar Technology Inc.の資産: 地球の豊富な衛星画像 3D reconstruction 都市部の開発や評価への応⽤が期待される ⼈⼝密度, インフラ, 交通システム, 住宅, 環境品質, 経済活動など

都市計画とは ● 都市計画の⽬的: 1. 2. ● 市街地のなかでの良好な住環境の形成, 維持 ⾃然環境の保全と市街地開発との調和(参考: 千葉県市原市) 都市計画の内容: 1. 2. 3. 4. 5. ⼟地の利⽤: 住宅, 商業, 緑地など 公共交通: 渋滞や事故を防ぐ道路網, 公共交通機関 環境保護: 緑地確保, 汚染防⽌ 災害対策: 地震, 台⾵などのリスクに備える都市構造, 避難計画 都市デザイン: 景観を損なわない建築物, 公共空間

着想 ● 教師あり学習 X Y train test ？

MVS (multi-view stereo)とは Step 1 画像撮影 対象を異なる⾓度から撮影, 多数の画像を蓄積 Step2 特徴点抽出とマッチング 各画像から特徴点を抽出して突合, Step3 Fig 3.1 satellite image カメラパラメータの推定 各画像の撮影位置と⾓度を推定 Step4 Depth mapの⽣成 各点の⽴体的位置(深さ/⾼さ)を⾊で表現 Step5 Fig 3.2 depth map 3Dモデルの再構築 深度マップを組み合わせて対象を3次元的に再現 Fig 3.3 synthetic image

Learning-based MVSの特徴 ● ● 同⼀の⾊をもつ点群を予め計算→CNNにより正則化 Depth mapを予測→後処理をして3次元形状を出⼒

データの前処理 ● Bundle-adjustment 複数の位置, ⾓度から撮影された点の3次元的位置(⾼さ,深さ)最適化⼿法. 3次元空間から画像空間に投影された時の誤差総和を最⼩化. ● 使⽤データ: ⽶国Las VegasのRGB衛星画像 Bundle-adjustment参考サイト

3Dモデル モデル1 モデル2 衛星画像のデータセットから再構築(解像度: 0.5m) • 直交補正(地形の歪みによる起伏を補正) • ⼀定スケールの画像を⽣成 航空画像に基づいて⽣成(解像度: 0.1m) • 解像度⾼→地表付近の正解データとして使⽤ • 合成RGB画像を⽣成 衛星画像(NTT infra net) 航空画像(東京都庁)

深度推定ブロックのアーキテクチャ ● Depth Range: 深さの認識可能範囲 ● Homography Warping: 視点合わせ 𝑥 𝑥′ 𝑦′ = 𝐻 𝑦 1 𝑤′ ● Groupwise Correlation: グループ相関 ● Unet: DLモデル(encoder/decoder) ● Softmax: 出⼒を正規化→確率表現 𝑒 "! 𝑆𝑜𝑓𝑡𝑚𝑎𝑥 𝑧! = ∑# 𝑒 " ! 𝐶𝑟𝑜𝑠𝑠 𝐸𝑛𝑡𝑟𝑜𝑝𝑦 𝑦, 𝑦8 = − : 𝑦! log $ 𝑦8! ! ● L1(Lasso)回帰: 絶対値の和で正規化 Figure 3.7: Depth estimation block construction

評価指標 L1損失(絶対値損失, マンハッタン距離) ' 𝐿1 = : !%& 𝑦! − 𝑦8! • 外れ値に対して頑健(ロバスト) L2損失(⼆乗誤差損失, ユークリッド距離) ' 𝐿2 = : !%& 𝑦! − 𝑦8! ( • 外れ値に敏感 3Dモデルによる各地点の “深さ/⾼さ予測”精度 を評価

結果 ● ラスベガスのデータセットでのみ学習したモデルも, 未知データの深度マップを⼀定予測 ● 予測の課題: 建物の配⾊, 季節による植⽣分布 Figure 4.4: Linköpingの参照特徴と予測の差異 Figure 4.1: 衛星画像…春(左)と夏 (右)

まとめ 1. ラスベガスのテストセットに対して正確な深度マップ⽣成 2. ラスベガス訓練モデルが他都市の衛⽣画像にも有効 3. ラスベガスと⼤きく異なる景観では精度に難あり