論文紹介: HDVIO2.0 Wind and Disturbance Estimation with Hybrid Dynamics VIO
>100 Views
August 24, 26
スライド概要
社内勉強会で使用した資料です。
https://arxiv.org/abs/2504.00969
Data Scientist
関連スライド
各ページのテキスト
論文紹介 HDVIO2.0 Wind and Disturbance Estimation with Hybrid Dynamics VIO 2026.08.06 Kazutomo Dogome GOドライブ株式会社 AI Community
自己紹介 堂込 一智（ドウゴメ カズトモ） GOドライブ株式会社 AI本部 AI技術開発2部 車両認識チーム ▪ 業務内容 ▪ 次世代AIドラレコサービス『DRIVE CHART』の検出機能開発 ▪ Kaggle ▪ Competitions Master 2
はじめに・論文紹介のモチベーション ▪ ドラレコのデータを用いてリスク運転行動を検出する際、車両の状態（位置・速度）を細かく知り たいことがある。 ▪ 利用可能なデータはセンサー・カメラ映像など様々あるが、それらを組み合わせてより精度高く自 己状態推定を行う手法について情報収集したい。 ▪ ▪ 観測データを用いた自己状態推定はPhysical AI（※）においても重要。 → ドローンの自己状態推定手法であるHDVIO2.0という論文を読んでみたので、紹介します。 ※ Physical AI: ロボット等の物理インターフェースにAIを搭載し、現実世界との相互作用を考慮しながら自律的に行動させる技術 <留意事項> ▪ ▪ ドローン専門外の人が読んでみた系の発表なので、細部の不正確な点につきましてはご容赦ください m(_ _)m スライド内に生成AIを用いて作成した図を含みますが、内容が意図通りであることを確認しています。 3
紹介する論文 ▪ HDVIO2.0: Wind and Disturbance Estimation with Hybrid Dynamics VIO(G. Cioffi et al., 2025)[1] ▪ ▪ IEEE Transactions on Robotics 掲載（arXiv, video, code） ドローンの視覚慣性オドメトリ（VIO）に関する研究 ▪ カメラとセンサーからドローンの状態（位置・速度・姿勢など）を推定 ▪ AI・MLが関係する部分: 単純な物理計算だけでは表現できない力学的な誤差（空気抵抗や機体構造な ど）をNNで予測＆補正している 視覚慣性オドメトリ（VIO）の概略 [1] G. Cioffi et al., “HDVIO2.0: Wind and Disturbance Estimation with Hybrid Dynamics VIO”, IEEE Trans. Robot., 2025, https://arxiv.org/abs/2504.00969 （図は生成AIにより作成） 4
01 背景: VIO ~ HDVIO 5
背景 ▪ VIO（Visual Inertial Odometry：視覚慣性オドメトリ） ▪ ▪ IMU（加速度・ジャイロセンサー）とカメラを組み合わせることで、機体の速度、位置、姿勢などをオンライ ンで推定。 ▪ ドローン上で動かすことが想定されるので、精度だけでなくリアルタイム性も重要。 代表的な手法: VINS-Mono(T. Qin et al., 2018)[2] （図は生成AIにより作成） [2] T. Qin et al., “VINS-Mono: A Robust and Versatile Monocular Visual-Inertial State Estimator”, IEEE Trans. Robot., 2018, https://arxiv.org/abs/1708.03852 6
背景 ▪ VIOの課題：高速飛行や強風下における性能低下 ▪ ▪ ▪ 動画の残像・ブレ（モーションブラー）により、画像特徴の追跡が悪化 視覚情報が弱くなるとIMUへの依存が増え、バイアス・積分誤差の影響が増大 → カメラ・IMUだけでなく、機体ダイナミクス(機体にかかる力から運動を推定)を追加の運動制約として利用 する余地がある （図は生成AIにより作成） 7
関連研究: NeuroBEM ▪ NeuroBEM: Hybrid Aerodynamic Quadrotor Model(L. Bauersfeld et al., 2021)[3] ▪ ▪ arXiv, video, project_page 飛行するクアッドロータにかかる力を、力学モデル（BEM）とニューラルネットワーク（NN）のハイブリッ ドで高精度に再現することで機体ダイナミクスモデルの精度を向上させる ▪ 従来手法（BEM）と比べて力推定の精度が向上 ▪ ※ BEM理論（Blade Element Momentum Theory）: プロペラを回転する多数の小さな翼として定義し、回転時の空力を物 理的に計算する理論 （図は生成AIにより作成） 力・トルク評価（論文より引用） F: 力、M: トルク 数値は評価データに対するRMSE [3] L. Bauersfeld et al., “NeuroBEM: Hybrid Aerodynamic Quadrotor Model”, Robotics: Science and Systems (RSS), 2021 , https://arxiv.org/abs/2106.08015 8
著者らの先行研究: HDVIO ▪ HDVIO: Improving Localization and Disturbance Estimation with Hybrid Dynamics VIO(G. Cioffi, 2023)[4] ▪ arXiv, video ▪ モチベーション: ▪ NeuroBEMのような機体ダイナミクスモデルを組み込むことで位置・姿勢推定精度の向上を目指したい。 ▪ IMU、カメラに加えて並進ダイナミクスモデルによる状態推定を追加する。 ▪ ▪ 先行手法としてVIMO(B. Nisar et al., 2019)[5]が存在 ▪ ▪ （※ 並進: 回転を含まず位置だけ変わる運動） ダイナミクスモデルは使うがNNは使わない手法 解くべき課題: ▪ ▪ ▪ NeuroBEMは機体状態（速度など）をNNの入力として要求する。 機体状態はVIOで予測する対象であるため、そのまま組み込むと前時刻の予測結果を次時刻の入力として用い ることになる。 その結果、予測と実態の誤差が経時的に蓄積することになり、予測が安定しなくなるおそれがある。 [4] G. Cioffi et al., “HDVIO: Improving Localization and Disturbance Estimation with Hybrid Dynamics VIO.”, Robotics: Science and Systems (RSS), 2023a, https://arxiv.org/abs/2306.11429 [5] B. Nisar et al., “VIMO: Simultaneous visual inertial model-based odometry and force estimation.”, Robotics: Science and Systems (RSS), 2019, https://rpg.ifi.uzh.ch/docs/RSS19_Nisar.pdf 9
HDVIO: 構成 ▪ ▪ カメラ・IMUに加え、並進ダイナミクスを用いた推定を追加。 NNを用いた力推定を利用し、NNの入力は機体状態ではなくコントローラーの指示を使用 （図は生成AIにより作成） 10
HDVIO: ポイント ▪ カメラ画像、IMUの積分による推定に加え、並進ダイナミクスを用いた状態推定を追加。 ▪ ▪ ▪ カメラ・IMUとは別経路の推定が増えることで最終的な推定精度が向上 並進方向にかかる力を3つに分解し、より複雑な状態推定を可能に。 ▪ ▪ ▪ ▪ 力から加速度→速度→移動量を計算し、推定に使用 f_t: 推力（推力指示やローター回転数ベースの推定値） f_res: 外力のない環境で、推力以外で機体にかかる力（空気抵抗など） ▪ ↑ これをNNで予測 f_e: 外力（強風、衝撃など） ▪ VIOの最終的な最適化（バックエンド）時に、f_t, f_resを用いて最適化 f_resの推論には、推力指示・角速度を入力とするNNを使用。 ▪ ▪ 予測対象（速度など）を入力に含めないことで、予測誤差蓄積によるエラー増幅を防止 モデルはTCN（temporal convolutional network）を採用 11
HDVIO: モデル（TCN: temporal convolutional network） ▪ 「推力指示＆センサー情報×時系列」の入力を「畳み込み層7層→全結合層」を経て出力するモデル をTCN: temporal convolutional networkと呼称 ▪ RNN系よりも計算量の少ない時系列モデルとして採用 （図は生成AIにより作成） 12
HDVIO: 評価（力推定） ▪ NeuroBEM データセット（最大時速65km/hに達するドローンの高速飛行データ）を入力とした時 の、力・トルクの推定精度（RMSE）を評価。 ▪ HDVIOは並進速度を入力として使わずに、NeuroBEM以外を上回る実用的な精度を達成 力・トルク評価（論文より引用） ※ F: 力、M: トルク 13
HDVIO: 評価（高速飛行時の位置・姿勢推定） ▪ Blackbirdデータセット（0.5～9 m/sの18種類の軌跡を描く航行データ）を入力とした時の、位置 ・姿勢の誤差（ATE: Absolute Trajectory Error）を評価 ▪ ▪ ▪ ATE_T [m]: 推定位置と真値位置との誤差をRMSEとして計算 ATE_R [m]: 推定姿勢と真値姿勢との誤差をRMSEとして計算 多くの軌跡・指標で過去手法を上回る。 位置・姿勢評価（論文より引用） ※ 最右のHDVIO*は学習データを削減した時の結果 14
02 提案手法: HDVIO2.0 15
HDVIO: 残課題 ▪ 並進ダイナミクスだけでなく、回転ダイナミクスによる状態推定を行いたい。 ▪ ▪ ▪ 回転ダイナミクスによる状態推定ができれば、姿勢推定の精度を向上できる。 姿勢推定の精度は位置推定の精度にも影響する。 回転ダイナミクス導入が難しい原因は、回転トルクから姿勢を求める難しさにある。 ▪ 姿勢推定のためには回転トルクを入力として角加速度を得る必要があるが、計算にジャイロ角速度が必要なの で、IMUによる姿勢推定と相関してしまい、新たな情報を追加するのが難しい（後述） 16
HDVIO2.0: 構成 ▪ HDVIOに回転ダイナミクスモデルを追加 ▪ ▪ ① 回転トルクTCN追加によるトルク補正 ② B-Spline曲線による角速度表現によって回転トルクベースの姿勢推定が可能に （図は生成AIにより作成） 17
回転トルクTCN追加 ▪ トルク用のTCNモデルを追加し、並進用TCNと同様に推力・外力以外のトルクを予測 （図は生成AIにより作成） 18
B-Spline曲線による角速度表現: モチベーション ● HDVIOでは機体にかかる力を用いて速度・位置・姿勢の制約を求めるため、力から加速度→速度→移動量 を求める計算が必要。 ● 並進運動では、力から加速度が容易に求められる（運動方程式） ● 回転運動の場合、トルクから角加速度を求める式（オイラーの回転運動方程式）でその時点の角速度を要求 する。 ○ ジャイロ角速度を使用すれば計算できるが、その場合IMUの姿勢推定と強く相関するため情報が増え ず、精度向上に貢献しない。 ○ → そのため、ジャイロ角速度を直接使用せずに角加速度を計算する方法が必要。 入力に含めたく ない 角加速度 トルク 角速度 19
B-Spline曲線による角速度表現: 計算方法 ▪ トルクから角加速度を計算する際、角速度を直接使わずに求めたい。 ▪ 実現方法: ▪ ▪ ▪ 角速度を連続時間の微分可能な曲線（B-spline）で表現 ジャイロ実測値とトルク条件を与えて回転運動方程式を満たすよう最適化 最適化後のB-spline曲線を時間微分することで角加速度を得る B-Spline曲線とは？（Wikipedia） 複数の制御点とノットベクトルで定義される滑らかな曲線 [6] Wojciech mula, B-spline curve[画像], CC0 1.0, https://commons.wikimedia.org/wiki/File:B-spline_curve.svg (参照: 2026年8月6日) B-Spline曲線と制御点の例 （Wikipediaより引用[6]） 20
B-Spline曲線による角速度表現: 何が嬉しいか？ ▪ 生のジャイロとは異なる観点の制約を追加できる。 ▪ 最適化は回転運動方程式を満たす形で行われる。 ▪ ▪ 関数から出力される角速度はジャイロの実測値ではなく、回転運動方程式によって補正された値なので、ジャ イロの実測値の積分とは異なる情報が期待できる。 計算効率にすぐれ、リアルタイムの推論にも適用可能 ▪ ▪ Gaussian Processでも同じ計算は可能だが、計算コストが高いため代替としてB-splineを採用したと主張。 実測値としては、Intel Core i9 2.3 GHz CPUにおいて 0.3~12.0 ms（設定により変化）で、リアルタイム推 論に十分適用可能。 21
評価: 力推定 ▪ NeuroBEM データセット（最大時速65km/hに達するドローンの高速飛行データ）を入力とした時 の、力・トルクの推定精度（RMSE）を評価。 ▪ HDVIO2.0は力・姿勢を入力として使わずに以下の精度を達成 ▪ ▪ 力推定精度（旧HDVIOと同じ） : NeuroBEM以外では最良 トルク推定（今回追加） : NeuroBEMと同等の精度 力・トルク評価（論文より引用） ※ F: 力、M: トルク 22
評価: 高速飛行時の位置・姿勢推定 ▪ Blackbirdデータセット（0.5～9 m/sの18種類の軌跡を描く航行データ）を入力とした時の、軌跡 ・姿勢の誤差（ATE: Absolute Trajectory Error）を評価 ▪ ▪ ▪ ATE_T [m]: 推定位置と真値位置との誤差をRMSEとして計算 ATE_R [m]: 推定姿勢と真値姿勢との誤差をRMSEとして計算 多くの軌跡・指標でHDVIOを上回る結果を達成。 位置・姿勢評価（論文より引用） ※ 最右のHDVIO2.0*は学習データを削減した時の結果 23
評価: 外力推定 ▪ 様々な状況下での航行データ（VIDデータセット）のうち、機体に外力がかかる状況のデータセッ トを用いて、外力の推定値と実測値の誤差（RMSE）を評価 ▪ ▪ ▪ ▪ Pulling rope: センサー付きのロープを取り付ける（瞬間的な外力） External Load: 重りを取り付ける（継続的な外力） Pulling ropeでは特にz方向（高さ方向）の外力推定精度が向上 External LoadではHDVIOと同等の精度 外力評価（論文より引用） 24
評価: 連続風下での実験 ▪ ▪ 産業用ファンによる25km/hの強風環境における位置・姿勢推定精度を評価 いずれの指標においても、HDVIO2.0が最良の位置・姿勢ATEを記録 連続風下での位置・姿勢推定精度 （論文より引用） 産業用ファン 風受け板 連続風実験の概要図＆航行軌跡 （論文より引用） ※ ATE_T: 位置精度 ※ ATE_R: 姿勢精度 ※(d): 風受け板あり 25
まとめ ▪ VIO（Visual Inertial Odometry：視覚慣性オドメトリ）において、強風下・高速飛行時の性能低 下が課題であった。 ▪ HDVIO/HDVIO2.0による解決アプローチとして、以下の手法が提案された。 ▪ ▪ ▪ ▪ 機体にかかる力を分解し、推力以外で定常的にかかる力をNNで予測 過去の予測結果を入力に要求するモデルは出力の安定性に欠けるため、機体状態以外で説明力のある入力を採 用 回転トルクによる角加速度計算から角速度を分離するため、B-Spline曲線を用いた角速度表現を採用 ドローンと車両では前提条件が異なるものの、力の一部をNNで予測して分離する考え方や、回転運 動方程式の角速度依存のような状態依存の課題を数学的表現の工夫によって分離するアプローチは 参考にできそう。 26