Monte Carlo Dropout法による不確実性を考慮した歩行者の移動予測（RSJ2022）

Smart Robots Design DEPARTMENT OF ROBOTICS TOHOKU UNIVERSITY Monte Carlo Dropout法による 不確実性を考慮した歩⾏者の移動予測 ○川住 歩弥（東北⼤） ⽥村 雄介（東北⼤） 平⽥ 泰久（東北⼤）

背景︓移動ロボットでの安全性と効率の両⽴ u ⾃律型移動ロボットの公共空間での実⽤化 Ø 周囲に⼈がいる→⼈の安全確保が必要 Ø 移動ロボット →効率を求めることも必要 安全と効率を両⽴する⼿法 他者の移動を予測し，それに応じて動作決定 2022/9/29 Smart Robots Design Lab. 1

関連研究 u 歩⾏者の移動予測⼿法 Ø 機械学習ベースの⼿法は数多く存在する uSocial LSTM(Alahi et al., 2016) uSocial GAN(Gupta et al., 2018) etc. 出⼒結果︓基本的に１点のみ u １点での予測と結果の不確実性 Ø 移動には様々な可能性が存在 Ø １点の予測︓１つの可能性しか考慮できない ︓予測の結果 ︓実際の結果 １点の予測で全て考慮するのは難しい 2022/9/29 Smart Robots Design Lab. 2

関連研究 u 歩⾏者の移動予測検証 Ø ⼿法の検証には⿃瞰視点のデータセットが多く使われる uStanford Drone Dataset(Robicquet et al. 2016) uETH dataset(Pellegrini et al. 2009) etc. u ⿃瞰視点 Ø 歩⾏者の位置が観測できる Ø 移動ロボットでの撮影は難しい そのまま移動ロボットに適⽤するのは難しい 2022/9/29 Smart Robots Design Lab. 3

研究⽬的 u 安全と効率を両⽴した移動ロボットのための 歩⾏者の移動予測 研究⽬的 移動ロボットから得られた歩⾏者の移動情報から 不確実性を考慮した歩⾏者の移動予測を⾏う 2022/9/29 Smart Robots Design Lab. 4

アプローチ u 移動ロボット視点での歩⾏者推定 Ø 移動ロボットにカメラを搭載すると⼀⼈称視点となる ⼀⼈称視点 + 深度センサ ・移動ロボットから撮影可能 ・⿃瞰視点と似たデータ →⿃瞰視点の⼿法が使⽤できる u 不確実性を考慮した予測 Ø 複数の予測︓様々な可能性を考慮できる 予測の不確実性に強くなる 2022/9/29 Smart Robots Design Lab. ︓予測の結果 ︓実際の結果 5

⼿法︓歩⾏者の位置推定 u ⼀⼈称視点での歩⾏者検出 Ø Posenet︓画像から⼈の姿勢を推定 u画像から歩⾏者を検出 Ø RGB-Dカメラ︓RGB画像とDepth画像を撮影 uPosenet⽤のRGB画像を撮影 uDepth画像から歩⾏者の位置を推定 2つを組み合わせて，⼀⼈称視点でカメラに対する位置を推定 2022/9/29 Smart Robots Design Lab. 6

⼿法︓機械学習による歩⾏者の移動予測 u 予測結果を⽤いた回避 Ø リアルタイム性が必要 Ø 歩⾏者の移動は約1.3m/sec. ⾼いフレームレート(例︓0.1秒間隔)で 予測する必要はないのでは︖ u 歩⾏者の移動に基づいた予測 Ø 歩⾏者は歩み(約2歩/sec.)で移動 本研究︓0.5sec.毎の移動を予測 →各歩みでの移動情報を得て，回避に応⽤ ※１秒の⼊⼒から，[0.5, 1.0, 1.5, 2.0]sec.後の予測を⾏う 2022/9/29 Smart Robots Design Lab. 7

⼿法︓機械学習による歩⾏者の移動予測 u LSTMでの特徴量抽出 Ø 時系列を考慮した特徴量を抽出 u 特徴量からの予測 Ø 0.5秒の予測 u特徴量のみ Ø 1.0秒以降の予測 u特徴量＋それ以前の予測結果 ・計算量減少 ・以前の予測を考慮→精度向上 2022/9/29 Smart Robots Design Lab. 8

⼿法︓学習モデルを⽤いた不確実性考慮 u Bayesian Neural Networkと予測の不確実性 Ø ⼀般的な機械学習→⼊⼒と出⼒が１対１ ⼊⼒A 𝑤! 𝑤" 出⼒A Ø Bayesian Neural Network(BNN) uモデルの重みが確率で変化するため，同じ⼊⼒でも出⼒が変化 確率的に出⼒が変化するので，不確実性が予測できる ⼊⼒A 𝑃 𝑤! 𝑃 𝑤" 出⼒A 出⼒B … 2022/9/29 Smart Robots Design Lab. 9

⼿法︓学習モデルを⽤いた不確実性考慮 u Monte Carlo Dropout(MCD) (Gal et al. 2016) Ø Dropoutを使うことで，近似的にBNNを再現 Ø 学習時に使うDropoutを推論時にも使⽤する u MCDの実装 1. DropoutをONにして推論を実⾏ 2. １つのデータに対して１を繰り返す １つの⼊⼒に対する出⼒の分布が得られる 出⼒1 … … ⼊⼒ 出⼒N 2022/9/29 Smart Robots Design Lab. 10

検証実験︓LSTMの学習 u LSTMの学習 Ø Stanford drone datasetを使⽤ u⿃瞰視点のデータセット u使⽤したデータ数 ・学習︓39749個 ・検証︓2598個 Ø 学習条件 u⼊⼒︓過去１秒 u出⼒︓１秒後 [2] Ø 学習したLSTMを本研究のモデルに使⽤ [2]A. Robicquet, et al., Learning Social Etiquette: Human Trajectory Prediction In Crowded Scenes in European Conference on Computer Vision (ECCV), 2016. 2022/9/29 Smart Robots Design Lab. 11

検証実験︓⼀⼈称視点でのデータ収集 u RGB-Dカメラによるデータ収集 Ø 場所︓東北⼤学⼯学部共同棟1F Ø カメラ︓Intel Realsense D435i 出⼊⼝ 階段 ・LSTM以外のモデル学習に使⽤ ・テストデータとして評価に使⽤ 2022/9/29 Smart Robots Design Lab. 出⼊⼝ 12

検証実験︓Monte Carlo Dropoutの結果 u 学習条件 Ø ⼊⼒︓１sec.分のデータ Ø 出⼒︓[0.5, 1.0, 1.5, 2.0]sec.後 u 推論条件 ・モデル⼊⼒︓⿊実線 ・モデル出⼒︓⿊破線 拡⼤図 Ø Dropout率︓１% Ø 繰り返し回数︓50回 u 予測結果の例 Ø MCDによって複数の予測が⽣成 Ø モデルより⾼い精度の予測も⽣成 2022/9/29 Smart Robots Design Lab. 15

検証実験︓Monte Carlo Dropoutの結果 u 予測位置と実際の位置の距離誤差 Ø MCDは複数の予測が出⼒される 予測の中で⼀番真値に近いもので評価する テストデータの平均距離誤差 0.5(sec.) 1.0(sec.) 1.5(sec.) 2.0(sec.) 等速度運動 0.520 1.00 2.06 2.75 作成したモデル 0.338 0.601 0.965 1.35 0.143 0.237 0.336 0.453 提案⼿法 MCDを⽤いた提案⼿法によって誤差が⼤きく減少 2022/9/29 Smart Robots Design Lab. 17

検証実験︓Monte Carlo Dropoutの結果 u 不確実性の評価 Ø MCDによって得られた予測をどの程度信頼できるかを確認 衝突回避のために考慮すべき要素 1. ⼈の体の⼤きさ p ⼈の肩幅は0.4~0.5m 2. ロボット⾃体の⼤きさ(0.5~1.0m) [5] p 荷物などを載せるために⼤きくなっている 3. センサの測定誤差 p Realsenseでは2mで2%未満(4cm未満) p 対象が遠くなるほど，精度が悪化する [6] [7] 距離誤差が1m以下のデータの割合を確認 [5] https://www.zmp.co.jp/products/lrb/deliro [6] https://www.elmo.co.jp/product/robot/bellabot/ [7] https://whill.inc/jp/model-c2 2022/9/29 Smart Robots Design Lab. 18

検証実験︓Monte Carlo Dropoutの結果 u 不確実性の評価 距離誤差が1m以下となるデータの割合 0.5(sec.) 1.0(sec.) 1.5(sec.) 2.0(sec.) 等速度運動 91.9 53.1 27.9 13.7 作成したモデル 97.2 82.4 63.1 51.7 提案⼿法 99.7 99.2 95.5 90.8 • 0.5sec.では⼤きな差はないが，2.0sec.では⼤きな差が発⽣ • 提案⼿法を使⽤することで，2.0sec.後でも90%以上となった MCDを⽤いた⼿法によって予測の不確実性に強くなった 2022/9/29 Smart Robots Design Lab. 19

まとめと今後の展望・予定 u 不確実性を考慮した移動ロボットの歩⾏者の移動予測 Ø ⼀⼈称視点での歩⾏者の検出 Ø 機械学習による移動予測 Ø Monte Carlo Dropoutによる不確実性の考慮 2.0sec.後の予測でもデータの90%以上の距離誤差が1m以下 →不確実性を考慮した予測となった u 今後の展望・予定 Ø 移動ロボットに適⽤する 2022/9/29 Smart Robots Design Lab. 20