ae-9. 姿勢推定

4.6K Views

January 29, 23

スライド概要

トピックス:姿勢推定, 人体の姿勢推定, 頭部の姿勢推定, オブジェクトの姿勢推定, ディープラーニング, 人工知能

ディープラーニング(スライドとプログラム例,Python を使用)(全15回)
https://www.kkaneko.jp/ai/ae/index.html

金子邦彦研究室ホームページ
https://www.kkaneko.jp/index.html

profile-image

金子邦彦(かねこくにひこ) 福山大学・工学部・教授 ホームページ: https://www.kkaneko.jp/index.html 金子邦彦 YouTube チャンネル: https://youtube.com/user/kunihikokaneko

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

9. 姿勢推定 (ディープラーニング,Python を使用) (全15回) https://www.kkaneko.jp/cc/ae/index.html 金子邦彦 1

2.

全体まとめ • AI の進展により,画像からの姿勢推定ができるよ うになってきた ランドマークの位置情報 は3次元(縦,横,奥行き) ランドマークとボーン 2

3.

アウトライン 番号 項目 9-1 9-2 9-3 9-4 復習 姿勢推定 人体の姿勢推定 頭部の姿勢推定,オブジェクトの姿勢推定 演習 各自,資料を読み返したり,課題に取り組んだりも行う 3

4.

機械学習 • 学習による上達の能力 • 訓練データを使用して,学習を行う 4

5.

マルチスケールの画像 課題:物体の大きさがさまざま 解決へのアプローチ さまざまなスケールの画像を作る(マルチスケール) どこかのスケールでは,物体は「所定の大きさ」に近くなる ⇒ ディープラーニングでの処理が簡単になる これで,さまざまな大きさの物体を扱う 5

6.

9-1. 姿勢推定 6

7.

人体の姿勢推定 人工知能で処理 撮影 姿勢推定の結果 マーカーレス:画像,ビデオから姿勢推定を行う. 特別な機材は使わない 7

8.

人体の姿勢推定の例 (OpenPose を使用) 8

9.

(Detectron2 の DensePose を使用) 9

10.

人体の姿勢推定の例 10

11.

ビデオの例 11

12.

人体の姿勢推定の例(動画) 12

13.

姿勢推定の用途① • 状況把握,行動予測 13

14.

姿勢推定の用途② • 行動検知 14

15.

姿勢推定の用途③ • 危険の察知,救援・救護 15

16.

姿勢推定の用途④ • 監視,防犯 16

17.

姿勢推定の用途⑤ • トレーニング,フィットネス,エクササイズ 17

18.

姿勢推定の用途⑥ • アバター(バーチャル・キャラクタ)の操作 アバター(バーチャル・キャラクタ) 18

19.

姿勢推定の用途⑦ • 集団行動の観察,分析,監視 Qi Dang, Jianqin Yin, Bin Wang, Wenqing Zheng, Deep Learning Based 2D Human Pose Estimation: A SurveyDeep Learning Based 2D Human Pose Estimation: A Survey, Tsinghua Science and TechnologyTsinghua Science and Technology, Volume 24 Issue 6 Article 5, 2019. 19

20.

姿勢推定の用途⑧ • 姿勢推定の結果を用いて,画像から人物を切り出 す 20

21.

姿勢推定のさまざまな用途 • 状況把握,行動予測 • 行動検知 • 危険の察知,救援・救護 • 監視,防犯 • トレーニング,フィットネス,エクササイズ • 集団行動の観察,分析,監視 など 21

22.

姿勢推定のバリエーション • 物体,頭部の位置推定 変形しない • 人体の姿勢推定 関節があり動く • 手や足の指の姿勢推定 関節があり動く 22

23.

9-2. 人体の姿勢推定 23

24.

人体の姿勢推定 • 人体のランドマーク(顔,胴体,手,足の中の特 定の点)の位置推定 • 人体の姿勢についての情報を得る 24

25.

ランドマークとボーン ボーン = 骨格,ランドマーク = 点 画像で表示した ボーン情報 OpenPoseのランドマークとボーン ランドマークのデータファイル (特徴点の x, y 座標と 25

26.

ランドマークとボーン ボーン = 骨格,ランドマーク = 点 OpenPose では,25個のランドマークが定 まっている (OpenPose は,人体の姿勢推定の一手法) 0:鼻 1:首 2:右肩 3:右ひじ 4:右手首 5:左肩6:左ひじ 7:左手首 8:真ん中腰 9:右腰 10:右ひざ 11:右足首 12:左腰 13:左ひざ 14:左足首 15:右目16:左目 17:右耳 18:左耳 19:左足親指 20:左足小指 21:左かかと 22:右足親指 23:右足小指 24:右かかと OpenPoseのランドマークとボーン 26

27.

人体の姿勢推定の例 (OpenPose を使用) • 人体の一部分が隠れている場合 可能な範囲でのランドマークを推定 27

28.

ランドマークの位置推定 ①元画像 ②ランドマークの ③ランドマークと 位置推定 ボーン ②ランドマークの位置推定:Body Part Detection 法では,元画像の中から,顔, 首,肩,手などの部位を検出する ③ランドマークとボーン:②の結果と体全体の情報から,ランドマークの位置 の特定,ボーンの生成を行う Qi Dang, Jianqin Yin, Bin Wang, Wenqing Zheng, Deep Learning Based 2D Human Pose Estimation: A SurveyDeep Learning Based 2D Human Pose Estimation: A Survey, Tsinghua Science and TechnologyTsinghua Science and Technology, Volume 24 Issue 6 Article 5, 2019. 28

29.

ランドマークの位置推定 ランドマークの位置推定 ・ディープラーニングを使用 ・顔,首,肩,手などの部位 それぞれについて位置を推定 Ce Zheng, Wenhan Wu, Taojiannan Yang, Sijie Zhu, Chen Chen, Ruixu Liu, Ju Shen, Nasser Kehtarnavaz and Mubarak Shah, Deep Learning-Based Human Pose Estimation: A Survey, ArXiv, abs/2012.13392, 2019. 29

30.

ランドマークの位置推定 ランドマークの位置推定 ・ディープラーニングを使用 ・顔,首,肩,手などの部位それぞれについて位置を推定 Alejandro Newell, Kaiyu Yang, and Jia Deng, Stacked Hourglass Networks for Human Pose Estimation, arXiv:1603.06937v2, 2016. https://arxiv.org/pdf/1603.06937v2.pdf 30

31.

ランドマークの位置推定 各レベルでの推定結果を 後段へ 画像の縮小 画像の拡大 ランドマークの位置推定 部位の大きさはさまざま ⇒ マルチスケールの画像を使う • 画像を複数レベルに縮小し,各レベルで部位を検出 • 元の大きさに戻しながら,検出結果を重ね合わせ Alejandro Newell, Kaiyu Yang, and Jia Deng, Stacked Hourglass Networks for Human Pose Estimation, arXiv:1603.06937v2, 2016. https://arxiv.org/pdf/1603.06937v2.pdf 31

32.

9-3. 頭部の姿勢推定,物体の姿勢 推定 32

33.

物体の姿勢推定 • 画像から,物体の位置情報(たて、よこ、奥行 き)と回転情報を得る Wen, B and Bekris, Kostas E, BundleTrack: 6D Pose Tracking for Novel Objects without Instance or Category-Level 3D Models, IEEE/RSJ International Conference on Intelligent Robots and Systems, 2021. 33

34.

頭部の姿勢推定 • 頭部の画像から,頭部の位置情報(たて、よこ、 奥行き)と回転情報を得る lincolnhard/head-pose-estimation を使用 https://github.com/lincolnhard/head-pose-estimation 34

35.

基準となる3つの軸から,どれだけ回転したか ヨー (yaw) x z ロール (roll) ピッチ (pitch) y

36.

物体の位置推定,頭部の位置推定 • 画像から,物体や頭部の次の結果を得る 位置情報(縦,横,奥行きの3つの数値) 回転情報(3つの回転軸なので,3つの数値) 36

37.

物体の姿勢推定の用途 • ロボットハンドによる物体移動 Wen, B and Bekris, Kostas E, BundleTrack: 6D Pose Tracking for Novel Objects without Instance or Category-Level 3D Models, IEEE/RSJ International Conference on Intelligent Robots and Systems, 2021. 37

38.

物体の姿勢推定 • 部分的に隠蔽された物体についても、姿勢推定(位置と角度)が推定 できるように (姿勢推定により,セグメンテーションの精度が向上する,という考え 方も) Segmentation-driven 6D Object Pose Estimation Yinlin Hu, Joachim Hugonot, Pascal Fua, Mathieu Salzmann arXiv:1812.02541, 2018. 38

39.

9-4. 演習 39

40.

Google Colaboratory の使い方概要 ① 実行 コードセル Google Colaboratory ノートブック コードセルの再実行や変更には, Google アカウントでのログインが必要 40

41.

Google Colaboratory の使い方概要 ② 実行 コードセル テキストセル 実行 コードセル • WEBブラウザでアクセス • コードセルは Python プログラム. 各自の Google アカウント でログインすれば, 変更,再実行可能 一番上のコードセルから順々に実行 41

42.

人体の姿勢推定 1. 使用するページ: https://colab.research.google.com/drive/13nOMSW0Dzx_LjN9X EG99jtvgMACl4m9V 2. 必要な事前知識 ランドマーク,ボーン 3. 各自で行うこと 各自で説明、ソースコード、実行結果を確認する. 42

43.

全体まとめ • AI の進展により,画像からの姿勢推定ができるよ うになってきた ランドマークの位置情報 は3次元(縦,横,奥行き) ランドマークとボーン 43