ヒップホップダンスにおける骨格情報を用いた個性抽出の検討

ヒップホップダンスにおける 骨格情報を用いた個性抽出の検討 古市冴佳（明治大学 総合数理学部3年） 阿部和樹 中村聡史（明治大学）

背景 ・ダンスが得意な芸能人 ・ダンスが流行した楽曲 DA PUMPのU.S.A. シュートダンス 2018/05/16 公式MVが公開 ↓約7ヶ月 「踊ってみた」約120,000件

背景 ・ダンスに関するニュース ・公式ダンスをコピーした 「踊ってみた」動画 約126,000件 約120,000件

背景 ・ダンスに関するニュース ・ダンス授業の男女必修化 （中学校）

背景 ・ダンスに関するニュース ・ダンス授業の男女必修化 （中学校） ・オリジナル振り付けの 「踊ってみた」動画の公開が盛んに ダンスに対する関心の高まり ↓ ダンスを上手に踊りたいというニーズも増加

ダンスの学習方法 一般的な方法 教師に習う ・レベルに応じて指導 ・できていないところを 指摘し修正 新しい方法 ダンス動画から学習 ・レベルに合った動画を 見つける必要 ・探索する ・自身のレベルを 客観的に捉える } 困難！

ダンスと個性 個性：ダンスにおいてとても重要な要素 ・表現の幅を広げる ・独自性を持たせる より観客に魅せるダンスをすることが可能！ 個性が見られないダンス 技術が十分でも、他者との差別化を図れない 表面的で退屈な踊りになりやすい

個性の伸ばし方 教師に習う ・学習者の個性を考慮した 教師の指導 ダンス動画から学習 ・自身の個性を見つけ 理解していくことが難しい 自分の個性に 合っているか判断？ 手当たり次第に 動画を探索 覚えて 踊る 手当たり次第に 動画を探索 時間と労力が膨大にかかる！

課題 独自に学習するための ダンス動画探索 自分自身のレベルと個性が合致した動画 学習者のダンスの個性 ↓ 適切なダンス動画を提示 効率よく個性を伸ばす学習ができる

関連研究 ・上手い人の映像をもとに 下手な人でも上手く踊れているかのように見せる手法 [Chan, 2018] ・上手い人の動きに初心者の動きをマッピング →初心者が自身のフォームを確認し修正する手法 [Fujimoto, 2012] レベルに着目した研究は多い 個性に着目した研究は少ない

関連研究 ・ダンスの様々な要素の中で骨格情報に着目 ・Kinectなどからダンスの骨格が取得できる ・様々な視覚情報に左右されない → 実験を行いやすい これまでの研究 [Saito, 2018] ストリートダンス Kinectから得た骨格情報のみから 自身のダンスを判別可能か調査 →ある程度、自身のダンスを判別できる

関連研究 ・ダンスの様々な要素の中で骨格情報に着目 ・Kinectなどからダンスの骨格が取得できる ・様々な視覚情報に左右されない → 実験を行いやすい これまでの研究 [Saito, 2018] ストリートダンス Kinectから得た骨格情報のみから 自身のダンスを判別可能か調査 →ある程度、自身のダンスを判別できる ・ 骨格情報のみから判別が可能である ・ 個性が表れる具体的な動作や特徴については 明らかになっていない

目的・研究の流れ 大目的：自身の個性に合ったダンス動画を 探索できるシステムの実現 目的：骨格情報から個性となりうる特徴を探す 主観的・機械的判断 2方面から考察 1.データセット構築 2.主観的実験 3.機械的実験 →個性がどこに表れるか

ダンス骨格データセット構築 ・実際にダンス骨格のデータセットを構築 ・参加者：大学のダンスサークルに所属する大学生22名 ・男性7名、女性15名 ・ダンス経験：5ヶ月～6年(平均2.4年) ・骨格情報の取得 ・Kinect：15点の3次元座標 Head Neck Right hand Right elbow Left elbow Left hand Right shoulder Torso Left shoulder Right hip Left hip Right knee Left knee Right foot Left foot

ダンス骨格データセット構築 ・ジャンル：Hip-hop ・約15秒間の振りつけ 足を上げる・しゃがむ・回転する・胸を打つ ・週2：1時間×3週間 ・協力者22人×5回の合計110データ

主観評価実験 目的：骨格情報がダンサーの個性表すか明確にする 実験協力者が自身のダンスを判別可能か検証 ・「自分の踊り方に似ていると考えるもの」1～3位で順位付け

主観評価実験 ◆ダンス経験の差によって実験協力者を分類 浅い：11人(平均1.0年)・豊富：11人(平均3.6年) ◆提示する骨格情報 ・選択骨格：最もデータが正確に取得できている骨格 …取得できなかった骨格データが何箇所か存在 ・平均骨格：毎フレーム15骨格点の座標の平均値を用いた骨格 …各ダンスのぶれが打ち消され、その人の特徴が際立つ？ ・1～3位を順位付けするタスク(選択骨格:5回、平均骨格:5回) ・1位5点、2位3位、3位1点としてスコア付け →5回の平均を算出(最大5点)

結果 選択骨格・平均骨格スコア(浅い) 選択骨格 各実験協力者のダンス a's b's c's d's e's f's g's h's i's j's k's l's a 0.4 3.0 0.6 0.0 0.0 0.0 1.2 1.8 0.2 0.0 1.2 0.6 b 0.0 0.6 0.0 0.0 1.6 0.6 0.4 0.0 0.8 0.0 4.2 0.8 c 0.0 0.6 2.4 0.6 1.0 0.0 2.0 1.0 0.4 0.2 0.8 0.0 実 d 0.2 0.6 1.2 0.6 0.6 1.0 0.2 0.0 1.0 1.2 1.2 1.0 0.8 験 e 0.0 0.0 0.2 0.0 1.4 0.2 0.0 3.2 0.6 0.4 2.0 1.0 協 f 0.0 0.0 0.0 0.6 0.0 0.8 1.6 0.4 0.6 0.2 2.8 2.0 力 g 0.2 0.0 0.0 0.0 0.0 3.2 0.6 0.0 0.2 0.2 2.4 2.2 者 h 0.0 0.2 0.6 0.0 0.0 0.0 0.2 2.6 0.0 0.2 1.2 4.0 i 0.0 0.0 0.0 0.2 0.0 1.6 0.0 4.6 0.2 2.4 0.0 j 0.2 0.6 0.0 1.2 0.8 0.0 0.0 2.2 0.0 0.0 2.2 1.8 k 0.0 1.0 0.6 0.0 0.0 2.2 2.2 0.2 2.0 0.0 0.8 0.0 平均骨格 各実験協力者のダンス a's b's c's d's e's f's g's h's i's j's k's l's a 1.2 2.2 0.0 0.2 0.0 2.0 0.6 1.0 0.6 0.0 1.0 0.2 b 0.0 1.0 0.0 0.0 0.6 1.2 0.6 2.2 0.2 0.0 2.6 0.6 c 0.0 1.0 1.2 0.2 0.4 0.8 3.0 0.0 0.0 0.0 0.6 1.8 実 d 0.6 2.0 0.0 1.2 0.2 0.6 0.2 1.6 0.8 0.6 0.2 1.0 験 e 0.0 0.2 0.0 0.0 2.2 0.4 0.0 2.6 0.0 0.0 2.0 1.6 協 f 0.0 0.0 0.0 0.0 0.2 4.0 0.8 0.8 0.8 0.0 0.8 1.6 力 g 0.0 0.0 0.0 0.0 2.2 0.0 0.6 1.0 0.0 0.0 2.2 3.0 者 h 0.0 1.2 0.0 0.0 2.2 0.0 0.0 1.6 0.0 1.0 0.6 2.4 i 0.0 0.0 0.0 0.0 0.2 0.0 1.4 0.2 2.4 0.0 4.2 0.6 j 0.0 0.6 0.0 0.0 0.8 0.2 0.0 2.0 0.2 0.0 2.4 2.8 k 0.0 0.4 1.0 0.0 0.0 1.6 0.8 0.6 2.6 0.0 1.8 0.2

結果 選択骨格・平均骨格スコア(浅い) 選択骨格：2人 平均骨格：1人 が自身のダンスを正確に判別 特定の1人を集中して選ぶ傾向

結果 選択骨格・平均骨格スコア(豊富) 選択骨格 各実験協力者のダンス A's B's C's D's E's F's G's H's I's J's K's L's A 2.8 1.2 0.0 0.6 0.0 1.2 0.6 1.0 0.2 0.0 0.8 0.6 B 0.0 3.6 0.2 0.2 1.8 0.2 2.0 0.8 0.0 0.0 0.0 0.2 C 0.0 0.6 0.8 0.0 0.0 0.4 2.0 1.8 1.0 1.0 0.6 0.8 実 D 1.2 1.0 0.0 0.4 0.2 1.6 0.0 3.2 0.0 0.2 0.0 1.2 験 E 0.2 0.8 2.2 0.0 2.6 1.6 0.0 1.2 0.0 0.4 0.0 0.0 協 F 0.0 0.6 0.0 2.2 1.2 3.2 0.0 1.2 0.4 0.2 0.0 0.0 力 G 2.0 0.0 0.2 0.6 1.0 0.0 2.4 0.4 0.6 0.6 1.8 0.0 者 H 0.0 0.2 0.0 0.6 0.4 0.2 0.0 2.6 0.0 0.0 4.2 0.8 I 0.2 1.2 0.8 0.6 0.0 0.6 1.0 2.6 0.0 1.6 0.2 0.2 J 0.0 0.6 0.2 0.0 2.0 1.0 0.8 0.6 0.6 2.2 0.0 0.0 K 0.0 0.2 0.0 0.0 2.8 0.0 3.4 0.0 1.0 0.0 1.0 平均骨格 各実験協力者のダンス A's B's C's D's E's F's G's H's I's J's K's L's A 3.0 0.0 0.0 0.8 0.0 0.8 0.2 1.0 0.6 2.2 0.4 0.0 B 0.0 0.6 0.2 0.8 2.0 0.2 1.0 0.6 0.0 3.4 0.0 0.2 C 0.0 0.0 1.0 0.2 0.0 1.0 0.0 3.4 0.6 2.8 0.0 0.0 実 D 0.0 0.2 0.0 2.4 1.0 3.0 0.0 1.2 0.8 0.2 0.0 0.2 験 E 0.0 0.0 0.2 0.6 3.2 1.4 0.0 1.8 1.0 0.8 0.0 0.0 協 F 0.0 0.0 0.0 1.0 1.2 1.0 2.4 0.0 1.8 0.6 1.0 0.0 0.0 力 G 0.0 0.0 2.0 1.2 1.2 0.2 3.0 0.6 0.0 0.0 0.8 0.0 者 H 0.0 0.0 0.0 0.8 0.0 0.6 0.0 3.0 0.8 1.8 2.0 0.0 I 0.8 0.2 0.0 1.2 1.6 0.6 0.0 0.2 2.2 1.6 0.6 0.0 J 0.4 0.0 2.0 0.8 0.0 0.0 2.6 0.0 0.8 1.4 1.0 0.0 K 0.0 0.6 0.6 0.6 1.2 1.0 0.0 2.0 1.0 1.8 0.0 0.2

結果 選択骨格・平均骨格スコア(豊富) 選択骨格：5人 平均骨格：6人 が自身のダンスを正確に判別 特定の1人を集中して選ぶ傾向

結果 平均スコア 本人を判別 本人以外を判別 (一人当たり) 経験が浅い 選択骨格 1.35 0.70 グループ 平均骨格 1.56 0.68 経験豊富な 選択骨格 1.73 0.65 グループ 平均骨格 2.02 0.63

結果 平均スコア 本人を判別 本人以外を判別 (一人当たり) 経験が浅い 選択骨格 1.35 0.70 グループ 平均骨格 1.56 0.68 経験豊富な 選択骨格 1.73 0.65 グループ 平均骨格 2.02 0.63

結果 平均スコア 経験豊富なグループ>経験が浅いグループ 本人を判別 本人以外を判別 (一人当たり) 経験が浅い 選択骨格 1.35 0.70 グループ 平均骨格 1.56 0.68 経験豊富な 選択骨格 1.73 0.65 グループ 平均骨格 2.02 0.63

結果 平均スコア 経験豊富なグループ>経験が浅いグループ 本人を判別 本人以外を判別 (一人当たり) 経験が浅い 選択骨格 1.35 0.70 グループ 平均骨格 1.56 0.68 経験豊富な 選択骨格 1.73 0.65 グループ 平均骨格 2.02 0.63

結果 平均スコア 経験豊富なグループ>経験が浅いグループ 平均骨格>選択骨格 本人を判別 本人以外を判別 (一人当たり) 経験が浅い 選択骨格 1.35 0.70 グループ 平均骨格 1.56 0.68 経験豊富な 選択骨格 1.73 0.65 グループ 平均骨格 2.02 0.63

結果 平均スコア 経験豊富なグループ>経験が浅いグループ 平均骨格>選択骨格 選択骨格 選択したダンスのぶれに含む → スコアが 自分の踊り方らしくない要素 下がった 平均骨格 各ダンスのぶれが打ち消され → スコアが その人の踊り方の特徴が際立っていた 上がった

結果 アンケート ・アンケート結果 「どこを見て判別したか」 ・経験が浅いグループ：平均2.3件 経験が豊富なグループ：平均3.2件 ・判別に用いた体の部位 腕・手 膝・足 胸 全身 その他 ダンス経験が浅いグループ 10 2 1 10 3 ダンス経験が豊富なグループ 17 4 2 8 3 合計 27 6 3 18 6 ・判別に用いた要素 形 動き スピード タイミング くせ 向き 重心 ダンス経験が浅いグループ 8 7 3 2 0 2 3 ダンス経験が豊富なグループ 20 1 5 3 4 2 1 合計 28 8 8 5 4 4 4

考察 ダンス経験が浅いグループ ・特定のダンスを集中して選ぶ傾向 ・骨格情報のみから特徴を見出し、特定の人を判別可能 ・正しく判別できなかった原因 ・自身の踊り方を十分に把握できていなかった ・勘違いして他の人の踊りを選択した可能性 選択：2人 平均：1人 ・アンケート フォーム (身体の形) < 動き方 を重視して踊る実験協力者が多い

考察 ダンス経験が豊富なグループ ・特定のダンスを集中して選ぶ傾向 ・骨格情報のみから特徴を見出し、特定の人を判別可能 ・判別に用いた要因が詳細で多い ・自身のダンスの選択率が高い ・経験が多いほど自分のダンスの特徴をしっかりと理解 選択：5人 平均：6人 ・アンケート フォーム (身体の形) > 動き方 を重視 ・11人中10人が「手の形」と回答→手に個性が表れやすい

主観的評価から機械的評価へ 主観評価実験のアンケート結果 ・各フォーム → 2つの要素を用いて機械学習する ・動き方 特徴量 ・関節角度の各1秒間の平均 ・左右の腕，脇，膝の6点 ・骨格点の移動量の各1秒間の合計 ・頭と首を除いた13点

骨格特徴によるダンス推定実験 目的：機械学習によって個人を判別可能であるかを検証 実験設定 ・分類器：ランダムフォレスト ・5回：トレーニングデータ3回、テストデータ2回 各グループ12人×5回の60データが存在 ・トレーニング12×3データ、テストデータ12×2データ ・トレーニング・テストデータの組み合わせ：10通り ・平均の正解率と分類確率を求めた

結果 角度特徴 ダンス経験が浅いグループ 各実験協力者のダンス a's b's c's d's e's f's g's h's i's j's k's l's a .25 .07 .10 .05 .05 .09 .08 .07 .05 .09 .05 .06 b .05 .40 .06 .04 .07 .07 .06 .07 .02 .06 .04 .06 c .08 .07 .27 .03 .04 .08 .07 .07 .06 .09 .06 .07 分 d .06 .06 .04 .31 .08 .06 .08 .08 .07 .06 .06 .03 類 e .05 .08 .04 .07 .26 .08 .09 .06 .05 .08 .09 .05 す f .07 .06 .06 .04 .06 .24 .09 .10 .04 .09 .08 .06 る g .06 .06 .05 .06 .08 .09 .30 .07 .05 .07 .07 .07 実 h .05 .07 .06 .05 .05 .10 .07 .26 .06 .08 .08 .09 験 i .05 .03 .07 .07 .07 .07 .07 .07 .28 .11 .09 .04 協 j .06 .05 .08 .04 .06 .09 .06 .09 .07 .26 .08 .06 力 k .03 .03 .05 .04 .07 .07 .07 .05 .07 .07 .38 .06 者 l .04 .06 .06 .02 .05 .05 .07 .10 .03 .07 .08 .36 ダンス経験が豊富なグループ 各実験協力者のダンス A's B's C's D's E's F's G's H's I's J's K's L's A .26 .04 .04 .14 .09 .05 .04 .08 .09 .08 .05 .03 B .03 .37 .07 .04 .04 .07 .06 .05 .05 .06 .09 .06 分 C .04 .07 .32 .04 .04 .05 .09 .03 .06 .10 .08 .08 類 D .14 .04 .05 .24 .10 .05 .05 .08 .10 .08 .05 .03 す E .08 .04 .04 .09 .37 .08 .03 .07 .08 .07 .04 .02 る F .05 .07 .05 .05 .08 .34 .03 .05 .08 .09 .09 .03 実 G .04 .07 .09 .04 .03 .05 .24 .06 .06 .09 .09 .15 験 H .09 .07 .03 .09 .08 .06 .05 .26 .10 .08 .06 .03 協 I .08 .05 .06 .09 .08 .07 .05 .11 .18 .10 .08 .05 力 J .08 .05 .08 .07 .07 .08 .07 .07 .07 .20 .08 .06 者 K .05 .09 .08 .04 .08 .08 .07 .06 .08 .09 .25 .08 L .03 .08 .10 .03 .03 .04 .16 .05 .06 .08 .10 .25

結果 角度特徴 本人のダンスが最も分類確率が高い 正解率の平均 浅い：99.1% 豊富：92.0%

結果 移動量特徴 ダンス経験が浅いグループ 各実験協力者のダンス a's b's c's d's e's f's g's h's i's j's k's l's a .34 .01 .08 .13 .09 .05 .08 .01 .06 .06 .05 .05 b .01 .42 .03 .03 .05 .05 .06 .12 .04 .06 .06 .06 c .06 .03 .32 .11 .07 .08 .12 .03 .07 .07 .03 .03 .05 分 d .12 .04 .11 .22 .09 .07 .10 .04 .05 .06 .05 .05 類 e .08 .06 .06 .09 .23 .05 .10 .05 .06 .06 .08 .07 .08 す f .03 .05 .06 .05 .05 .30 .09 .08 .08 .08 .09 .07 .05 る g .06 .05 .10 .08 .09 .09 .25 .04 .07 .07 .07 .04 .06 実 h .01 .12 .03 .03 .05 .09 .04 .35 .07 .06 .06 .09 験 i .05 .05 .07 .06 .07 .10 .09 .07 .24 .11 .05 .06 協 j .05 .07 .03 .06 .07 .09 .08 .06 .10 .26 .08 .05 力 k .04 .05 .02 .04 .06 .03 .05 .05 .04 .08 .43 .10 者 l .04 .05 .05 .07 .07 .08 .05 .05 .05 .10 .34 ダンス経験が豊富なグループ 各実験協力者のダンス A's B's C's D's E's F's G's H's I's J's K's L's A .22 .08 .07 .07 .10 .06 .06 .08 .08 .08 .03 .06 B .08 .31 .05 .07 .07 .07 .08 .05 .06 .05 .08 .04 .06 分 C .07 .06 .31 .06 .08 .07 .07 .07 .04 .08 .04 .06 .04 類 D .06 .07 .05 .19 .05 .09 .09 .11 .07 .09 .06 .06 す E .09 .08 .08 .07 .35 .05 .05 .05 .06 .06 .03 .04 る F .06 .08 .05 .10 .05 .26 .07 .08 .05 .08 .06 .05 実 G .07 .08 .07 .11 .06 .08 .15 .09 .06 .08 .08 .07 験 H .08 .06 .05 .11 .05 .08 .08 .26 .05 .07 .06 .07 協 I .08 .07 .08 .08 .07 .07 .07 .09 .21 .06 .08 .08 力 J .07 .07 .04 .10 .06 .08 .07 .06 .06 .22 .06 .08 者 K .03 .05 .07 .08 .03 .08 .09 .06 .09 .07 .30 .05 L .08 .07 .05 .08 .05 .08 .07 .09 .08 .09 .06 .20

結果 移動量特徴 本人のダンスが最も分類確率が高い 正解率の平均 浅い：95.4% 豊富：89.5%

考察 各特徴量の重要度の比較 ・角度特徴の高い重要度：膝 ・振り付けで足を使うことが多かった →個人の違いが表れやすかった

考察 角度特徴と移動量特徴の重要度の比較 ・角度特徴の高い重要度：膝 ・振り付けで足を使うことが多かった ・移動量特徴の高い重要度：胸・右肩 ・足を使う振りが多かった ・「アイソレーション」の仕方に個人差がある →上半身の動きにも差が出やすかった

考察 角度特徴と移動量特徴の重要度の比較 ・角度特徴の高い重要度：膝 ・振り付けで足を使うことが多かった ・移動量特徴の高い重要度：胸・右肩 ・足を使う振りが多かった ・「アイソレーション」の仕方に個人差がある →上半身の動きにも差が出やすかった 正解率：豊富なグループ<浅いグループ ・誤推定：欠損値のあるデータを多く含む ・機械学習による判別に経験による大きな違いはない

特徴ベクトルの重要度とは ランダムフォレスト ・いろんな決定木の集合によって学習するアンサンブル学習 ・決定木によって、どこを重視しているのかが異なる ・それぞれ異なるデータをもとに作られている ・多数決して分類結果を決定 それぞれの決定木を比較 ↓ 各特徴ベクトルの重要度を評価可能 ・各学習における特徴について どの特徴ベクトルが有効であったか計測

考察 主観評価実験と 骨格特徴によるダンス推定実験を比較

考察 主観評価による実験 ・骨格情報のみでも特徴を見出すことが可能 ・自分のダンスを正しく判別できた実験協力者は多くない 自分のダンスを客観的に捉える→ダンス経験を積んでも困難 機械学習による実験 ・2特徴どちらでも高精度で本人を判別可能 ・個性となりうる特徴や動きが存在 ・これらの特徴を利用 →自分では気がつかない個性を見つけられると期待

考察 個性の表れやすい体の位置や要素について 主観評価による実験 ・22人中17人が手、13人が全身のバランスを見て判別 ・経験が浅いグループは動き、豊富なグループは形を重視 機械学習による実験 ・足の曲げ具合と上半身の移動を重視 ・主観評価の全身のバランスに対応 ・手は重視されなかった ・手の状態（向きや形状）に着目 →より個性を際立たされる？

今後の展望 自身の個性に見合った ダンス動画を探索できるシステムの実現 ・2方向から個人を判別した特徴 ・個性となりうるかどうか ・異なる踊りでも共通する個性的な特徴の取得 ・抽出した個性の応用方法の検討 異なる踊りでも個性と合致したダンス動画の探索手法の検討

まとめ ・骨格情報のみからダンスにおける個性を抽出可能か ヒップホップダンスを対象として調査 ・主観評価による実験 ・経験豊富な実験協力者ほど骨格情報のみから自身を判別可能 ・経験が浅い：動き方 ・経験が豊富：手の形 を重視する傾向 ・機械学習による実験 ・角度特徴と移動量特徴 ・どちらでも高い精度で個人を判別可能