ストリートダンスにおけるアクセントの踊り分けの分析

ストリートダンスにおける アクセントの踊り分けの分析 5421082 志村陸

背景 ダンスは、同じ曲・同じ振り付けでも 人によってアクセントの取り方が違う。 アクセントの定義： 音の強弱の表現などで、 ある部分を特に強調して 目立たせること 判断できる？ アクセント の取り方 違う 曲 同じ 振り付け 同じ

弱い ・滑らかな印象 ・タイミングが 遅い ・カクカクした 印象 ・タイミングが 遅い 強い

背景 ダンスは、同じ曲・同じ振り付けでも 人によってアクセントの取り方が違う。 アクセントの定義： 音の強弱の表現など で、ある部分を特に 強調して目立たせる こと 言語的特徴 身体的特徴 ・違いは、どんな言語表現で 共有されている？ ・身体的な違いはなに？ ・そもそも、ダンサーの中で 共通認識として存在する？ ・アクセントの取り方は、 どんな相違点・類似点があ る？

目的 言語的特徴 身体的特徴 • アクセント言語の • 骨格推定モデルを 類似点・相違点を 用いて、定量的な 明確化したい。 分析を行いたい。

関連研究 ・2008，Kobe University Repository Kernel，猪崎弥生 →言語表現がダンサーにどのよう に理解されるかに関する研究 ・2019，Journal of Physics，M．Lei →MediaPipeを用いたバレエのフォームトレーニングシステム開発に 関する研究 ・2022，In Partial Fulfillment Of the Requirements for the Degree Master of Science In Computer Science，Y．Zhang →ひとつのカメラを用いたMediaPipeモデルの精度実験

Mediapipeとは AIと機械学習を用いたライブラリのこと。 主に画像処理や姿勢ランドマークの検出等に用いられる。 0 - nose 1 - left eye (inner) 2 - left eye 3 - left eye (outer) 4 - right eye (inner) 5 - right eye 6 - right eye (outer) 7 - left ear 8 - right ear 9 - mouth (left) 10 - mouth (right) 11 - left shoulder 22 - right thumb 12 - right shoulder 23 - left hip 24 - right hip 13 - left elbow 25 - left knee 14 - right elbow 26 - right knee 15 - left wrist 27 - left ankle 16 - right wrist 28 - right ankle 17 - left pinky 29 - left heel 18 - right pinky 30 - right heel 19 - left index 31 - left foot index 20 - right index 32 - right foot index 21 - left thumb

研究内容 予備実験 • アクセント表現は、ダンサーに 本実験 • データセット作成 どの程度理解されているか。 • DTWのマッチングを用いた分析 • Mediapipeを用いたアクセント • 相互相関を用いた時刻ズレ分析 の可視化と分析 • 速度の時間変化の加算分析 ＊アクセント言語：アクセントの取り方を表現する形容詞や比喩表現。

予備実験 ＊アクセント言語：アクセントの取り方を表現する 形容詞や比喩表現。 評価項目 3対のアクセント言語 を適当に設定 それぞれのアクセント言語 を表現する踊りを撮影 -3 軽い 0 どちらでもない 3 重い 弱い どちらでもない 強い キレがない どちらでもない キレがある 音が見えない どちらでもない 音が見える 撮影した3つの動画を視聴。 どのアクセント言語を表現して いるか評価項目から選択。

予備実験 「キレがない・ある」 を表現したダンス動画の結果 平均値を計算した結果、 「強い」、「キレがある」 で最大値であった 部分的ではあるが、アクセントのみを変えた踊りは、 見るだけで判断することが可能であることが示唆された。

研究内容 本実験 予備実験 • アクセント表現は、ダン サーにどの程度理解されて • データセット作成 いるか。 • 相互相関を用いた時刻ズレ • Mediapipeを用いたアクセ ントの可視化と分析 分析 • 速度の時間変化の加算分析 ＊アクセント言語：アクセントの取り方を表現する形容詞や比喩表現。

データセットの再構築 動画の撮影 5名の 各24本 ダンサー 録画 両肩 四肢 両腰 データ 両手首 胴体 両肘 データ 両足首 両膝 mediaPipeを用いて骨格情報 をCSVファイルに抽出 データセットを編集

相互相関を用いた時刻ズレの分析 ダンスモーション全体のピークタイムに注目する分析 • 一連のダンスモーション全体における、最も大きな 一致点を示すピークタイム． 固定範囲内のピークタイムに注目する分析 • モーションデータを一定の時間範囲(2秒間)に分割し,0.1 秒 間隔でシフトしながら開始位置を移動させる．

固定範囲内のピークタイムに注目する分析 0.1秒ずつシフト して分析

固定範囲内のピークタイムに注目する分析 局所的に時刻ズレが発生 していた。 局所的なズレは、一定の リズムで発生していた。 局所的な時刻ズレは 曲のビートやリズムに 関連している可能性がある。 参加者2、四肢データ

速度の時間変化を加算した分析 V-Tグラフを作成し、速度 変位の絶対値をすべて加算 値が低ければ低いほど一定の速度で移動を行っており、 値が高ければ高いほど不規則な移動を行っていること が分かる。

速度の時間変化を加算した分析 ・加算値の最大値（四肢） 「大きい」：3名 「速い」 ：2名 ・胴体と四肢の加算値には 類似性が見られる。 「大きい・速い」で不規則な移動が 多い可能性が高い。 判定する関節にかかわらずアクセン ト言語の判定ができる可能性がある

適切なアクセント言語の選定を行った。 アクセント言語の分析に適したダンスモーションのデータセッ 成果 トの作成を行った。 時刻ズレや速度の時間変位の合計値にアクセント言語 の特徴が表れる可能性が示唆された。 骨格ランドマークの位置に依存せずアクセント言語を 判定できる可能性が示唆された。

2次元データでも分析しかできなかった。 →3次元データを用いた同手法の分析。 課題 アクセント言語の明確な違いを明らかにできな かった。 →アクセント言語の明確な特徴の判定。