ヒップホップ風編曲に向けた一検討

ヒップホップ風編曲に 向けた一検討 北原研究室 B4 北原瑠伊

目次 1. 2. 3. 4. 5. 6. 背景 目的 関連研究 実験 実験結果・考察 まとめ・今後の展望

背景 ヒップホップってどんなジャンル？ ・アメリカで1970年代初頭に生まれた、まだ歴史の短い音楽のジャンル ・ラップなどの歌唱法、スローテンポかつ同じ調子のドラムやベースなどループさせたビー ト ヒップホップは、日本ではまだ馴染みのない音楽ジャンル 2023年 Billboard 年間チャート100 Global : 20曲以上 Japan : 1曲のみ

目的 ヒップホップの良さを多くの人に知ってほしい！ ↓ 自分の好きなポピュラー楽曲を ヒップホップ風に編曲するシステムの実現 ↓ ヒップホップをより身近な存在に感じられる！

目的 ・編曲手法として、ユーザが指定したポピュラー楽曲から歌唱部分を抜き出し、用意され たドラムなどの音素材を合成する方法を提案する。 →合成を行うには、用意した音素材のテンポなどに合うように、ユーザが指定したポピュ ラー楽曲のテンポなどを推定し、変更する必要である。 →だが、これまで自動編曲などの研究に用いられてきたテンポなどの推定は、必ずしも 完全ではなく誤差が生じる可能性がある。 ↓ 編曲システムの実現に向けて、音素材の合成の際のテンポに注目し、 テンポ間のズレを知覚できるかを検証する。

関連研究 K. Miyamura, R. Okada, and T. Nakanishi 「Automatic Music Mashup Creation Method by Similarity of Features」 ・マッシュアップとは、異なる既存曲からドラムやピアノなどを抽出し、組み合わせることで、新たな曲を作成する 手法である。本研究に近い手法。 ・音源素材生成の手法の中でマッシュアップ音源作成を、容易にするために分割した音素材のテンポやキーの変 更を行なった。 →テンポの変更は行うが、原曲の良さを残すためにキーの変更は行わない。

• https://ieeexplore.ieee.org/document/9516600

関連研究 西堀, 多田, 曽根 「遅延のある演奏系での遅延の認知に関する実験 」 ・、ピアノ、ストリングス、ドラムの中から 2つの音源が同時のものとずれているものを聴き、ずれている方を選び、評価する実 験を行った。 →ポピュラー楽曲の歌唱とヒップホップの ドラム音源を用いてズレの知覚の検証を行う。 →ドラム音源は、ヒップホップの中でも独特のリズム感がある 「ドリル」と呼ばれるジャンルのドラム音源を用いる。

• https://cir.nii.ac.jp/crid/1520290884502780416

実験 ポピュラー楽曲の歌唱音源とヒップホップのドラム音源を組み合わせた際に、音源間にテンポの 誤差があった場合、その誤差を知覚できるのかについて実験を行う。 実験参加者 ・クラウドソーシングサービス「ランサーズ」で募集した 計 100人 ・参加者募集にあたって年齢、性別、音楽的能力・経験は問わなかった。 使用する音源 ・ポピュラー楽曲：「RWC研究用音楽データベース ポピュラー音楽」から選んだ 5曲 ・ドラム音源：音源サイト「Cymatics」から選んだドリルのドラム音源

音源作成手順 テンポを 指定 ドラムの前に 無音区間を 追加 ドラム音源 librosaで テンポを推定 歌唱部をドラム 音源のテンポに 変更 歌唱部とドラム音源を合 成 librosaでビー ト時刻の推定 ポピュラー楽曲 Spleeterで 歌唱部を抽出 歌声直前のビート時 刻までの無音部分 を削除 サビ部分約15秒を出力

実験手順 ・クラウドソーシングサービスを用いてWeb上で行う。 ・まず「好きな音楽のジャンルは？」などの問いに回答してもらう。 ・その後、音源作成手順を元に用意した音源を聴いてもらう。 ・テンポは、librosaで推定されたテンポの0.970~1.030倍の範囲で0.005 倍刻みに変更した計13音源 ・評価は4段階 1. 2. 3. 4. ズレている どちらかと言えばズレている どちらかと言えばズレていない ズレていない ・この評価実験を5曲分行う。

テンポの差 ・siteは、音楽分析・編集サイト「ボーカルリムーバー:bpm計測」で推定した値。このサイトのテンポ推定の正確さは、テンポが元から 公開されている曲を用いて確認済みであるため、ほぼ正解のテンポと考えて差し支えないことが期待できる。 ・このテンポ比率のテンポに近いテンポを用いて無音区間を追加した。

作成された音源 曲A 原曲 正しいテンポに 近いテンポ librosaで求めた テンポ

実験結果 A B C D E ※1~4が4段階評価。テンポに対するそれぞれの評価した人数。 ※太字が音楽分析サイトで推定したテンポに近いテンポ ※avgは実験手順を元に評価の合計を回答者数で割った回答の平均値。4に近ければずれていない、1に近ければずれている

実験結果と考察 (1) 指定した歌唱とドラムのタイミングの評価 ・音楽サイトで推定したテンポに近いテンポを用い た音源は5曲ともズレていないという評価が多い。 →音楽分析サイトでのテンポ推定は十分 な精度であることを確認していることか ら、テンポが正しければ, 歌唱とドラム音 源のタイミングは, ずれずに聴こえること が分かった。 A B C D E 1.030 2.1 2.6 2.5 2.1 1.9 1.025 2.2 2.5 2.1 2.0 2.1 1.020 3.5 2.1 3.0 2.5 2.3 1.015 2.1 2.5 2.1 2.4 2.1 1.010 2.4 2.4 2.7 3.2 1.8 1.005 2.1 2.2 1.9 2.2 2.2 1.000 2.2 2.6 2.9 2.5 1.9 0,995 1.9 2.9 2.0 1.7 1.8 0.990 2.2 2.8 2.3 2.2 1.9 0.985 2.1 2.1 2.2 2.0 2.4 0.980 2.0 2.5 2.5 2.7 3.1 0.975 2.1 2.1 2.3 1.7 2.9 0.970 2.2 2.5 1.9 1.8 2.6

A B C D E 1.030 2.1 2.6 2.5 2.1 1.9 1.025 2.2 2.5 2.1 2.0 2.1 1.020 3.5 2.1 3.0 2.5 2.3 1.015 2.1 2.5 2.1 2.4 2.1 ・曲B, C, Eは正しいテンポの曲以外の中でも回答の平均値が高く、ず れていないと評価されたテンポの曲があるという結果となった。特に曲 Bでは、1段階ずれた方が、ずれていないと評価された。 1.010 2.4 2.4 2.7 3.2 1.8 1.005 2.1 2.2 1.9 2.2 2.2 →曲B以外については、テンポ比率が 1段階変わると、ズレに対する回 答の平均値が大きく下がっている . このことから、テンポ比率の少しの 変化であっても、ズレを感じることが分かった。曲 Bは曲調などによる何 らかの影響が考えられる。 1.000 2.2 2.6 2.9 2.5 1.9 0,995 1.9 2.9 2.0 1.7 1.8 0.990 2.2 2.8 2.3 2.2 1.9 →また, 曲B, Eでは, 正しいテンポに対して 1段階速くなるか遅くなるか で, ズレを感じるかどうかの変化に非対称性があることが観測された . 0.985 2.1 2.1 2.2 2.0 2.4 0.980 2.0 2.5 2.5 2.7 3.1 0.975 2.1 2.1 2.3 1.7 2.9 0.970 2.2 2.5 1.9 1.8 2.6 実験結果と考察 (2) テンポのずれた曲の評価 ・曲A, Dは、正しいテンポに近いテンポを用いた曲以外の回答の平均 値が全体的に小さく、ずれていると評価されている曲が多い。

A B C D E 1.030 2.1 2.6 2.5 2.1 1.9 1.025 2.2 2.5 2.1 2.0 2.1 1.020 3.5 2.1 3.0 2.5 2.3 1.015 2.1 2.5 2.1 2.4 2.1 1.010 2.4 2.4 2.7 3.2 1.8 1.005 2.1 2.2 1.9 2.2 2.2 1.000 2.2 2.6 2.9 2.5 1.9 0,995 1.9 2.9 2.0 1.7 1.8 →librosaで推定されたテンポを用いるのは難しい 0.990 2.2 2.8 2.3 2.2 1.9 →新たなテンポ推定方法が必要 0.985 2.1 2.1 2.2 2.0 2.4 0.980 2.0 2.5 2.5 2.7 3.1 0.975 2.1 2.1 2.3 1.7 2.9 0.970 2.2 2.5 1.9 1.8 2.6 実験結果と考察 (3) librosaを用いたテンポ推定の評価 ・曲A, Eでlibrosaで推定したテンポを用いた曲は、回答の平 均値が高くずれていると評価され、曲Dはずれているともずれ ていないともどちらとも言えないと評価され、曲B, Cでは、 回 答の平均値が高く、ずれていないという評価が多くされた。

まとめ・今後の展望 ポピュラー楽曲の音源から歌唱のみを抽出し、既存のヒップホップの音素材を活用し たヒップホップ風に編曲するシステムの実現のためのテンポの誤差によるずれを知覚で きるかの調査を行った。 その結果、テンポが少しでも変わるとずれていることを認識できる事が分かった。 ・回答の段階を増やし、テンポのズレを細かくする。 ・ヒップホップ風編曲システム実現に向けて、歌唱とドラムだけでなく、原曲からメロディ などを推定し、ストリングスやベースなども追加して合成ができるシステムの作成を目指 す。

ご清聴ありがとうございました