音楽理解技術を利用したマイクロタスク埋め込み型音楽ゲームの自動生成

音楽理解技術を利用したマイクロタスク 埋め込み型音楽ゲームの自動生成 中村聡史（明治大学・JST CREST） 十文字 優斗（東京農工大学）

Demo Demo http://nkmr.io/music_

• http://nkmr.io/music_game/

背景 • 人と機械の共存関係 機械 人 得意 大規模処理・計算 曖昧さの補完 不得意 曖昧さの補完 大規模処理・計算 機械では回答が困難 人であれば回答が容易 ➡ ヒューマンコンピュテーションで解決

背景（機械学習） • 色々な教師あり学習の方法 – SVM – 決定木 – ナイーブベイズ – 重回帰分析 – ニューラルネットワーク – Deep Learning 正解をもとに学習していく どうやって学習するのか？

背景（誤り修正） • 人による誤り修正 – OCRで取り込んだ情報の正誤判定 • reCAPTCHA – 震災データセット

背景（評価実験） • オノマトペベクトル生成 – 252パターン × 15軸 × 10人 = 37800通り • 平均文字が美しいかどうかを判定 – 文字数 × 書いた人と平均の全組み合わせ – 46文字 × 11∁2 = 2530通り

背景 • 様々な人手を必要とする作業 – 機械学習のための分類・正解データ構築 – 誤り修正の実施 – 評価実験の実施 • すべてのデータを構築するのはかなり大変 • 個人でやることが必ずしも良いわけではない 膨大なタスクを1人でこなすのではなく 複数人で分担してデータセットを構築

関連研究 • reCAPTCHA – CAPTCHAを画像上のテキストの認識に活用 – 一日約一億語、年間250万冊の本がデジタル化

関連研究 • ゲーミフィケーションを用いる – ランキング上位に乗るなどの報酬をもとに協力 – 飽きてしまって顧みられなくなる • 生活空間の中に埋め込む – ファイルをダウンロードするときに – 歩いている最中に

ダウンロードにおいて...

床タスク

目的とアプローチ できるだけ多くの人に，できるだけ気軽に データセット構築に協力してもらう Human Computation + Micro Volunteer 5～10秒程度のマイクロタスクを 如何にして人に作業してもらうのか？

音楽ゲームに！ • 何かの行為の際に，タスクをこなしてもらう • まだまだデータを取る環境が限られている 音楽ゲームに埋め込む！ 音楽ゲームでボタンを押す という行為を回答行為に！

音楽ゲームへの埋め込み [三輪'14] • 音楽ゲームに合わせてたま にタスクが降ってくる – どちらかを選択するタスク – 2つのボタンの内，どちらを押 しても良い – タスクは正しく答えても，適当 に答えても構わない

音楽ゲーム • 通常ノート – ボタンとタイミングを示すマーク – 上から下に移動 – ボタン操作でポイントを増やす • 選択ノート – マイクロタスクの選択肢 – マイクロタスクの可視性と回答 時間を考慮 答えなくていいのに回答したくなる？

これまでのシステム 埋め込み可能なゲームは作る必要あり 環境もノートPCに限られていた

本研究の内容 • 音楽ゲームを自動で生成し，マイクロタスクに ついても集約サーバに託す – 音楽理解技術に基づく音楽ゲームの自動生成 – Crowd4U（マイクロタスク基盤）との連携 – スマートフォン版の実装でどこでもタスクに！ • 全自動で音楽ゲームを作り出し，マイクロタスク も基盤から取り出すことにより，人の手を入れ ることがない（私は何もしなくて良い）超エコシス テムの実現！

基本方針 • 音が鳴っていないところはノートを生成しない • サビはメロディが重要である事が多いため，サ ビではメロディにあわせてノートを生成 • サビでない部分については，ビートのパターン を重視し，ビートにあわせてノートを生成 • 音楽の盛り上がる部分では，ノートを多数生成

生成アルゴリズム 1. 2. 3. 4. 5. 6. 7. 8. 時間 t = 0 とする t 秒目に音がある場合は3へ，ない場合は6へ t 秒目がサビなら4へ，サビでないなら5へ t 秒と t+Δt 秒の間にメロディの音が変化してい る場合はノートを挿入．そうでない場合は6へ t 秒がビート開始位置の場合はノートを挿入， そうでない場合は6へ t に Δt を加え，2に戻る 盛り上がりに応じてノートを倍の量に ランダムに選択ノートを適用（周辺を削除）

プロトタイプシステムの実装 • ウェブシステム – PHP + JavaScript + jQuery – Songle API + Crowd4U API

フィードバックと考察 • 音楽の理解技術で膨大な楽曲をカバー – メジャーなアーティストや楽曲名，VOCALOID で作成された有名曲などがプレイされていた – 楽曲を音楽ゲームとしてプレイできるのはか なり楽しいものであり，評判が良かった – 音楽ゲームの譜面に気持ち悪さを感じている というフィードバックが無かった – バラードなどのゆっくりしたテンポの楽曲では ゲームの難易度が高かった

マイクロタスクの回答可能性 • 慣れによりマイクロタスクは十分にこなせる？ – 最初はマイクロタスクが出た時に慌てて両方のボタ ンを押していた – パターンの把握で「こういった画像だとこういうタスク だ」と判断し，瞬間的に判断可能 – 慣れても「どちらの数字が大きいか？」タスクは厳し いとの回答も有り（英語が原因？） • 様々な種類のタスクを提示していたことが問題 – タスクを共通化すると混乱しない？

音楽ゲームの難易度 • 楽曲による難易度の違い – ビートや，メロディの音の量の多少で単位時 間あたりのノート数が増減 – 音楽ゲームに慣れているユーザは，難易度 が高いものが良く，ハイスピードモードを要求 – 音楽ゲームに不慣れなユーザは難易度が高 い譜面だとタイミング良くボタンを押せず – 譜面生成においてレベル設定を可能とする 手法が必要

ゲーム自体へのフィードバック • タイミングがずれて気持ち悪い • 長時間のプレイは飽きてしまうという • キー操作のバリエーション – 「D」や「K」 ＞ 「F」や「J」 – 同時押しなどの操作に対する要望 • 音楽がない喋り声の部分がノートに

まとめ • マイクロタスク埋込み型音楽ゲームのための， 音楽理解技術に基づく音楽ゲーム自動生成 – 自動的に生成することの重要性 – タイミングと長時間のプレイ，難易度問題 • 今後の研究 – どの程度回答してもらえるかの調査 – 音楽ゲーム内では何人以上のデータを取ると正解 に近づくのか？ – ゲームのボタンを押すタイミングで正解らしさ，不正 かいらしさ，曖昧さを判断できるか？