XR領域のサウンド技術 - XRミートアップ三重 #3

XR領域のサウンド技術 XRミートアップ三重 2022/10/01 吉高 弘俊

自己紹介 吉高 弘俊（よしたか ひろとし） VRサウンドプログラマー 三重大学工学部情報工学科 2012年3月卒 Twitter: @tyounanmoti

自己紹介 吉高 弘俊（よしたか ひろとし） 株式会社CRI・ミドルウェア 株式会社エクシヴィ フリーランス アルテマ・エンターテインメント株式会社

目次 ● ● ● ● XR領域におけるサウンドの重要性 XRサウンドの現状と将来 どのような人材が活躍しそうか？ 三重大学で学んだこと

サウンドはどう重要なのか？

物理空間におけるサウンドの重要性 ● ● ● ● ● ● 会話、コミュニケーション、音声案内 人の気配や危険の察知 空間把握 音楽など文化風俗、エンターテインメント 操作に対するフィードバック アラームなどの通知音 などなど…

物理空間におけるサウンドの重要性 ● ● ● ● ● ● 会話、コミュニケーション、音声案内 人の気配や危険の察知 空間把握 音楽など文化風俗、エンターテインメント 操作に対するフィードバック アラームなどの通知音 XR領域でも同じ！ などなど…

XR領域でのサウンド利用例（e-Sports射撃ゲーム） ● ● ● ● ● ● ● ボイスチャット ：会話やコミュニケーション 足音、衣擦れ音 ：気配の察知、自己の身体感覚 銃声 ：危険察知 残響、環境音 ：空間把握 音楽 ：エンターテインメント、感情の誘導 画面操作音 ：操作へのフィードバック 通知音 ：試合終了などの状況把握

XRサウンドの現状

XR機材の音響装備 ステレオヘッドホン準拠 画像： https://www.meta.com/jp/quest/products/quest-2/

• https://www.meta.com/jp/quest/products/quest-2/

XRサウンドの技術的制約 ● ソフトリアルタイムである ○ 時間内に処理が終わらない → 音が途切れる ● ハードウェア的制約 ○ ほぼ全ての計算リソースがグラフィックスへ ○ スタンドアロン化でモバイル＆バッテリー消費 ● ビジネス的制約 ○ アプリ容量はできるだけ小さく

「物理空間と同じように」聴こえるには？ ● ● ● ● 音源位置の知覚 空間の知覚 音速・ドップラー効果 音量

音源位置の知覚：「音源」と「音像」 ？ 音源 音像

音源位置の知覚：音像定位 どうやって左右を聞き分けている？ ● 両耳間時間差：両耳が離れているため ● 両耳間音量差：音波が頭部によって回折するため ただし、上下と前後で「コーン状の混同」が生じる

音源位置の知覚：音像定位 外耳への入射角によってフィルターがかかる → これを再現する＝立体音響

音源位置の知覚：立体音響 外耳＋頭部の影響による周波数フィルター＝頭部伝達関数 左耳の音声 モノラル音声 頭部伝達関数 右耳の音声 どの角度から入射した？ 距離はどれくらい？

音源位置の知覚：距離の推測 明確にはわかっていないことが多い ● ● ● ● 近距離：頭部伝達関数の変化 遠距離：音量差、反射音の変化 経験的なもの 視覚との連携

空間の知覚：遮蔽・透過・回折 遮蔽 透過 回折

空間の知覚：初期反射音・残響音 直接音 （初期）反射音 後期反射音、残響音

ゲームエンジンとサウンドミドルウェア ● ゲームエンジン ○ Unity ○ Unreal Engine 5 ● ゲーム開発での共通部分を提供 ○ マルチプラットフォーム対応 ○ 3D描画、サウンド、ゲームAI、ア セット管理など 画像(上)：https://docs.unity3d.com/ja/2022.2/Manual/UsingTheSceneView.html 画像(下)：https://docs.unrealengine.com/5.0/ja/level-editor-in-unreal-engine/

• https://docs.unity3d.com/ja/2022.2/Manual/UsingTheSceneView.html
• https://docs.unrealengine.com/5.0/ja/level-editor-in-unreal-engine/

ゲームエンジンとサウンドミドルウェア ● サウンドミドルウェア ○ Audiokinetic Wwise ○ CRI ADX ● ゲームエンジン標準よりも高度で実戦的 ○ プラグイン＋データ管理ツール ○ 膨大な音声アセット管理 ○ プログラマーとサウンドデザイナーの分業 画像(上)：https://www.audiokinetic.com/ja/products/wwise/ 画像(下)：https://game.criware.jp/products/adx/

• https://www.audiokinetic.com/ja/products/wwise/
• https://game.criware.jp/products/adx/

立体音響プラグイン ● 無償で提供 ○ Oculus Spatializer ○ Google Resonance Audio ● ハードウェア化 ○ PlayStation 5：Tempest 3D Audio ○ HoloLens 2

空間音響シミュレーション 仮想空間での残響を再現する ● 音響レイトレーシング ○ Steam Audio ■ Intel Embree ■ AMD TrueAudio Next ● 波動音響シミュレーション ○ Project Acoustics (Project Triton) 画像: https://learn.microsoft.com/ja-jp/gaming/acou stics/what-is-acoustics

• https://learn.microsoft.com/ja-jp/gaming/acoustics/what-is-acoustics

音速とドップラー効果のシミュレーション ● 音速は無視されることが多い ○ VR酔い防止のテレポート移動 → 再生位置が不連続 ○ ボイスチャットのメモリ消費 ● ドップラー効果は演出的に使われる ○ 近づく・遠ざかる音源を再現したいとき ○ 再生速度を上げる → CPU・メモリ負荷が上がる

音量 ● 現実通りに再現すると突発性難聴の危険がある ○ 0dB SPL ：聴こえる下限の音圧レベル ○ 120dB SPL ：飛行機のジェットエンジン ● 快適に過ごせる音量制限をかけつつ、 ● 演出としての迫力も同時に成立させたい

音量：過ごしやすいXR音響空間を目指して ● ボイスチャット ○ 均一な音量・音質：Horizon Workroom ○ 話す範囲設定：Neos VR ○ 聴く範囲設定：VRChat ● アバター組み込み音源に対する音量の制限：VRChat ● 背景雑音・BGMで居心地のよさを演出

音量：迫力のあるサウンド演出を目指して ● HDRオーディオ：Wwise ○ 各サウンドにリファレンスとなる「音の大きさ」を設定 ○ 自動的に音量調整（明順応・暗順応に似ている） ● コンプレッサー・イコライザのプリセット設定 ○ BattleField 2042 ○ Call of Duty: Modern Warfare2

XRサウンドの近い将来

頭部伝達関数（HRTF）の個人化 外耳の形には個人差がある → 前後上下の聞き違い ● HoloLens 2：瞳孔間距離で調整 ● PlayStation 5：５つのプリセットから選択 ● Final Fantasy XIV：外耳の写真をアップロード

音源の大きさを再現する ● ● ● ● 広大な波打ち際 渓谷の複雑な響き 巨大な機械 等身大の人間の存在感

物理シミュレーションによる音声合成 ● ● ● ● 自動車のエンジン音 流体シミュレーションによる水や泡の音 物体同士の衝突音、擦過音 風切り音

高品質・多人数・低コストなボイスチャット ● 機械学習によるノイズ除去 ○ RNNoise ○ NVIDIA Broadcast ● ● ● ● エコーキャンセリング（Meta Quest 2） マイクロホンアレイ（HoloLens 2） Google Lyraコーデック サーバーサイドミキシング

触覚フィードバックとサウンドの連携 ● 振動の繊細な強弱、マルチチャンネル化 ○ Meta Quest2, Valve Indexハンドコントローラー ○ PlayStation VR2 ○ DualSense, Xboxコントローラー ● 物体の振動 → 空気の振動 → 聴覚 ● 触覚と聴覚は同時に発生することが多い ● マルチチャンネル時系列データ：ほぼ同じ操作・管理

どのような人材が活躍しそうか？

XR領域は変化が速い 「変化についていく」では遅すぎる → 自ら変化を起こす ● XRの基礎から理解している：情報工学、認知工学 etc. ● 技術デモで終わらない「魅せ方」：数をこなす

三重大学で学んだこと

基礎的な知識を得るということ ● 中学２年 ○ 見よう見まねでWebゲーム改造・運営 ● 高校生 ○ 「ゲームをイチから作ってみたい！」 ○ C言語のポインターで挫折 ○ Java言語のオブジェクト指向で挫折

基礎的な知識を得るということ ● 大学生：トランジスターレベルからの理解 ○ ポインター ○ ヒープとスタック ○ アルゴリズムとデータ構造 ○ FPGAでCPU自作の授業 ○ 自走マイコンでのライントレース授業 ○ デジタル信号処理の輪講

基礎的な知識を得るということ ● 社会人：エンジニア同士でのチーム作業 ○ オブジェクト指向 → ソフトウェアアーキテクチャ ○ 各社ハードウェア特有の挙動の理解 ○ 並行コンピューティング → サウンドプログラマーとしての専門技能の確立

多様な学部・学科があること 工学だけではない、多様な学部の友人との出会い XR領域は応用範囲が非常に広い ● こんな応用もあるかもしれない ○ 総合大学の学部学科にあてはめてみる ○ 自分自身の関心領域が広がる ● これに詳しい人が世界のどこかにいるかもしれない

質疑・応答

参考文献 ● ● ● ● ● ● ● 飯田 一博 . 頭部伝達関数の基礎と３次元音響システムへの応用 . コロナ社 , 2017 ファミ通.com(2021) . 「PS5のエンジニアに聞くTempest 3Dオーディオの魅力。『リターナル』『バイオハザード ヴィレッジ』開発者たちからのコメントも」 . https://www.famitsu.com/news/202105/19219995.html , (参照 2022-09-30) Embody . 「Immerse Gamepack FFXIV Edition」 . https://embody.co/pages/ffxiv , (参照 2022-09-30) Microsoft(2022) . 「Spatial sound overview」 . https://learn.microsoft.com/en-us/windows/mixed-reality/design/spatial-sound , (参照 2022-09-30) Microsoft(2022) . 「Project Acoustics とは」 . https://learn.microsoft.com/ja-jp/gaming/acoustics/what-is-acoustics , (参照 2022-09-30) GDC2017 . 「Gears of War 4, Project Triton: Pre-Computed Environmental Wave Acoustics」 . YouTube . https://www.youtube.com/watch?v=qCUEGvIgco8 , (参照 2022-09-30) AngeTheGreat(2022) . 「Simulating an Entire Car Engine (yes, it makes noise)」 . YouTube . https://www.youtube.com/watch?v=RKT-sKtR970 (参照 2022-09-30)

• https://www.famitsu.com/news/202105/19219995.html
• https://embody.co/pages/ffxiv
• https://learn.microsoft.com/en-us/windows/mixed-reality/design/spatial-sound
• https://learn.microsoft.com/ja-jp/gaming/acoustics/what-is-acoustics
• https://www.youtube.com/watch?v=qCUEGvIgco8
• https://www.youtube.com/watch?v=RKT-sKtR970

ご清聴ありがとうございました