sigmus145

OneCamLiveFX：一視点固定型ライブ映像配信のための 映像効果付与システムとその運用 明治大学 小川剣二郎 渡邉 健斗 中村 聡史 1

軽音楽団体のライブ開催形態 対面ライブ オンラインライブ ○活動内容を広くアピール（入会者の招集、団体の活性化） 多くの視聴者を留まらせておくことが難しい 筆頭著者が所属していたサークルの場合 配信に入ってもすぐ抜けてしまい，実際配信にいるのは数人のケースが多い 2

オンラインライブの現状 視聴者が離脱してしまう要因 - 撮影機材が整っておらず一視点からの映像を配信が多い →映像に変化が生まれなく単調となる [Modestini + 2021] - 利用端末としてスマートフォンが多く用いられている →画角が小ささにより臨場感が低くなる [畑田+ 1979] Modestini, P. and Weining, C.: Affordances and experiential dimensions of digital concerts: Closer the eye, farther the crowd, Music Perception: An Interdisciplinary Journal, Vol. 42, No. 3, pp. 269–285 (2025). 畑⽥豊彦，坂⽥晴夫，⽇下秀夫： 画⾯サイズによる⽅向感覚誘導効果 ⼤画⾯による臨場感の基礎実験，テレビジョン学会誌， Vol. 33, No. 5, pp. 407–413 (1979). 3

これまでの研究① 映像効果自動付与手法の検討(EC71) - 動作量・オンセットから特徴的なシーンを検出 - ズーム・集中表現・画面分割を自動付与 →映像効果の付与により視聴時間，いいね数が増加 →普段ライブ映像を視聴しない人から好印象 ズーム 集中表現 画面分割 ⼩川 剣⼆郎, 中村 聡史. ⼀視点固定型ライブ映像への映像表現⾃動付与による臨場感向上⼿法の検討, 情報処理学会 研究報告エンタテインメントコンピューティング （EC）, Vol.2024-EC-71, No.37, pp.1-8, 2024. 4

これまでの研究② 詳細な主観評価＋映像・音響効果の影響の調査(情報処理学会論文誌) - 軽音楽団体のライブにおける臨場感の構成要素を 没入感 社会的存在感 演者への興味度 として整理 - 映像効果に合わせて，特定の楽器の音を際立たせる音響効果を付与 →映像効果を付与することが視聴者の音楽体験を向上させる →音響効果のみによる影響は薄く ユーザの意図しないタイミングで切り替わる違和感が現れていた ⼩川 剣⼆郎, 中村 聡史. 1視点固定型ライブ映像における映像・⾳響表現⾃動付与による⾳楽体験拡張, 情報処理学会論⽂誌, Vol.66, No.12, pp.1715-1724, 2025. 5

リアルタイムであることの価値 l ライブは予測不能性が強く [George 2014]，即時的である [Wald+ 2021]ことが その場限りの体験となり臨場感に繋がっている l 他の誰かが同じ体験を同じタイミングでしていることがライブの価値を構成する重要な要素である [George 2014][Onderdijk+ 2021][Kulla+ 2024] リアルタイムで運用可能なシステムを実装し実際に軽音楽団体での活動 に活用可能かを調査する必要がある Georgi, C.: Liveness on stage: Intermedial challenges in contemporary British theatre and performance, Vol. 25, Walter de Gruyter GmbH & Co KG(2014). Wald-Fuhrmann, M.，Egermann, H.，Czepiel, A.，KatherineO’Neill，Weining, C.，Meier, D.，Tschacher, W.，Uhde,F.，Toelle, J.，Tr¨ondle, M.： Music listening in classical concerts: Theory, literature review, and research program, Frontiers in Psychology, Vol. 12 (2021). Onderdijk, K. E., Swarbrick, D., Van Kerrebroeck, B.,Mantei, M., Vuoskoski, J. K., Maes, P.-J. and Leman,M.: Livestream experiments: the role of COVID-19,agency, presence, and social context in facilitating social connectedness, Frontiers in Psychology, Vol. 12 (2021). Kulla, S. T., Sungur, H. and Sumter, S. R.: The role of social presence in live and recorded concert viewing: Effects on enjoyment and emotional well-being, Computers in Human Behavior Reports, Vol. 14 (2024). 6

目的 実際の軽音楽団体のライブにおいて実証実験を行い オンラインライブの臨場感向上に有効かを明らかにする 7

必要要件 配信・視聴共にスマートフォン l 広く利用してもらうにはスマートフォンを前提とした実装が必要 最小限の操作・自動処理 l 対面の参加者は最小限の操作で臨場感のある映像を配信できるようにする必要 ある程度の遅延を許容 l 視聴者がリアルタイムと認識することが重要[Van 2017] l 視聴中心のケースでは数秒の遅延は許容される[Li+ 2022] →10 秒程度の遅延は許容するものとする Van Es, K.: Liveness redux: on media and their claim to be live, Media, Culture & Society, Vol. 39, No. 8, pp.1245–1256 (2017). Li, J., Li, Z., Lu, R., Xiao, K., Li, S., Chen, J., Yang, J.,Zong, C., Chen, A., Wu, Q. et al.: Livenet: a low-latency video transport network for large-scale live streaming, Proceedings of the ACM SIGCOMM 2022 Conference,pp. 812–825 (2022). 8

リアルタイム映像効果付与システム 「OneCamLiveFX」 9

リアルタイム映像効果付与システム(配信UI) 演者/視聴者を分ける基準線の操作 配信の開始・停止の操作 映像効果のON・OFFの操作 10

リアルタイム映像効果付与システム(バックエンド) - 映像 - - 音声 - YOLOv8nで人物検出 基準線より上の人物を演者と認識 オンセット検出 演者の動作量を算出 意図的に遅延(5秒)をさせその分の動作量情報を保存 11

リアルタイム映像効果付与システム(バックエンド) 発音タイミングを境目として演者の動作量が増えた箇所を特徴的なシーンとする 発音 動作量UP! 12

リアルタイム映像効果付与システム(バックエンド) 動作量の増加割合・人数から付与する映像効果を選定 l ズーム：演者の動作量が 1.2 倍以上増加した際に適用 l ビネット：演者の動作量が 2.0 倍以上増加した際に適用 l 画面分割：複数人の動作量が 2.0 倍以上増加した際に適用 13

実験 筆頭著者が所属していた明治⼤学軽⾳サークルでの実証実験 l 100⼈程所属しており，今回は30⼈程が対⾯ライブに参加 →3つのバンドのライブを配信 l 実験参加者：視聴者14⼈，演者12⼈ 14

実験 RQ① RQ② 本システムはリアルタイムでの運用が可能か リアルタイムでの映像効果の付与により オンラインライブの臨場感が増加するか 15

実験 - 評価基準 n ログ - 処理時間 - FPS・フレームドロップ - 配信の停⽌ n アンケート - 没⼊感・社会的存在感・演者への興味度(視聴者) - 満⾜度および継続利⽤可能性(視聴者・演者) 16

実験 - 臨場感 n 没入感、社会的存在感、演者への興味度を測るアンケートを作成(5段階) 以下を参考に作成 没入感 ：AIMS(Absorption in Music Scale) [Sandstrom+ 2013] 社会的存在感：TPI(Temple Presence Inventory) [Lombard+ 2009] 演者への興味度：Fanship Scale [Reysen+ 2010] Sandstrom, G. and Russo, F.: Absorption in music: Development of a scale to identify individuals with strong emotional responses to music, Psychology of Music, Vol. 41, pp. 216–228 (online), DOI: 10.1177/0305735611422508 (2013). Lombard, M., Ditton, T. B. and Weinstein, L.: Measuring presence: the temple presence inventory, Proceedings of the 12th annual international workshop on presence, International Society for Presence Research Los Angeles, CA, pp. 1–15 (2009). Reysen, S. and Branscombe, N. R.: Fanship and Fandom: Comparisons between Sport Fans and Non-Sport Fans, Journal of Sport Behavior, Vol. 33, No. 2, pp. 176–193 (2010). 17

実験 - 臨場感 n 満足度および継続利用可能性を測るアンケートを作成(7段階) 以下を参考に作成 ECM(Expectation‒Confirmation Model) [Bhattacherjee 2001] Bhattacherjee, A.: Understanding information systems continuance: An expectation-confirmation model, MIS quarterly, pp. 351–370 (2001). 18

結果(処理時間) ※ p90：全体の90%地点の値 p10：全体の10%地点の値 ○パイプライン全体(意図的遅延5秒を含む) 映像効果 中央値(s) p90(s) 平均(s) 最⼩(s) 最⼤(s) FX：OFF 6.11 6.15 6.11 5.00 9.30 FX：ON 6.53 10.66 7.62 6.04 17.08 ○モジュール別内訳 モジュール 割合(%) ⼈物検出 42.5 映像効果 25.6 エンコード 13.7 デコード 7.2 発⾳タイミング 0.6 動作量 その他 0.0 10.3 19

結果(FPS・フレームドロップ・配信の停止) ○FPS 配信端末 → バックエンドPC 中央値(fps) 平均値(fps) 30.00 29.99 バックエンドPC → YouTube Live ※YouTube Liveへ送出できたフレーム数をカウントしているため 処理速度によっては30fpsを超える場合がある 映像効果 中央値(fps) p10(fps) p90(fps) 平均値(fps) FX：OFF 29.92 29.33 30.81 30.25 FX：ON 29.52 14.41 56.82 29.99 20

結果(FPS・フレームドロップ・配信の停止) ○フレームドロップ FX OFF : ０件 FX ON : 215件（1回目 136 件、2 回目 20 件、3 回目 59 件） ↑映像効果付与，エンコード前 ○配信の停⽌ なし 21

結果(臨場感) ○視聴者 指標 平均 SD 没⼊感 4.00 0.92 社会的存在感 4.53 0.79 演者への興味度 4.14 1.00 全ての評価指標において高い値を得られた 22

結果(満足度および継続利用可能性) ○視聴者 指標 平均 SD 満⾜度 5.02 0.75 継続利⽤意思 4.26 1.50 満足度の値は高いが 継続利用意思は中程度 ○演者 指標 平均 SD 満⾜度 5.42 0.92 継続利⽤意思 5.18 1.35 どちらの指標も値が高く 両者の間に強い正の相関が見られた (Spearmanの ρ = 0.89 p < 0.001) 23

考察 n 映像効果の有無に関わらず平均値・中央値が 10 秒以内であり リアルタイムの要件を満たしている → 本手法はリアルタイムでも運用可能である n 映像効果をONにした際に ・処理時間のp90や最大値の増加 ・FPSのブレとフレームドロップ が見られた n モジュール別では人物検出や映像効果付与が大きな割合を占めている → 人物検出や映像効果付与により一部遅延の増加や追従性の低下が発生 → 演者数などの環境条件により追従性が変わる可能性 24

考察 n 没⼊感・社会的存在感・演者への興味度の全ての指標において 高い値を得られた(視聴者) → 本手法はオンラインライブの臨場感向上に効果的にアプローチできている n 視聴者から，「自分でズーム対象を決めるなどの操作をしたい」 「演奏に関係ない部分にズームされていた」といった意見が得られた → インタラクティブな設計や精度改善をする必要性がある n 演者の満足度・継続利用間に強い正の相関が見られた → 演者にとって「自分（または演者）が強調される」ことの価値が大きい 25

まとめ 背景 ：軽音楽団体での配信の臨場感をリアルタイムで向上させる必要がある 手法 ：リアルタイム映像効果付与をするシステム「OneCamLiveFX」 実験 ：軽音楽団体の実際のライブで現場検証 結果 ：安定した配信が可能だが，一部遅延の増加が見られる 考察 ：インタラクティブな設計や制度改善が必要 26