XR/メディアアート制作を支えるUE5

XR/メディアアート制作を支えるUE5。 東映株式会社ツークン研究所 大谷泰斗

自己紹介 Taito Otani | 大谷泰斗 １９９５年生まれ. 工学修士（メディアサイエンス）. 電子音楽家 / マルチメディアアーティスト / ディレクター 東映株式会社ツークン研究所所属 企画、空間演出、実装開発、音楽制作とかやってます。 最近の活動 『サンリオバーチャルボートライド』演出. 『パルコ　ホリデーシーズンCM』音響デザイン. AMCアワード23受賞. 『Cognition-Recognition』をヘルシンキにて発表. @taito_otani

東映株式会社 ツークン研究所とは？ 東映東京撮影所にあるCG制作・モーションキャプチャスタジオ 機能を持ちながら研究開発を進める部署。2022年よりXRを中心 にしたデジタルコンテンツ制作を実施。 東映ツークン研究所では最新のデジタル技術を応用して、さまざまなサービスの提供 および、新規事業・オリジナルプロジェクトの創出を行なっています。研究開発した 分野についても次々と実用化を試みています。 【近年の制作実績】 映像制作がメイン。Unreal Engine自体は映像制作メインでの利用が多い。

楽しさ = アイディア x 技術 ただし、経費 < (予算-利益) 実際のところ、、 エンタメは予算がない。 技術以下に、楽しさを最大化できるかを考えている。

今回の話。 XR/メディアアート制作を支えるUE5。 限られた予算で、アイディアを最大化するためにUE5はすごくよいツール。 そのユースケースを紹介していきます。 補足）タイトルとして、XR、メディアアート制作としましたが、 「メディアアート」の定義について色々ご意見あるかなと思いつつ、 今回勉強会は、ゲーム業界や映像業界の方が多いのかなと思いまして、 わかりやすさを考慮してつけさせていただきました。

プロジェクションマッピング事例の紹介 『クリスマスプロジェクションマッピングショー』 TheRecordsにて行われたクリスマスマーケットに合わせて制作したプロジェクションマッピングショー。 企画、演出、映像制作を担当。最後はサンタが飛び出すサプライズ演出も含め期間限定で上映した。

• https://docs.google.com/file/d/1cPolSLrhm1TNh5fATLJ-6rBZcKXlFkac/preview

プロジェクションマッピングのパイプライン 相談→ロケハン→施工図面→映像→設営→リハ→本番 企画→取材→申請→ストーリー→配線図→映像調整→送出 測量/図面→演出→機材手配→音響調整→アナウンス 映像制作→機材テスト→設営撤収 音響制作 PR→素材作成→告知→記録→取材対応 文言→ポスタ KV→SNS

企画フェーズ

企画フェーズでのUE5導入のメリット その1 映像を作る以外にやることが多い。橋渡ししてくれる業者ってほとんどいない。 コミュニケーションコストが高い。 →UE5でビジュアライズするだけで話が早くなる。 映像で共有して担当者に見せる。Quest 3を繋げて、 ボタンを押すだけでVRディスプレイになるのもつよい

企画フェーズでのUE5導入のメリット その2 施工図面を描く際に周辺の構造などを含めて設置想定できる。 UE上のシミュレーション 画像マップ 現場でのマッピング UE上で投影シミュレーションを実施して、プロジェクター位置、マッピングテンプレートを作成

映像制作フェーズ

映像制作フェーズでのUEの導入 メリットその1 リアルタイムに完成系プレビューしながら作れる。

映像制作フェーズでのUEの導入 メリットその1 リアルタイムに完成系プレビューしつつ、作れる。 冒頭シーン：二つの光がクリスマスの街へやってくるシーン。

映像制作フェーズでのUEの導入 メリットその2 映像制作パイプライン Blender→UE5(リハ:NDI送受信/本番:MOV)→AE→TouchDesigner→映像機器 TouchDesigner→同期→AbletonLive→照明DMX/音響機器

映像制作フェーズでのUEの導入 メリットその2 本番ぎりぎりまで戻れる。 NDIで映像送受信を行なってカメラシーケンスをすぐにプレビュー

映像制作フェーズでのUEの導入 メリットその2 先ほどの冒頭シーン。建物にそもそもあるロゴとパーティクルが被らないように微調整などが用意

映像制作フェーズでのUEの導入 メリットその3 VR環境で映像をチェック&フィードバックできる。 下から煽りで見たり、子供目線で映像歪み具合をチェックしながら作れる。

映像制作フェーズでのUEの導入 メリット4 レンダークオリティーレンダリングが早い。 →ロケハンは3月、8月が本番みたいな案件での話 3月：ここに置けばいっか！ 8月：草だらけ カメラ位置を直してレンダー全部やり直し

映像制作フェーズでのUEの導入 メリット5 PR用素材をそのまま渡せる。 企画スタートするのと本番日がずれるはなく、 とにかく時間がないので、制作過程がそのまま クライアントチェックにもなり、完成イメージとしても提示できるのは地味に嬉しい。

デメリット

映像制作フェーズでのUEの導入 デメリット1 UEだけでモーショングラフィックス的な表現が得意じゃない？ →昨年モーションデザインが追加された。 忙しい人のための「Motion Designの使い方」 株式会社Leon Gamworks 遠藤 俊太 遠藤さんのTips集 https://www.docswell.com/s/leon-gamworks/KXYMR3-2024-07-08-201243

映像制作フェーズでのUEの導入 デメリット2 ゲーミングPCじゃないとまともに動かない。。。 →現場だと消費電源の制約があることがおおい。 →搬入が重い！！ →リモート&スターリンク！？

XRショー（小劇） XRショー『だだんちょうと時間旅行』を企画、制作、演出を担当。 プロジェクションマッピングに合わせて俳優が演技しながら展開されるドタバタコメディーショー。

インタラクティブ塗り絵 植物博士『牧野富太郎』にインスパイアされた色塗りをした植物がバーチャル空間に咲く インタラクティブアート作品。企画、制作、開発を担当。

ナイトウォーク デバイスに載ったり叩いたり、リズムを合わせると花が咲く インタラクティブインスタレーション作品。企画開発施工まで担当。

ご清聴ありがとうございました。