「良いVR体験ってなんだろう？」Apple Vision Proで探る映像の可能性｜研究開発インタビュー (前編)

P.I.C.S.で手掛けるプロジェクトや働くメンバーのバックグラウンドを掘り下げるP.I.C.S. CASE STUDY。
空間そのものをスクリーンに変えるデバイス、Apple Vision Pro※の登場を機に、これからの映像体験の可能性は大きく広がろうとしています。P.I.C.S.はホールディングカンパニーである株式会社IMAGICA GROUPとの連携のもと、Apple Vision Proを活用したリアルタイムビジュアル表現の研究開発をスタートしました。前編では、このプロジェクトのメンバーであるコンセント 渡邊課・渡邊徹氏、P.I.C.S.・山内康太、P.I.C.S. TECH・上野陸3名の鼎談を通じて、本プロジェクトについて深掘りします。
本インタビューは、Apple Vision Proの通話機能「Persona（ペルソナ）」を用いて、3Dアバターを空間表示させながら行われました。
※Apple Vision Proとは…Appleが開発した、現実世界とデジタル情報を融合させる、新しいタイプのゴーグル型空間コンピュータ

――開発プロジェクトが始まった経緯について教えてください。
山内：スタートは、2024年の7月に初めてApple Vision Proを体験したことでした。最初は「日経空間版※」アプリに衝撃を受け、その後にイマーシブビデオを見て「これから映像の形は変わっていくんだ」と強く感動したんです。そこから「Apple Vision Proで何か面白いことをしたい」という想いが生まれ、会社でデバイスを購入し、IMAGICA GROUPとの共同研究としてプロトタイプ開発が始まりました。社内では上野さんがVRの知識も豊富なため、テクニカルディレクターとして参加してもらいました。渡邊課の渡邊さんにご相談したのは2024年の9月頃でしたね。
※日経空間版…日本経済新聞社提供、Apple Vision Pro向け「日経空間版」アプリ

渡邊：P.I.C.S.さんとは10年ほど前から、ビジネス案件というより「こんな新しいカメラがあるんだけど、ドローンに乗せてみない？」といったような、ラフな実験の延長でお付き合いがありました。今回お話をいただいた時、私たちも長年VR映像を制作してきた中で、Apple Vision Proで何ができるかを考え始めていた時期だったので、完成品を目指すというより「お互いの知見を持ち寄って、どんな面白いことができるだろう」という柔軟なスタンスでスタートできました。

山内：誰が何を担当するといった事は明確に分けず、企画については全員でアイデアを出し合いました。自主的な開発案件なので、CMやMV制作のように明確な作品テーマはなく、何を作るかというテーマ設定に一番時間がかかったと記憶しています。年内は全く決まらなかったです。「新しい技術やAIを活用して映像制作する」というお題だけはあったので、まずは「Apple Vision Proならではの映像表現とは何か」「イマーシブビデオやVR180※と言われる映像で何が効果的なのか」を探るために、技術的な側面からアプローチすることにしました。
※VR180…Googleが提唱したVR(仮想現実)コンテンツの規格の一つで、前方180度の範囲を立体視で体験できる動画や写真

上野：検証ではイマーシブビデオ用のカメラではなく360度カメラを使って撮影したものをイマーシブ用に変換してみたり、単眼(片目)の180度映像からAIで奥行きを検知して視差をつけ、両目用の立体映像を生成したりしました。昔からVR映像やイマーシブビデオってあったのですがApple Vision ProやAIの登場によって今まで出来なかったことができるようになっているよね、という事を探していたように思います。新しい挑戦をする上で、渡邊さんのように長年VRに携わってきた方がいると、「これまで出来なかったこと」との差分が明確になり、非常に進めやすかったですね。

——作品の方向性はどのように固まっていったのでしょうか？
渡邊：年内はずっとブレストしていましたが、早い段階で「光」というキーワードが挙がっていました。Apple Vision Proは解像度が非常に高く表現力が格段に上がったため、光と闇の対比を表現できるようになったと感じていたからです。VRカメラはパンやチルトといった視点を大きく動かす撮影に基本的には向いていないので、カメラは固定したままスモークやレーザービーム、光の筋といった「空間を通過していくもの」を捉えることで、視聴者に効果的な体感を与えられるのではないかと考えました。VRコンテンツの中でも、例えば人が近づいてくるだったり、ものが迫ってくるといった映像はかなり体感を伴うものなんです。4DXのように直接的な刺激がなくても、第六感に近い感覚で「自分に当たっているかもしれない」と錯覚し、思わず体が反応してしまう様なイメージ。今回は空間の中でどう光を体感させるのか？を考えました。

山内：一度、実験のためにコンセントさんのもつコミュニケーションスペースamuにお邪魔してスモークを焚きながらプロジェクターを投影してみたりしました。プロジェクターはスモークとは対面に設置し、スモークと光の間に人を立たせて撮影してみたんです。プロジェクターから投影する映像が変わる事で体感が変わるのかどうかテストをしたりもしました。光・光線・水面・ロケット花火・長時間露光・スモーク・レーザーなどのキーワードが挙がり、方向性がまとまっていった感じです。

渡邊：具体的に撮影してみようとなったのが2024年12月の寒い日でした。まずは屋外で撮影。夕方ロケハンに行って夜撮影しました。夜の森でスモークを焚いてライトをつけて。

上野：スポットライトを手動でオンオフしたり、照明を担いで走り回ったりして効果のある照明を検証しましたね。手前に落ちている影が自分の体を通過する体感は作れないか？とか。動くはずのない木が照明効果によって迫ってきたり下がったり見えるのではないか？とコマ撮りのように撮影してみたりもしました。

山内：車での撮影もしましたね。1日目は夜に、渋谷の繁華街、六本木など2〜3時間ぐらい走り、翌日は日中に都内の道路や工業地帯の方で撮影。VR映像はセオリー的には固定して撮影するのですが、今回はカメラを正対ではなく上に向けて撮影したりもしました。普通なら酔ってしまう撮影手法なのですが、結構面白い絵が撮れたりして。

渡邊：酔うか酔わないかのぎりぎりのラインを狙って撮影しましたね。現実世界をコントロールするのは難しいけど、撮影側がコントロールする事で新しい体感を作れないかな？という点でトライできた感じですね。

山内：その後は、スモークやレーザーを試そうとなり、スタジオでも撮影しました。普段P.I.C.S.でもお世話になっているアカリセンター・森さんと、オフィスドゥーイング・平井さんにもご協力いただいて、レーザーや多彩な照明機材を大量に持ち込んでいただいての検証でした。スタジオ全体のライティングやレーザーの調整をメインにお願いしていましたが、答えのない撮影だったのでアイデアを出してもらいながら実験的に動かしてもらいました。

渡邊：光をテーマに置いていたのでミラーボールが動いている絵が面白いのでは？となり、ミラーボールの破片を貼り付けた衣装を着たダンサーを呼んで踊ってもらったりもしました。とりあえず面白い動きをたくさん撮影しておこうと。ダンサーを綺麗に撮るのが目的ではなく光が主役なので、光がダンサーに反射したり、見ている人に向かってきて体を通過したりすることで生まれる有機的な動きや現象を、VJのように多種多様な素材として撮影していきました。

上野：撮影中のカメラに映っている映像を見るだけではどんな映像になるかあまりイメージ出来ないのが難しい部分でもありました。魚眼レンズでの撮影なので、周辺部分はグニャッと曲っているんです。それを正距円筒図法※に変換して特殊な地図のようにするのですが、モニターで見えている映像を見て、VRゴーグル内でどう見えるのかを理解するのが難しい。想像しながら撮影しなくてはいけないので画角の考え方も色々試しながら撮影しました。
※正距円筒図法(せいきょえんとうずほう)…地図投影法の一種。緯線と経線をそれぞれ縦と横の直線で表し、緯度と経度の間隔が一定になるように地球を平面に写し取る方法

山内：そういった意味ではクライアントワークだと自分たちがやりたい事や、まだ挑戦したことのない表現や手法が試せなかったりするので、せっかくの機会に色々粘ってトライしましたね。ブレストで出たアイデアの中で実現可能な事は全て試せたのではと思います。

渡邊：撮影は実験的で本当に楽しかったですね。そこにいた全員がアイデアを出して楽しんで参加してくれたので。編集作業が…本当に大変でした(笑)。今回は8K/60P※という高解像度のRAWデータで撮影したため、データが非常に重く、編集ソフトでプレビューするのもままならない状態でした。 特に大変だったのがノイズ処理です。VRやイマーシブビデオでは、左右の目で見る映像のノイズがバラバラだと、立体感が大きく損なわれてしまいます。ノイズは「味」にならず天敵なんです。そのため、1カットずつ非常に時間のかかるノイズリダクション処理が必要で、レンダリングだけで十数時間かかることもザラでした。書き出してはVision Proで確認し、また修正する…という地道な作業の繰り返しでしたね。ただ、現場では想像してなかった発見もあって。編集で別々に撮影した素材を重ね合わせると、不思議な立体感が生まれることが分かったんです。それぞれのレイヤーが違うタイミングで、違う奥行きを持って動くことで面白い映像体験が作れそうだなと。
こうして3月末に完パケしたのですが、一本のまとまった作品というよりは、様々な実験から生まれたエッセンスが詰まったヒント集のようなものになったので、タイトルも『没入型映像演出考』としました。”まだ考え中です”という意味合いでもあります(笑)。
※解像度とフレームレート

山内：先日、株式会社サイバーエージェントさんとご一緒しているイベント「Spatial Xperience Night Vol3」にて、参加した方にデモ体験をしていただきました。イベントには普段からVR映像やイマーシブ映像に慣れている人が参加するので、リアクションやフィードバックをたくさんもらえて、ちゃんと作れたなと手応えはありました。今回の映像は、どちらかというと酔いやすいエフェクトを結構加えているので、より「体感」を作る事ができて、視覚と聴覚をハックするという意味では狙いが果たせたのかなと思います。その反面、少し刺激の強い作品ではあるので、イマーシブビデオに慣れていない人に見せた時に「思っていたのとちょっと違う」となる可能性もあります。

渡邊：今回はこういった形で検証しながらでしたけど、ここで得た知見を活かして、次回はバンドのパフォーマンスやダンスパフォーマンス演出を入れてやってみるなど、考え方を変えれば違う面白いものが作れるかもしれないですね。

山内：まさに「演出考」なので、今までのエッセンスを取り入れてマスに向けたものを作ったり、今まで撮影した素材と組み合わせて演出をよくしてく、といった事ができると良いですね。参考のネタになるといいのかな？と。

渡邊：この作品はイマーシブビデオの配信プラットフォームに載せて公開することで、我々だけのノウハウにせず、業界内で広く共有できたらいいなと思っています。この作品をきっかけにネットワークが広がったり意見交換したり、新たな表現のきっかけになればと考えています。

『没入型映像演出考』
クレジット
Cast :MOMOCO + charlie
VR DIRECTOR :渡邊 徹(Concent, Inc.)
TECHNICAL DIRECTOR :上野x陸(P.I.C.S. TECH)
ASSISTANT DIRECTOR :森田 侑作(Concent, Inc.) + 岩見 祥汰(Concent, Inc.) + 細野 二郎(Concent, Inc.)
Lighting Director :平井 達也(OFFICE DOING)
Lighting Assistant :須藤 美咲(OFFICE DOING)
Laser Operator :森 昂平(AKARI CENTER)
Laser Operate Assistant :吉田 敦(AKARI CENTER) + 加藤 立樹(AKARI CENTER)
STUDIO ASSISTANT :市川 遼(STUDIO DOLLUP)
DRIVER :小池 洋司
MUSIC :Ruka Ohta
PRODUCER :山内 康太(P.I.C.S.)
PRODUCTION MANAGER :森 慶太

後編に続く。

文：P.I.C.S.