txt：小林基己　構成･写真･動画：編集部

ソニーPCLの本社1Fにリアルタイムエンジンを活用したバーチャルプロダクション・ラボを設置

取材で伺ったソニーピーシーエル（以下：ソニーPCL）のラボだが、かねてより興味を持っており、設置当初に個人的に伺ってから今回で三度目の訪問になる。その度ごとにちょっとずつ変化を経て、ハードウェア、ソフトウェア両面で進化を続けている。

始まりはCES2020でソニーがCrystal LEDディスプレイシステム（以下：Crystal LED）とソフトウェアのAtomViewをフィーチャーしたバーチャルプロダクションソリューションを発表したことだろう。米国カルバーシティにあるソニー・ピクチャーズ エンタテインメントのスタジオの一部を映し出したCrystal LEDを背景に、映画「ゴーストバスターズ」で大活躍した主人公たちが乗る車両「Ecto-1」が置かれた展示は、自分たちのようなアラフィフ世代にはソニーの次世代モビリティVISION-Sにも負けない輝きを放っていた！

しかもソニーのCineAltaカメラVENICEの動きに合わせて背景に映し出される立体的な街並みのパースが変化し、まさにロケ撮影のように見える映像は、これからの映像の可能性にときめかずにいられなかった。

このシステムをベースに⽇本ではソニーPCLが株式会社スタジオブロスおよび株式会社モデリングブロスという2社と共同でソリューション開発を進めていることを聞きつけ、いち早く見学させてもらった。それから数か月後、取材で伺うことが出来た。

ソニーPCL本社1Fにメインスクリーンとしてサイズ約5K相当/ピッチサイズ1.26mmのCrystalLED、左側の壁面にも環境光＆映り込み用としてピッチサイズ1.9mmの横幅4m程度の小さめに組まれた別メーカーのLEDを配置し、スクリーン下ぴったり合わせられたステージの上に置かれたカメラはソニーのVENICE、レンズはAngénieux Optimoというハイエンドな組み合わせ。カメラの位置とレンズの情報はMo-Sys社のStarTrackerを採用していた。

カメラの動きに合わせた奥行きのある世界観に驚き

このラボは基本的にスタジオ業務は行なっておらず、文字通り実験の場であり、ショールームであって、バーチャルプロダクションという撮影方法の普及の最前線に位置していると感じた。

LEDスクリーンを使ったバーチャルプロダクションは出演者の立っている実際のステージとスクリーンに映し出された地平とがシームレスにつながるということが醍醐味だ。

ソニーPCLのラボはその部分にも⼒を⼊れておりLEDスクリーンの高さは低いものの横幅は約6m程度という長さとスクリーン下端ぴったりに合わせたステージを活かして
足元までフレーミングできる状況を作っている。ただ、これをシンクロさせるとなると技術的なハードルは当然上がってくるが、ソニーPCLとブロスグループのチームはそれを見事に解決していた。

特に最近オリジナルで制作したという空港を使った背景は、ステージ上に置かれた椅子と背景のパースが違和感無く繋がっていく映像には驚かされた。

バーチャルプロダクションシステムは簡単に言ってしまえば「騙し絵」である。トリックアートなどで指定のカメラ位置から撮るとあたかも崖の端から今にも落ちんばかりのように見えるというアレである。それをカメラ位置が変わるごとにそのカメラ位置にピタリと合わせた実写さながらの映像を3DCGで描き出すことで動画に対応してるわけだ。

そういうわけで傍から見れば平面に映し出されている映像に見えるにもかかわらず、カメラから見ればずっと奥に広がる世界を表現できる。3m×6mの背景があるというより、その大きさの窓があり、その向こうの世界が広がってると考えてもらうと分かりやすい。

カメラがどこの位置にあって、どの方向を向いているか？レンズの焦点距離やフォーカスなどの情報をMo-Sys社のStarTrackerが集積し、Unreal Engineというゲームエンジンに送られる。リアルに存在するカメラのフォーカスを奥に送れば背景の映像はシャープになり、手前の被写体に送れば、その時の絞り値に即したボケ味が表現される。

LEDスクリーンでよく懸念される、スクリーン自体にピントを合わせた時のモアレなども今回のデモ中は気にならなかった。スクリーンに対してカメラ位置が斜めに⼊ったときでも通常のLEDだと正常な色が表現されなかったりするのだが、Crystal LEDはそんな時でも正面時とあまり変わらない色味とコントラストを実現していた。

ソニーPCLで採用されているのは反射防止が施されていないタイプのCrystal LEDだが、撮影用LEDスクリーンとしてはソニーが今年の夏発売予定の低反射コーティングが施されたタイプのCrystal LED Bシリーズというものの方が適してると思われる。ライティングの自由度も高くなり、バーチャルスタジオ用途のLEDスクリーンとして期待できそうだ。

左側に配置されているLEDスクリーンは環境光と反射物やグラスなどのレンズ効果のある透過物の映り込み用のものだ。因みに「マンダロリアン」で使われていた特設スタジオ「Volume」は約270°円周状に囲い込み、天井までをもLEDスクリーンで覆った舞台で撮影されていた。その制作裏舞台の映像のインパクトは凄まじく、バーチャルプロダクションというシステムに世界が興味を示した。しかし、そこまで環境を整備するとなると莫大なコストがかかってくる。

ソニーPCLの左側⼀面だけLEDスクリーンにするという試みは、それが実際コストに見合うだけの効果を発揮するものなのか？今までのような照明で表現することと何が違うのかということを検証するには最適な試みのように感じる。

実際にフォトリアルにレンダリングされる部分はカメラに写る画角内だけで、その外側はカメラの動きと連動しない環境マッピングに近い役割を果たす。

スクリーン全体ではなく映る範囲内だけをリアルタイムレンダリングするのには訳がある。フォトリアルな3D映像を、被写体の動きに合わせてほとんど遅延無く描き出すには、かなりのマシンパワーを必要とする。少しでも処理の時間を少なくする配慮で、撮影範囲外は処理負担の少ない映像になっている。

背景環境は3つの方法で対応可能

さて、グリーンバックなどの合成撮影に比べてポスプロ作業がシンプルになるバーチャルプロダクションシステムだが、撮影前に3Dで背景環境を用意しておかなければならないというのが、制作過程において一つのハードルになる。

ソニーPCLはこれに関しても、現時点では3つの方法を提案している。

一つ目はスタンダードな3Dモデリングされた背景を用意するということだ。これは既存のアセットを流用するという方法もあるが、企画のために新たに制作する場合はその期間と制作費が必要である。看板に囲まれた夜の繁華街の背景などはこの方法で作られている。仕込みの時間と費用は掛かるが、照明もカメラ位置も自由度が高く、撮影の状況に合わせて背景を変えることも思いのままだ。時間帯も自由に選べれば、架空の場所も創り出せる。

もう⼀つはLiDARなどを利用した点群と呼ばれる立体情報も含めた画像を収録する方法。これは実際にロケ地に行って、少人数ではあるものの景観のデータを撮影する必要があるが、モデリングの時間は大幅に短縮される。撮ったままの状態だと点群という言葉が示すように点描画のような状態だが、AtomViewのようなソフトウェアを使用することで、インタラクティブな動きを実現する高精細な背景アセットにすることができる。

前述した空港のバーチャルセットも実際に撮影した点群画像をベースにしている。ソニー・吉田憲⼀郎 会長 兼 社長 CEOのあたかもロスアンゼルスにあるソニー・ピクチャーズ エンタテインメントの敷地内で会見したような映像も現地の点群画像を送ってもらい東京で撮影を行っている。このように実際にモデリングという作業無しでも3D背景素材を作成することも可能だ。

3つ目はフォトグラメトリの技術を応用したもので、サンプルで見せてもらった小道はたった3枚の写真を組み合わせることで疑似立体を作り出している。これなら撮影予定地に一人で行って素材を収集することも可能だ。

3枚の写真を組み合わせて実現したフォトグラメトリの例

ただ、この場合は写真撮影時の天候などは変えられないのと、基本位置に対してちょっとした回り込みなどには対応できるが、大きな動きは難しい。とはいえ、手軽にテクスチャ付き3Dモデル生成するのには長けており、バーチャルプロダクションの敷居を低くするのに一役買っている。

それぞれに長短あるので、制作案件によって判断した方が良いだろう。そんな時にソニーPCLのように多岐にわたって、このソリューションを追及している場所があるというのは心強い。

このバーチャルプロダクションという撮影方法は、言葉や写真では表現しづらい。しかも、今まで見たことの無い映像を見せることが出来るわけでもなければ、大幅なコストダウンが望めるわけでもない。

どれだけ違和感の無い映像を作り上げることが出来るかに技術の粋を尽くしている。というわけで「まるでロケかと思った！」というのがこの撮影方法の終着点だ。

それならロケにすれば良いんじゃ？と思う人もいるだろう。ただ、完璧なロケ撮影というのは限られた時間、移動距離、許可、出演者のケアなど多くの難題をクリアしなくてはならない、そして結局、最後には天候を神だのみという贅沢な撮影なのだ。それを考えるとバーチャルプロダクションを通常のロケの選択肢の⼀つに加えても良いのではないだろうか？

ソニーPCLとブロスグループで作り上げられたラボはまだ業界全体で手探り状態のxR技術を使ったソリューションを先人きって切り開いていく実験室のような存在だ。ここで何ができるかということも重要だが、それ以上にこのラボで培った技術を活かして今後の映像文化にどうやって貢献できるかということを念頭に⼊れてソリューション開発を進めている。

リアルタイムレンダリングのここ数年の進化は凄まじく、近い将来、このバーチャルプロダクションはスタンダードな撮影方法の⼀つとして定着していくように感じる。そのうちプロデューサーが「今度のスタジオ、LED無いところしか抑えられなかったんですけど大丈夫ですか？」とか、当たり前に話す時代もそんな遠くないかもしれない。

txt：小林基己　構成･写真･動画：編集部