Vol.03 ソニーPCLはバーチャルプロダクション・ラボを進化させ続ける
2021-03-11 掲載

txt:小林基己 構成・写真・動画:編集部
ソニーPCLの本社1Fにリアルタイムエンジンを活用したバーチャルプロダクション・ラボを設置
取材で伺ったソニーピーシーエル(以下:ソニーPCL)のラボだが、かねてより興味を持っており、設置当初に個人的に伺ってから今回で三度目の訪問になる。その度ごとにちょっとずつ変化を経て、ハードウェア、ソフトウェア両面で進化を続けている。
始まりはCES2020でソニーがCrystal LEDディスプレイシステム(以下:Crystal LED)とソフトウェアのAtomViewをフィーチャーしたバーチャルプロダクションソリューションを発表したことだろう。米国カルバーシティにあるソニー・ピクチャーズ エンタテインメントのスタジオの一部を映し出したCrystal LEDを背景に、映画「ゴーストバスターズ」で大活躍した主人公たちが乗る車両「Ecto-1」が置かれた展示は、自分たちのようなアラフィフ世代にはソニーの次世代モビリティVISION-Sにも負けない輝きを放っていた!
しかもソニーのCineAltaカメラVENICEの動きに合わせて背景に映し出される立体的な街並みのパースが変化し、まさにロケ撮影のように見える映像は、これからの映像の可能性にときめかずにいられなかった。
このシステムをベースに⽇本ではソニーPCLが株式会社スタジオブロスおよび株式会社モデリングブロスという2社と共同でソリューション開発を進めていることを聞きつけ、いち早く見学させてもらった。それから数か月後、取材で伺うことが出来た。
ソニーPCL本社1Fにメインスクリーンとしてサイズ約5K相当/ピッチサイズ1.26mmのCrystalLED、左側の壁面にも環境光&映り込み用としてピッチサイズ1.9mmの横幅4m程度の小さめに組まれた別メーカーのLEDを配置し、スクリーン下ぴったり合わせられたステージの上に置かれたカメラはソニーのVENICE、レンズはAngénieux Optimoというハイエンドな組み合わせ。カメラの位置とレンズの情報はMo-Sys社のStarTrackerを採用していた。


カメラの動きに合わせた奥行きのある世界観に驚き
このラボは基本的にスタジオ業務は行なっておらず、文字通り実験の場であり、ショールームであって、バーチャルプロダクションという撮影方法の普及の最前線に位置していると感じた。
LEDスクリーンを使ったバーチャルプロダクションは出演者の立っている実際のステージとスクリーンに映し出された地平とがシームレスにつながるということが醍醐味だ。
ソニーPCLのラボはその部分にも⼒を⼊れておりLEDスクリーンの高さは低いものの横幅は約6m程度という長さとスクリーン下端ぴったりに合わせたステージを活かして 足元までフレーミングできる状況を作っている。ただ、これをシンクロさせるとなると技術的なハードルは当然上がってくるが、ソニーPCLとブロスグループのチームはそれを見事に解決していた。
特に最近オリジナルで制作したという空港を使った背景は、ステージ上に置かれた椅子と背景のパースが違和感無く繋がっていく映像には驚かされた。
バーチャルプロダクションシステムは簡単に言ってしまえば「騙し絵」である。トリックアートなどで指定のカメラ位置から撮るとあたかも崖の端から今にも落ちんばかりのように見えるというアレである。それをカメラ位置が変わるごとにそのカメラ位置にピタリと合わせた実写さながらの映像を3DCGで描き出すことで動画に対応してるわけだ。
そういうわけで傍から見れば平面に映し出されている映像に見えるにもかかわらず、カメラから見ればずっと奥に広がる世界を表現できる。3m×6mの背景があるというより、その大きさの窓があり、その向こうの世界が広がってると考えてもらうと分かりやすい。
カメラがどこの位置にあって、どの方向を向いているか?レンズの焦点距離やフォーカスなどの情報をMo-Sys社のStarTrackerが集積し、Unreal Engineというゲームエンジンに送られる。リアルに存在するカメラのフォーカスを奥に送れば背景の映像はシャープになり、手前の被写体に送れば、その時の絞り値に即したボケ味が表現される。


LEDスクリーンでよく懸念される、スクリーン自体にピントを合わせた時のモアレなども今回のデモ中は気にならなかった。スクリーンに対してカメラ位置が斜めに⼊ったときでも通常のLEDだと正常な色が表現されなかったりするのだが、Crystal LEDはそんな時でも正面時とあまり変わらない色味とコントラストを実現していた。
ソニーPCLで採用されているのは反射防止が施されていないタイプのCrystal LEDだが、撮影用LEDスクリーンとしてはソニーが今年の夏発売予定の低反射コーティングが施されたタイプのCrystal LED Bシリーズというものの方が適してると思われる。ライティングの自由度も高くなり、バーチャルスタジオ用途のLEDスクリーンとして期待できそうだ。
左側に配置されているLEDスクリーンは環境光と反射物やグラスなどのレンズ効果のある透過物の映り込み用のものだ。因みに「マンダロリアン」で使われていた特設スタジオ「Volume」は約270°円周状に囲い込み、天井までをもLEDスクリーンで覆った舞台で撮影されていた。その制作裏舞台の映像のインパクトは凄まじく、バーチャルプロダクションというシステムに世界が興味を示した。しかし、そこまで環境を整備するとなると莫大なコストがかかってくる。


ソニーPCLの左側⼀面だけLEDスクリーンにするという試みは、それが実際コストに見合うだけの効果を発揮するものなのか?今までのような照明で表現することと何が違うのかということを検証するには最適な試みのように感じる。
実際にフォトリアルにレンダリングされる部分はカメラに写る画角内だけで、その外側はカメラの動きと連動しない環境マッピングに近い役割を果たす。
スクリーン全体ではなく映る範囲内だけをリアルタイムレンダリングするのには訳がある。フォトリアルな3D映像を、被写体の動きに合わせてほとんど遅延無く描き出すには、かなりのマシンパワーを必要とする。少しでも処理の時間を少なくする配慮で、撮影範囲外は処理負担の少ない映像になっている。
背景環境は3つの方法で対応可能
さて、グリーンバックなどの合成撮影に比べてポスプロ作業がシンプルになるバーチャルプロダクションシステムだが、撮影前に3Dで背景環境を用意しておかなければならないというのが、制作過程において一つのハードルになる。
ソニーPCLはこれに関しても、現時点では3つの方法を提案している。
一つ目はスタンダードな3Dモデリングされた背景を用意するということだ。これは既存のアセットを流用するという方法もあるが、企画のために新たに制作する場合はその期間と制作費が必要である。看板に囲まれた夜の繁華街の背景などはこの方法で作られている。仕込みの時間と費用は掛かるが、照明もカメラ位置も自由度が高く、撮影の状況に合わせて背景を変えることも思いのままだ。時間帯も自由に選べれば、架空の場所も創り出せる。
もう⼀つはLiDARなどを利用した点群と呼ばれる立体情報も含めた画像を収録する方法。これは実際にロケ地に行って、少人数ではあるものの景観のデータを撮影する必要があるが、モデリングの時間は大幅に短縮される。撮ったままの状態だと点群という言葉が示すように点描画のような状態だが、AtomViewのようなソフトウェアを使用することで、インタラクティブな動きを実現する高精細な背景アセットにすることができる。

前述した空港のバーチャルセットも実際に撮影した点群画像をベースにしている。ソニー・吉田憲⼀郎 会長 兼 社長 CEOのあたかもロスアンゼルスにあるソニー・ピクチャーズ エンタテインメントの敷地内で会見したような映像も現地の点群画像を送ってもらい東京で撮影を行っている。このように実際にモデリングという作業無しでも3D背景素材を作成することも可能だ。
3つ目はフォトグラメトリの技術を応用したもので、サンプルで見せてもらった小道はたった3枚の写真を組み合わせることで疑似立体を作り出している。これなら撮影予定地に一人で行って素材を収集することも可能だ。
3枚の写真を組み合わせて実現したフォトグラメトリの例
ただ、この場合は写真撮影時の天候などは変えられないのと、基本位置に対してちょっとした回り込みなどには対応できるが、大きな動きは難しい。とはいえ、手軽にテクスチャ付き3Dモデル生成するのには長けており、バーチャルプロダクションの敷居を低くするのに一役買っている。
それぞれに長短あるので、制作案件によって判断した方が良いだろう。そんな時にソニーPCLのように多岐にわたって、このソリューションを追及している場所があるというのは心強い。
このバーチャルプロダクションという撮影方法は、言葉や写真では表現しづらい。しかも、今まで見たことの無い映像を見せることが出来るわけでもなければ、大幅なコストダウンが望めるわけでもない。
どれだけ違和感の無い映像を作り上げることが出来るかに技術の粋を尽くしている。というわけで「まるでロケかと思った!」というのがこの撮影方法の終着点だ。
それならロケにすれば良いんじゃ?と思う人もいるだろう。ただ、完璧なロケ撮影というのは限られた時間、移動距離、許可、出演者のケアなど多くの難題をクリアしなくてはならない、そして結局、最後には天候を神だのみという贅沢な撮影なのだ。それを考えるとバーチャルプロダクションを通常のロケの選択肢の⼀つに加えても良いのではないだろうか?
ソニーPCLとブロスグループで作り上げられたラボはまだ業界全体で手探り状態のxR技術を使ったソリューションを先人きって切り開いていく実験室のような存在だ。ここで何ができるかということも重要だが、それ以上にこのラボで培った技術を活かして今後の映像文化にどうやって貢献できるかということを念頭に⼊れてソリューション開発を進めている。
リアルタイムレンダリングのここ数年の進化は凄まじく、近い将来、このバーチャルプロダクションはスタンダードな撮影方法の⼀つとして定着していくように感じる。そのうちプロデューサーが「今度のスタジオ、LED無いところしか抑えられなかったんですけど大丈夫ですか?」とか、当たり前に話す時代もそんな遠くないかもしれない。
txt:小林基己 構成・写真・動画:編集部
小林基己
MVの撮影監督としてキャリアをスタートし、スピッツ、ウルフルズ、椎名林檎、リップスライム、SEKAI NO OWARI、欅坂46、などを手掛ける。映画「夜のピクニック」「パンドラの匣」他、ドラマ「素敵な選TAXI」他、2017年NHK紅白歌合戦のグランドオープニングの撮影などジャンルを超えて活躍。noteで不定期にコラム掲載。
[ Category : SPECIAL, 小林基己 ]
[ DATE : 2021-03-11 ]
[ TAG : ソニーPCL Virtual Production Field Guide]
この記事に関連する記事一覧
![]() |
Vol.06 ディオライト×セカンドステージ。LEDパネルの大きさを武器に車両走行シーンに力を発揮[Virtual Production Field Guide]txt:小林基己 構成:編集部 運行中の車内を5面LEDスクリーンで再現 今回の特集でバーチャルプロダクションをいくつか取材してきたが、大型LEDスクリーンのスタジ... 続きを読む |
![]() |
Vol.05 東映ツークン研究所リアルタイム合成システム「LiveZ」視察。モーショントラックとディープラーニングで生み出す未来[Virtual Production Field Guide]txt:小林基己 構成・写真・動画:編集部 背景不要なシステムリアルタイム合成システムを実現 名前が示す通り東映ツークン研究所は、東映大泉撮影所内に作られた... 続きを読む |
![]() |
Vol.04 バーチャル・ライン・スタジオは広さと経験を活かし、新しいビジョンを構築する[Virtual Production Field Guide]txt:小林基己 構成:編集部 150坪スタジオ内に約50坪グリーンバックステージを備えた日本最大規模の合成専用スタジオ 日活調布撮影所の中に存在するバーチャル・ラ... 続きを読む |
![]() |
[Virtual Production Field Guide]Vol.02 桐島ローランド氏インタビュー。フォトリアルなアバターとバーチャルスタジオを融合させた動画広告の未来とは?txt:小林基己 構成:編集部 CyberHuman Productions取締役でフォトグラファーとしても有名な桐島ローランド氏にバーチャルスタジオを使った今後の展開を聞く... 続きを読む |
![]() |
[Virtual Production Field Guide]Vol.01 サイバーエージェントのバーチャルLEDスタジオに見る次世代撮影スタイルtxt:小林基己 構成:編集部 LEDウォール+囲むように設置されたLED照明でシーンのライティングを再現 2020年11月、サイバーエージェントとCyberHum... 続きを読む |
![]() |
[Virtual Production Field Guide]Vol.00 映像業界の新しいトレンド「バーチャルプロダクション」を探るtxt・構成:編集部 国内バーチャルプロダクション対応のスタジオを訪問 バーチャルプロダクションとは、あたかも目的のロケーションで撮影したかのような映像を作り出せる技術... 続きを読む |
特集記事
![]() |
ARRI, my love 映画機材界の雄であるARRI。日本での販売拡大に注目されるARRIの歴史から実用例までフィーチャーする。 |
![]() |
SXSW2021 3/16~20日にオンライン開催となった「SXSW2021」をレポートする。 |
![]() |
Virtual Production Field Guide 国内のバーチャルプロダクションの展開と、映像制作ワークフローへの影響について紹介 |
![]() |
CP+2021 オンライン開催のCP+2021で発表された新製品をレポート。 |
![]() |
新世紀シネマレンズ漂流:NewTrend 2021編 2020年末から2021年に発売されたレンズ新製品をピックアップする。 |
![]() |
映像基礎講座 Episode 2 2020年8月に公開された特集「映像基礎講座」続編。引き続き映像の基本や基礎知識を学ぶ。 |
![]() |
CES2021 オールデジタルのオンライン開催となったCES2021をレポートする。 |
![]() |
年末イッキ読み! 2020年に話題になった製品の特集やコラム記事をまとめて振り返る。 |
![]() |
PRONEWS AWARD 2020 激動の1年となった2020年の映像業界を、PRONEWS編集部が総括する。 |
![]() |
再現:Inter BEE 2020-Web Trade Show- 11月18日(水)からオンライン開催されるInterBEEを解説する。 |
![]() |
ぼくらのEDIUS X 約3年ぶりのメジャーバージョンアップとなる「EDIUS X」の魅力を紹介。 |
![]() |
Broadcast & Cinema EXPO 2020 映像制作者、映像業界関係者向け情報イベント配信番組。 |
![]() |
ATEM WORLD ラインナップ充実のATEM Miniシリーズの選び方や使いこなしをご紹介。 |
![]() |
SIGGRAPH2020 オンライン開催されたVFXの祭典・SIGGRAPH2020をレポート。 |
![]() |
映像基礎講座 映像の基本や基礎知識を学ぶ。映像制作初心者はもちろん、熟練者ももう一度初心に立ち返ろう。 |