リアルタイムCG+バーチャルプロダクションの制作手法を検証

バーチャルプロダクションというジャンルは多種多様な技術の集合だ。特に大型LEDディスプレイを使ったインカメラVFXにおいてはLEDパネルの知識、システムプログラミング、CG制作、従来の撮影技術と全てにおいて専門的に深い知識が必要になり、それらが撮影の現場に集約されるという特殊なジャンルである。

今回はLEDディスプレイの独自開発、レンタル・販売などを行っているブリッジリンクと映像システムのソリューション開発に長けたビジュアル・グラフィックスが共同で実験の場を作り、そこにリアルタイムコンポジット+レンダリングのツール「SMODE」と360°映像と空撮に強いジュエが最近力を入れているというフォトグラメトリのアセットを提供して、システム全体のコストダウンと使い勝手向上を目的にテストが行われるということでお邪魔させてもらった。

3種類の異なるピッチのLEDを検証

ブリッジリンクの本社に組まれたLEDは、右が2.58mmピッチ(以下2.5)、左に1.58mmピッチ(以下1.5)でそれぞれ約4m×3mで少しの隙間を空けて組まれていた。そして参考用に小さく1.2mmピッチの高精細LEDも置かれていた。

これらLEDディスプレイは試験前日までに準備され、ブリッジリンク技術者により全パネル(=LEDドット)面に対しコンピューティングによるカラーキャリブレーションが注意深く取られている。リアルな検証を行うにはディスプレイ面の微細な色味を調整できる技術が必要で、ブリッジリンクが実験に参加したのはLEDを取り扱う映像技術に深い造詣があるからだと感じられた。

    
左端の小さなモニターが1.2mmピッチLED、中央が1.58mmピッチLED、右が2.58mmピッチLED
※画像をクリックして拡大
    
各LEDの仕様
※画像をクリックして拡大

3種類のセンサーサイズのカメラ、2種類のトラッキングを検証

今回のテストで興味深かったのは、LEDも数種類置かれ、カメラもPXW-FS7(スーパー35mm)、FX3(35mmフルサイズ)、X70(1インチ)というセンサーサイズの違うカメラが用意してあり、カメラトラッキングもHTCのVIVE Trackerと、インテルのRealSenseトラッキングカメラT265の2種類が試せた。

    
3種類のセンサーサイズのカメラを検証
※画像をクリックして拡大

LEDに映し出す素材もデジタルアセットのライブラリー「Megascans」から作られた3DCGのものと、フォトグラメトリで作られたもの、それを管理するプラットフォームもSMODEとUnreal Engine 4と多種多様な組み合わせが試せる、有意義な催しになった。

1.5mmピッチと2.5mmピッチは一長一短

まずは大きく目につくLEDの検証結果から。ピッチが1.5mmと2.5mmでは、遠目に見るとあまり差は感じられないが、1.5mmに関してはスクリーン面にフォーカスを合わせても特定の画角以外はモアレが出ない高精細を誇っていた。

実動作検証の様子

LEDに関してはピッチが細かいことに越したことはないが、画素が多くなるとその分送出する映像の解像度も必要になってくる。1.2mmは大画面スクリーンを設営するにはコストがかかりすぎて、被写体とスクリーンが近接するなら有効かもしれないが、そのケース以外はオーバースペックのように感じた。

    
急遽検証が行われた1.9mmピッチのLEDパネル
※画像をクリックして拡大
    
1.9mmピッチLEDのディテール
※画像をクリックして拡大

カメラはラージセンサー+GenLockが理想

カメラに関して言うと1インチセンサーのX70は明らかにモアレが出やすく、やはりスモールセンサーとLEDディスプレイの相性が悪いことが再確認され予選落ち。それを考えるとラージセンサーのFX3の方が良いように感じるが、FS7でもモアレが気になることは少なかった。今回はf4.0の絞りで通していたので、もっと明るいレンズを使うことでより良い結果が得られそうだ。

ただ、FX3やFX6のようなGenLockの付いていないカメラはフリッカーの問題が付きまとう。今回はプロセッサーの周波数とカメラのシャッタースピードを調整することでフリッカーが出ないところを探れたが、よりタイミングにシビアになる場合がある。また、外部からビデオ映像を入力し、UEの3D空間に貼りつけていた映像を使う場合などは、GenLockが必須となる。やはりGenLockを装備したカメラを使うのが理想だろう。

RealSenseを使ったカメラトラッキングは価格と使い勝手は優秀だが課題あり

カメラトラッキングに関してはstYpeのRedSpyやMo-SysのStarTrackerを使うのが定番だが、システムコストやマーカー設置工数もかかることから、ここではVIVE TrackerとRealSense T265が使用されていた。

VIVEはベーステーションを4つの構成でスクリーン幅と同じ4m四方に配置された。当初は絶えず微振動があるような感じがあったのだが、UE上のブループリントの設定にミスがあることがわかり、その後は安定した動作を実現していた。HTCの推奨では4台のベースステーションなら10m四方まではカバーできるとの事だ。

    
マルチインターフェースシューにVIVE Trackerを搭載
※画像をクリックして拡大
    
VIVE Trackerを搭載したカメラの周りにベーステーションを設置
※画像をクリックして拡大

そして、もう一つのRealSense T265。2つの魚眼カメラとジャイロ・加速度センサーを内蔵し、その情報から位置や向きを判断してPCに伝送するハードウェアで、マーカーもいらなければベースステーションとの連携もなく、たった55gの10cmほどのバーだけでトラッキングを可能にしてしまう優れものである。

    
ビジュアル・グラフィックスのRealSenseを使ったオリジナルトラッカー
※画像をクリックして拡大

ビジュアル・グラフィックスではJetson(NVIDIAの組み込みシングルボードコンピュータ)を使用して汎用性のあるデータに出力することでUE4と連携をとっていた。やはりカメラ映像から位置を判断するだけあってトラッキング精度はかなりのものだが、T265を向けている方向に動いている人や映像などがあると誤動作しやすいし、一面の青空やホリゾント、グリーンバックなどに向けている時も追尾する情報が少ないのでトラッキングの精度は下がる。しかし、価格と使い勝手の良さは群を抜いており、決定的な欠点もまだ見つけ出せていないので、これからもっと追及していきたいアイテムだった。

そして、ビジュアル・グラフィックスでは独自に簡易的なロータリーエンコーダーをレンズに付けることでズーム情報を得て、スクリーンに反映させていた。アイリスは手入力で対応できるとしてもズームとフォーカスに関してはロータリーエンコーダーを付けるかレンズに付けられたサーボから情報を取り出すことになる。それが出来てやっとRedSpyやStarTrackerと同じ土俵で評価されることになるだろう。

    
レンズのリングに注目。リングの回転をロータリーエンコーダーで読み込める
※画像をクリックして拡大

フォトグラメトリとインカメラVFXの組み合わせを検証

もうひとつ楽しみだったのはジュエ制作によるフォトグラメトリのアセットである。花やしき外観と浅草浅草寺の市川團十郎像周辺の二つを見せてもらった。200枚以上のスチル画像から作られた3Dイメージは花やしきに貼られているポスターの入場料金まで判別出来る精巧さだ。リアルな3Dモデルを作るのは大変時間のかかる作業で、それを数百枚とはいえ短時間の収録時間で素材を撮り、その写真をPCの処理に任せてモデルが出来上がるのはフォトリアルなモデルを必要とするインカメラVFXにとっては要注目な技術だ。

浅草浅草寺の市川團十郎像のフォトグラメトリでインカメラVFXを検証

ただ、そんなフォトグラメトリも課題がいくつかあり、撮影時の明かりをそのまま活かすのであればリアルさは損なわれないが、汎用性があるフラットなオブジェクトを作ろうとなるとフラットな曇りの照明下で後でコントラストをやわらげたりしなければならない。樹木などの動いてしまうもの、透明なものもフォトグラメトリの天敵だ。それでも花やしきの入り口付近のディテールは均一なテクスチャでも細部まで作り込まれたディテールによってかなりリアリティある情景になっていた。

ジュエではドローン撮影できるという強みもあることから、今後は上空からも撮影することによって、建物まるまる一棟をフォトグラメトリで作り上げるということも可能なので期待も膨らむ。

他にもQuixel社のMegascansの素材から作ったアセットもCGアーティストの小林淳夫氏に作ってもらって用意した。MegascansはUnreal Engineのユーザーなら無料で使えるオブジェクトやテクスチャーであるにもかかわらず、実物をスキャンして精巧にテクスチャーも作られている。短時間でフォトリアルなモデルを作るならMegascansから配置していく方法が近道だ。

今回は照明も微力だと聞いていたのでLEDからの照明を最大限に使える人物がシルエットでも成立する情景を用意してもらった。このシチュエーションに関しては水の表現、風の表現などが画面が大きくなることによって、どこまで作り込まなければいけないのか?という指標を得るために用意したアセットだが、大画面LEDとなると同じ4KやHDで通常のモニターで見る以上に緻密さは必要になってくるという印象を受けた。

    
夕日の作例を実験しているシーン
※画像をクリックして拡大

XR技術の制御にSMODEを検証

そしてSMODEを体験できたのも良かった。Disguise、Rialityとよく比較されることが多いSMODEは、その中ではソフトウェアだけでも使用することができる敷居の低いアプリケーションだ。

    
※画像をクリックして拡大

こちらもフォトグラメトリで作られたヨーロピアンな部屋の中のアセットだったが、VIVE Trackerを使用してカメラの動きに忠実に、そしてLEDのカバーできない部分までも撮った映像の上に重ねて出力出来たりするところは9フレームというレイテンシーをオフセットすることで解決している。詳しくはインタビューなども掲載する次回に期待したい。自分もデモ版を入手してしまったくらいだ。

フォトグラメトリ+1.5mmLEDでを使った実証実験の様子
※画像をクリックして拡大

今回の実験を主催したブリッジリンクの乃一勝憲氏は「実用的でリーズナブルなバーチャルプロダクションのサービスを提供することをゴールとして、その思いに賛同してくれる様々な会社と協力して実験を行いました。今回の知見をベースにブラッシュアップし、お客様にお見せする機会を作りたいと思います」と語ってくれた。今後の展開に期待したい。

小林基己
MVの撮影監督としてキャリアをスタートし、スピッツ、ウルフルズ、椎名林檎、リップスライム、SEKAI NO OWARI、欅坂46、などを手掛ける。映画「夜のピクニック」「パンドラの匣」他、ドラマ「素敵な選TAXI」他、2017年NHK紅白歌合戦のグランドオープニングの撮影などジャンルを超えて活躍。noteで不定期にコラム掲載。

◀︎Vol.11 [Virtual Production Field Guide] Vol.13▶︎