キヤノンが川崎事業所内にボリュメトリックビデオ撮影スタジオを設置

昨年くらいから、にわかに騒つきだしたボリュメトリック撮影という技術。簡単に言うと3Dキャプチャの動画版である（細かく言うと違うのだが、認識としてはこれでも良いと思う）。

その中でも、2020年夏、キヤノンが川崎事業所内に日本で一番大きいボリュメトリックスタジオを開設したと聞いて見学してきた。

グリーンを張り詰めた20.15×14.73mの空間に、4K60p収録が可能なシネカメラが100台以上囲んでいる。その中の8×8m、高さ3.5mがキャプチャエリアだ。バスケットボールコートの中にバレーボールコート半面分の収録領域があるとイメージしてほしい。そのエリア内なら様々なパフォーマンスを丸ごと収録でき、それを無限の空間に配置して縦横無尽なカメラワークをつけることができる。3次元の立体に時間軸も自由に出来るわけで、使い古された表現だけど、まさしく4次元の映像体験だ。

どこからでも見られる立体写真生成の歴史

まず、ボリュメトリックとは何か？ということから説明しよう。最新技術のように見えるが、実は少し前から研究されている分野で、人の手に取れるような形で登場したのは2012年にLytroがライトフィールドカメラという形で製品化したことだろう。手のひらに乗る直方体のカメラで、撮影後に自由にフォーカスの調整ができるようにピントの深い静止画と、その奥行き情報を取り込むことができるものだった。

私も注目して今でも所有しているのだが解像度が悪すぎて、元々画像がどこにピントが合っているかも分からないくらい甘かった（なんと！2016年に40Kのセンサーを持つシネマ用のライトフィールドカメラを発表していたが、残念なことに今は開発停止中らしい）。

そして、この技術はアップルが2016年のiPhone 7 Plusの登場で急に衆人に知れ渡ることとなる。そう、写真のポートレートモードだ。二つ付いているレンズを利用して一眼レフカメラのように背景をボカすという何気ない効果なのだが、それは静止画と一緒に前後の位置関係を一緒に収録することでなせる技だ。Facebookなどでポートレートモードで撮った写真だとちょっとした立体物のように見せる効果も二つのカメラの視差から奥行きを計算しているからだ。

この段階では、カメラ2台からの情報なので基準視点からほんの少ししか動かせないが、それがどんどん増えていけばどこからでも見られる立体写真となる。被写体を立体で取り込んでいるのでカメラが近づいてワイドにすることもできれば、遠く離れて望遠でも見られる。それを動画で収録することで時間軸もコントロールできるようになる。

このシステムをいち早く大規模な形で取り入れたのは、インテルがロサンゼルスに作ったボリュメトリックスタジオだ（[鍋潤太郎のハリウッドVFX最前線]Vol.103 米インテルがハリウッドに仕掛けた新戦略 インテル・スタジオとは？参照）。直径32mのドーム状のトラスにカメラが100台近く付けられた姿は圧巻だ。たぶん、ここに来た映像スタッフがまず口にするのは「これ、合成無しでこのロケーションそのまま活かした方がカッコ良くない？」だろう。

自由な位置、角度からの映像を生成でき、ライブストリーム生成も可能

さて、キヤノンのボリュメトリックスタジオに話を戻そう。

インテルのスタジオなど通常のボリュメトリックスタジオはカメラが円形に均等に配置されているのに対して、キヤノンのスタジオはカメラの取り付け位置がランダムになっている。固まって数台あるところのカメラのレンズはそれぞれ様々な方向を向いており、縦構図に配置されているものもある。ここが一番注目すべき点で死角をなくしつつ解像度を維持するために何度もテストを重ねて探った結果だと思う（こういう職人的な追求感好きなんですよね）。

もうひとつ特筆すべき点はリアルタイム配信可能ということだろう。ボリュメトリックスには大きな難題があり、データ転送と処理速度にべらぼうな負担がかかる。100台以上のカメラのデータを一度収集して、そのランダムな2D映像から3D映像を生成し、背景と合成しつつ、縦横無尽なカメラワークに対応できる。想像しただけでゾッとする計算量だ。それを約3秒のタイムラグでやってのける。スパコンの「富岳」で、見なくても分かっていたような飛沫計算させるより、これを12Kカメラ、200台くらいでやってほしい。

このボリュメトリックの技術が真価を得たのは去年のラグビーW杯の映像だ。

プレイ中の映像にも関わらずスタジアムの全景から走る選手の直前まで迫りトライの瞬間を間近で見ているような感覚で見せた後、プレイバックではカメラはまた別の動きで選手の背後から自分もプレイヤーの一人になったような感覚で追いかけていく。

まさにスパイダーカムに代表される4点吊り空中特殊撮影機材のようなカメラワークから、マイクロドローンのような接近撮影までこなせる。それでいてボールが当たったり競技者とぶつかることもない。いわゆるバーチャルカメラというのもので、そこにカメラは存在しないからだ（キヤノンVolumetric Video Studio Webサイト内の撮影サンプル「Dance Volumetric Video」参照）。

ただ、これだけ広い会場に約100台カメラを配置しているといっても、一つのカメラの解像度は4Kで、そこからの拡大になってしまうため競技者の表情まで見せるとなると微妙だ。しかも会場全体をキャプチャしてるわけではなくフィールドにいる競技者だけを抜き出して、空舞台のスタジアムに合成となる。

それら二つの要因が実際の映像を使っているにも関わらずコンピューターグラフィックス感が否めない理由かもしれない。近い将来、それを解決するのは解像度だろう。実際、川崎のスタジオだと8×8mと、スタジアムに比べると狭いキャプチャ範囲に設定しているのでデモ映像を見ても分かる通り、W杯の時に比べてずっと解像感は増している。ただ、今のところはウエストショットよりも寄っていくとアラが見えてくるのでフェードアウトさせるような設定になっている。今後、センサーは変えずともレンズの画角などで寄りの解像度を確保する方法も探っているようだ。

そして、このスタジオには二つの側面がある。ひとつは今まで伝えてきた少ないタイムラグでカメラワークまで付けて放送ができるシステム。実は、この状態はまだ3DCG化されていない。背景は3DCGなのだが人物は実際に撮った映像の組み合わせでできている。というわけで、撮影時の照明状況がそのまま反映される。天井に吊ってあるLED照明も光量や色温度は自由に変えられる。ただ、陰影の強い照明になるとグリーンの抜きが難しくなるので、そこは探り合いだ。そういうこともあって、クリエイティブよりもスポーツやバラエティといった用途にニーズがあるだろう。

そして、もう一つの側面というのが、ここで収録したものを3Dメッシュ化してそれに撮影時の映像をテクスチャーとして貼り付ける方法だ。いわゆるボリュメトリックスタジオにはこれを目的としているところも多い。既にポリゴン化されている人物のデータを貰って、3DCGアプリケーションやUnity、Unreal Engineなどのゲームエンジンに組み込むことも可能である。筆者にとってはこちらのほうに魅力を感じており、8×8mという広さは、芝居を撮るには十分な領域だ。それに加えて3Dアプリ上で自由に照明を作れるのはグリーンの抜きを意識した照明下よりも創造力に富んだ画作りができそうだ。

どちらにしても不可能だったカメラワークを実現できる技術だが、表現の最終形が2Dになってしまうと魅力が半減してしまう。今までは、実写でVRを考えたときに3D 360°カメラを使ったとしても、ユーザーの視点がカメラの位置と同一にならざるを得ないところに制限を感じたが、これなら実写の人物を使いながらも自由に動ける。

そして2021年からはゲームエンジンの発達で実写と見まごうばかりの映像を自分で自由に操作することができるようになると言われている。その二つの組み合わせによって映画の世界の中に自分が入り込んでいるような表現が可能になる日も近いのかもしれない。

インテルスタジオのプロモーション映像では、馬の走りを24枚の連続写真で撮ったエドワード・マイブリッジを例に挙げ、ボリュメトリックが映画の起源に匹敵する映像革命に位置付けている。最初このムービーを見たときは、「かなり大きく出たなぁ」と眉唾で見たものだが、あながち夢見がちな者が描く妄想とも言い切れない。必要は発明の母というが、最近では未来を作るのは発明が先に立って切り開いていくようだ。