キャスト:笠松将、佐々木美緒

Vaundyの新曲「泣き地蔵」のMVは、AOI Pro.が中心となって現場を進め、LEDやシステムの設営・キャリブレーション技術をヒビノ、CG制作をTREE Digital Studio(以下:TREE)と、3社合同で実現した映像作品だ。AOI Pro.とTREEはグループ会社であるため日頃から連携することが多いが、機材面でヒビノと連携するのは初めてだという。ではなぜ3社合同で実現することになったのか?ビジネスや将来のこと、現場の感想も含めて、撮影現場でインタビューに応じてくれた。

バーチャルプロダクションのパートナーとしてヒビノと連携

  • AOI Pro.:平岡淳也氏(ビジネスプロデューサー)
  • ヒビノ:芋川淳一氏(エグゼクティブプロデューサー)
  • ヒビノ:菊地茂則氏(コーディネーター)

小林氏:

AOI Pro.とヒビノが協力するきっかけを教えてください。

平岡氏(AOI Pro.):

もともとの経緯をご紹介しますと、話は2020年夏頃にさかのぼります。バーチャルプロダクションには弊社グローバルビジネス部、鈴木佳之(エグゼクティブプロデューサー)は早くから注目しており、弊社も取り組まなければと思っていました。早期から取り組むことによって、新しいビジネスチャンスやお客様を見つけたいという目的がありました。
そこでバーチャルプロダクションをサポートするパートナーを考えたときに、私の中では音楽業界の繋がりから、コンサートなどでLEDを多く取り扱っており、技術力が高いヒビノさんにお願いしたいと思っていました。
ヒビノさんに連絡した頃、ちょうどヒビノさんではプロジェクトチームがxRのステージシステムを開発されていたところで、お話を進めさせていただいたというのがスタートです。

AOI Pro.のビジネスプロデューサー、平岡淳也氏

芋川氏(ヒビノ):

2020年9月頃のお話でした。ちょうどライブ配信に向けて弊社はxRのステージ提供を開始しており、そのxRのデモをするのが最初でした。
AOI Pro.の鈴木さんから、海外ドラマ「マンダロリアン」でバーチャルプロダクションは成功していて、北米では少しずつ対応する会社が増えているが、日本ではまだ対応できる会社がないという話をされました。そこで、こういったバーチャルプロダクションができる環境を整えてくれないかというお話を頂きました。
それからは弊社でも、仕組みをどのように行ったらできるのか?どのような機材が必要なのか、色々情報収集して体制を少しずつ整えていきました。

平岡氏(AOI Pro.):

私達は、実際に「マンダロリアン」のバーチャルプロダクションのシステムを設計したことでも有名な米国ロサンゼルスのLux Machinaにヒビノさんが持っている機材をプレゼンテーションしました。ヒビノさんの保有する機材はLux Machinaが推奨する機材よりクオリティが高く、十分に実現できそうという話になってきました。
私としてはバーチャルプロダクションの実現は相当困難なのかなと思っていましたが、さすがヒビノさんでは、すでに機材が揃っている状況でした。

ヒビノのバーチャルプロダクションシステムをMedia GardenのB Studioに搬入・設置

芋川氏(ヒビノ):

弊社ではバーチャルプロダクションの肝となるメディアサーバーのdisguiseをもともと保有し、運用していました。今回、弊社が追加で投資したものはカメラトラッキングシステムのRedSpyだけです。機材の知識はもともと弊社のオペレーターが持っていました。そういうことで比較的取り組みやすかったですね。
AOI Pro.の鈴木さんに調整していただいて、Lux MachinaのCEO ザック・アレクサンダー氏と、すでに面識のあったアシスタントのローレンポール氏とオンラインミーティングを2020年12月に行いました。元々Lux MachinaさんはEpic GamesさんのUnreal Engineが従来のメディアサーバーと同じように機能できるワークフローを開発し活用されていましたが、弊社はdisguiseのメディアサーバーを使ったものでインカメラVFXを実現したいと話をしました。

小林氏:

Lux MachinaのインカメラVFXはdisguiseではなかったということですか?

芋川氏(ヒビノ):

そうです。Lux Machinaさんは、高スペックのノードを何台か組み合わせてnDisplayを最大限に使うシステムを活用していました。それに対して弊社はdisguiseで実現する方向を考えていました。
disguiseの利点をお伝えするプレゼンを12月に行いました。そのときはザック社長に「disguiseの利点は分かるけど撮影業界では未知の領域だよね」と指摘されました。Unreal Engineには色々優れたツールがあるけれど、disguiseのシステムが使えるのか?など、たくさんのアドバイスをいただきました。
例えばバーチャルスターティングであったりマルチユーザーエディターなどのご指摘もいただきました。それも一つずつ解決し、弊社はすべて対応できるようにしました。レイテンシーも60fps収録と30fpsや24fpsで収録するのでは、1フレームの重みが全然違うとご指摘いただきました。メディアサーバーメーカーのdisguiseの開発の方にもいろいろ協力をしていただきまして、我々のバーチャルプロダクションスタジオHibino VFX Studioの運用を開始することができました。

ヒビノのエグゼクティブプロデューサー、取締役 常務執行役員 芋川淳一氏

平岡氏(AOI Pro.):

本番(撮影)までに何回かテストを行いました。今回スタッフに聞いたところ、テストを重ねられたのが大きかったと言っていました。そのテストは、ヒビノさん常設のHibino VFX Studioがないと実現できませんでした。テストが都内でできるのは業界にとっても大変意義のあることで、それがなかったら今回は恐らく制作に至っていなかったと思います。
バーチャルプロダクションはワンオブゼムのツールではありますが、プロダクションサービスの質、バリエーションを増やし高めるためには是非AOI Pro.に取り入れていきたい思いはありました。

菊地氏(ヒビノ):

バーチャルプロダクションは未知のテクノロジーで、どのように使ったらいいのか誰もがまだ理解していませんでした。そういった中でAOI Pro.さんと一緒に作品を作りたいという思いは強く、毎回注目されるVaundyさんの新曲MVで使って頂いたというのは大きかったと思っています。

ヒビノのコーディネーター、菊地茂則氏

CG制作はリアルタイム性の維持とスタッフ間のイメージ共有が課題

  • TREE Digital Studio(REALIZE):平嶋将成氏(バーチャルプロダクションスーパーバイザー)
  • TREE Digital Studio(LUDENS):LUOMENG YUAN氏(Unrealアーティスト)

小林氏:

スタジオに入ってからの準備と撮影にどれぐらいの日数を費やしましたか?

平嶋氏(TREE):

まず初日に、撮影で使用する12本のレンズのキャリブレーションをとるために1日を費やしました。2日目にテスト撮影とアングルチェック。そして2日間の撮影で合計4日間です。

TREE Digital Studioのバーチャルプロダクションスーパーバイザー、平嶋将成氏(REALIZE)

小林氏:

Media Gardenを4日間押さえるのはかなり大規模な撮影ですね。バーチャルプロダクションのCGパート制作ではどのような課題がありましたか?

平嶋氏(TREE):

私達が作成したCGのセットをスタッフ同士で共有するのが大変でした。
私達が手掛けるのは美術ではなくあくまでCGです。普段の工程では出来上がった画にCGを合成していますが、今回は普段のプロセスと逆です。
例えばライティングに関しては、普段は人物などに当たっている光から逆算して「こういう光になるよね」と想定しますが、「演者にこういう光を当てたいから、CGではこういうライティングをしなければいけない」と、撮影時のライティングを想定して、CG上に光を入れる作業がありました。
また、実際にカメラで撮る位置によってオブジェクトの見え方を考慮する必要があり、カメラマンもアングルを見てみないと、何が置いてあるのか見えないので、イメージの共有が難しかったです。
しかし、グリーンバックのバーチャルプロダクションと違ってLEDは背景がリアルタイムで見えるので、多少の共有のしやすさはあると思いました。

小林氏:

そのような中で、どのようにイメージの共有を行いましたか?

平嶋氏(TREE):

CGのプレビズを見て事前に共有しました。今後、共有の方法やプレビズの仕方も少し変わってくると思います。バーチャルプロダクションが普及してくると、例えばVRで確認なんてことも考えられるかもしれません。まだ皆さん手探り状態ですね。

イメージの共有に使われたのはMIZUNO CABBAGE監督が用意したプレビズ

小林氏:

今回のMVは12本のレンズで撮影したと聞きました。レンズの種類はCGの制作に影響はありますか?

平嶋氏(TREE):

CG制作には影響はありませんが、disguiseと呼ばれる映し出すシステム側にレンズをキャリブレーションする必要があります。レンズ情報とセンサー情報が合って画角が決まるためです。disguiseの送出装置はヒビノさんで調整されていました。
私達はセットの制作で、レンズはバーチャル空間で調整するので何をいれても大丈夫です。

小林氏:

CGチームはdisguiseで出すことに対して意識することはありましたか?

平嶋氏(TREE):

どこから撮るかや、セットをスタジオに対してどのように入れておくかを意識しないといけません。電車を横に入れたら撮れないので、縦に入れないといけません。そこで、disguise内のカメラがLEDに対してどこに置かれてどこを向くか、置く向きを意識しながら作る必要があるかと思います。

小林氏:

背景の実写とCG実写のみとバーチャルプロダクション撮影の割合を教えてください。

YUAN氏(TREE):

背景のあるカットはほぼCGです。7割近くのカットをバーチャルプロダクションで撮影しています。

小林氏:

非常に完成度の高い3D背景だと思っていますが、あれはすべてMegascansから仕入れたものですか?それとも独自で作られたものですか?

YUAN氏(TREE):

Megascansの3Dライブラリーのものもありますし、モデリングで作ったものもあります。監督のデザインに沿って汚しや形状を作り出しており、Unreal Engineで現場でのライティングやカメラの調整ができるようになっています。

TREE Digital StudioのUnrealアーティスト、LUOMENG YUAN氏(LUDENS)

小林氏:

今回3D背景の中で照明効果などで苦労されたところはありますか?

YUAN氏(TREE):

リアルタイムに再生させるために、軽くする必要がありました。特にライティングの処理は重いので、ベイクと呼ばれるライティングをオブジェクトに焼いて固定してあります。それによって多少は軽くなりましたが、オブジェクト自体に制限ができてしまいますので、そのあたりはいい感じに組み合わせて理想的に見えるように調整をしました。

小林氏:

もともとTREEさんは最終的な仕上げ、レンダリングまでの仕事が多いと思います。環境を納品するというのに、戸惑いみたいなものはありますか?

YUAN氏(TREE):

ワークフローが大きく変わりました。CGデザイナーの私の視点ですが、普段のワークフローはシーン作り・エフェクト作り・レンダリング・コンポジット・そして仕上げの流れでした。それが、今回はエフェクトとコンポジットなどを統合したシーンを作ってから、環境を整えていく流れに変わりました。また、今回はUnreal Engineを使用していますが、納品先の用途などにより環境の構成を調整する必要があります。Unreal Engineは環境、アセットの管理とパッケージ化が非常にやりやすいです。

バーチャルプロダクションには現場全体を統括できる人が必要

  • AOI Pro.:平岡淳也氏(ビジネスプロデューサー)
  • AOI Pro.:芝村至氏(プロデューサー)

小林氏:

プロデューサーとして、実際にバーチャルプロダクションを使ってみてどのように感じましたか?

芝村氏(AOI Pro.):

広告制作の観点では、行けない場所に行けたり、現実ではあり得ないシーンが撮れたり、リアルの代替として活用する考え方があると思います。例えばタレントの日程の問題で海外へ行けず、理想としている画が撮れない場合でもやりようによっては可能になると思いました。2日間の撮影を経て、リアルの代替という考え方からさらにもう一歩先の、クオリティアップに繋がる使い方もできると感じました。

AOI Pro.のプロデューサー、芝村至氏

小林氏:

でも妥協ができない分、どんどんハードルが大きくなっていくのも悩ましい部分です。あとは予算とのバランスもプロデューサーとして考えると思うのですが、そのあたりはいかがでしょうか?

芝村氏(AOI Pro.):

現状は試行錯誤の段階で、スタッフの知見がたまっていかないとこの技術の強みを出しきれない可能性もありますが、ここはCGとカメラの技術的な部分を把握して撮影全体を統括できる立ち位置の人がいると安心かもしれません。

小林氏:

たしかにそこでコストを下げることもできそうですね。

芝村氏(AOI Pro.):

知らない人がやると連携のミスも起きると思います。あと、ディレクターはバーチャルプロダクション前提でカメラマンを選ぶことはあまりないと思いますが、一方で、カメラマンがバーチャルプロダクションに二の足を踏むことはあるかもしれません。でも、そこにスーパーバイザーがいるのであれば、安心して作業を進めることができると思いました。

小林氏:

今回スタッフも1回体験することで、抵抗感がちょっと薄れそうですね。

平岡氏(AOI Pro.):

監督のMIZUNO CABBAGEさんはこれまでもCG作品を制作されている方で、映画も制作しており、CGの理解がある監督だからこそディレクションもできます。プロデューサーは監督を選びますが、もし実写ベースでCGに慣れていない人が入るのであれば、VFXのスーパーバイザーとかプロダクションデザイナー、全体の美術を管理するアナログもデジタルも理解した美術デザイナーがいたらよりスムーズになるかなと思いました。

芝村氏(AOI Pro.):

バーチャルプロダクションは技術としては可能性を秘めていると思います。あとは使う側が良さをどこまで引き出せるかだと思います。今回の作品で、「バーチャルプロダクションってこんなことができるんだ」と感じていただければ幸いです。

小林基己
MVの撮影監督としてキャリアをスタートし、スピッツ、ウルフルズ、椎名林檎、リップスライム、SEKAI NO OWARI、欅坂46、などを手掛ける。映画「夜のピクニック」「パンドラの匣」他、ドラマ「素敵な選TAXI」他、2017年NHK紅白歌合戦のグランドオープニングの撮影などジャンルを超えて活躍。バーチャルプロダクションのVFXアドバイザーの一面も。noteで不定期にコラム掲載。


◀︎Vol.01 [Virtual Production Field Guide 4] Vol.03▶︎