昨年に引き続き全面オンライン開催のSIGGRAPH 2021

世界的な新型コロナウイルス蔓延がおさまらない中、今年のSIGGRAPH 2021は昨年に引き続き全てバーチャル(オンライン)で開催された。

いきなりやってきたパンデミックで慌てた昨年のSIGGRAPHとは異なり、今年は早くから全面オンラインでの開催が決定し、それに向かって万全の準備が進められてきた。

SIGGRAPH(シーグラフ)は世界最大のコンピュータグラフィックスとインタラクティブ技術に関する歴史ある学会・展示会である。毎年SIGGRAPHは7月または8月の1週間、北米の巨大なカンファレンスホールで世界中から数万人を集め開催されるのが定番となっていた。

第48回となるSIGGRAPH 2021は、オンデマンド配信のWEEK1が8月2日から、ライブ配信を中心としたリアルタイムのイベントWEEK2が8月9日~13日の5日間開催され、その後も10月29日までオンデマンド配信が観られるバーチャルカンファレンスとして開催されることになった。

配信は昨年同様バーチャルカンファレンス用のhubb.meが活用された。映像ソースは1080p、通信状況に合わせて240pからフルハイビジョン解像度まで数段階の動画が選択または自動で配信される。配信元の映像素材は、発表者へ細かい指示やリクエストがなされており、映像、音声とも高品質の配信が行われた。

hubb.meは大規模バーチャルカンファレンス用のプラットフォームで、最低利用価格が2万ドル(約220万円)からで、デモ版やフリー版はないという強気の設定だ。時差そのものはどんなにテクノロジーが進化しても克服できないが、昨年にはなかった世界各国の時差も考慮された予定表登録やセッション時間の表示が用意されていた。

hubb.meで配信されたSIGGRAPH。左側のメニューに各種展示、セッション、コミュニケーションメニューが用意されている

急ごしらえであった昨年のオンラインSIGGRAPHから進化し、今年はオンラインでのパーティや、通常の作品配信に加えて、長尺のディレクターズカット版の配信、"Behind the Scenes"と呼ばれるメイキング映像の配信と配信コンテンツの幅が広がっている。

それに加え、NetflixやAmazon Prime Videoで楽しまれているWatch PartyやTelepartyと呼ばれる離れた人同士で同じ映像配信を見ながらチャットを楽しむ環境が用意され、Watch Party用のイベントも企画されていた。またゲーム配信や、オンラインゲーム用の情報交換で使われているチャット&音声会話用のツールDiscordのチャンネルが主だったセッション用に個別に用意され、参加者の情報交換に活用された。オンラインイベントという制約のある環境ながらも随所に工夫が感じられたSIGGRAPHであった。

(以下、順次公開予定)

映像制作の環境もバーチャルプロダクション全盛に(ILM制作「マンダロリアン:シーズン2」より)

セッション:ILM Presents: The Visual Effects & Virtual Production of "The Mandalorian"

講演者:
Rachel Rose R&D Supervisor Industrial Light & Magic
Hal Hickel Animation Supervisor The Mandalorian Production Industrial Light & Magic
Landis Fields Virtual Art Department Visualization Supervisor Industrial Light & Magic
Joseph Kasparian Visual Effects Supervisor Hybride Technologies

近年、比較的安価で高精細なLEDウォールが普及し始めたことで、味気ないグリーンバックによる合成ではなく、俳優が演技する環境の背景を全てLEDウォールで囲い、LEDウォールに投影した映像とともにカメラに映像を収録するという究極のバーチャルスタジオ、バーチャルプロダクションという制作スタイルが世界的に広がってきている。PRONEWSでも「Virtual Production Field Guide」が特集で組まれているためすでにご存知の方も多いだろう。

その影響を強く感じられるのはSNSで、FacebookのVirtual Productionというクローズドなグループでは世界中の映画制作、映像制作、放送業界からなんと5万人を超えるメンバーを集め、日々活発に情報交換がなされている。

昨年のSIGGRAPHでも、ILM(Industrial Light & Magic)社が制作を担当した「スター・ウォーズ」のスピンアウト作品「マンダロリアン」のバーチャルプロダクション事例が紹介された。昨年の時点でも驚愕の映像制作ワークフローとして迎えられたが、まだまだ試行錯誤の段階であった。

今年のILMの講演では「マンダロリアン:シーズン2」のメイキングより、昨年よりもさらに工夫と応用の広がったバーチャルプロダクションの事例が紹介された。

Behind the Magic: The Visual Effects of The Mandalorian Season 2
※SIGGRAPHの講演で紹介された映像と同等の映像をILMが公開済みのYouTubeから引用

撮影に使われたLEDウォールシステムは StageCraftと呼ばれるプラットフォームで運用されている。今回のシーズン2ではバージョンアップ版のStageCraft 2.0が使われた。

LEDウォールの解像度もシーズン1よりも細かく、色の忠実度、再現度もさらに進化したものが用いられているとのこと(シーズン1の時のLEDウォールのスペックは公開されており、高さ20フィート(約6m)、周囲270度、直径75フィート(約23m)、2mmピッチの500mmタイル1572枚と、5mmピッチの600mm×1200mmタイル675枚、シーズン2の時のスペックは不明)。

LEDウォール調整中の様子

「マンダロリアン:シーズン1」で試行錯誤しながら進められた撮影では、撮影監督はもちろん、様々な部署の責任者から、より多くの調整やアイデアが寄せられ、ILMでは「Helios(ヘリオス)」と呼ばれる映画クオリティのリアルタイム映像描画ツールを開発するきっかけになった。

Heliosでは、通常映像制作の最後の映像合成で行われる色調整も、CGの背景映像と、実写の映像が馴染みやすいよう、現場で細かい調整を行うことができる。カラーグレーディング作業も含め、背景映像内に表示されているCGの石ころ一つまで、様々な要素を手持ちのiPadで細かく調整できるのは何にも代えがたい制作のスピード感がもたらされたそう。

「マンダロリアン」の制作は潤沢な予算に支えられてはいるが、それは一般のテレビドラマに比べて潤沢なだけで、制作の時間の少なさや、予算規模は映画制作には叶わないため、バーチャルプロダクションによるスピードとコストの削減は大歓迎であった。

iPadを用い、撮影現場から詳細なカラーコントロールができるシステム

講演で述べられた工夫のポイントは次のとおり。

  • 素早く最高の成果を得るために、全てのシーンで早い段階でプレビズが作られている
    ※注:プレビズ(PreViz:Previsualization)俳優の演技やカメラ位置など撮影検討のための簡易的な3DCGアニメーション
  • プレビズによって作業の複雑さや、目的とする映像を得意とする製作会社や担当者に仕事を適切に割り振ることができた
  • 従来の制作では分業が進み、撮影前の仕事、撮影、撮影後の仕事と分かれていたが、現在は関わりのなかった部署同士も協力して進めている
  • LEDウォールがない環境でも、HMD(VR用のヘッドマウントディスプレイ)で映像の確認とフィードバックが容易にできる
  • 3rd Floor(PreViz専業のCGプロダクション)が作成したARソフトによって、CG部品セットの確認ができる
  • LEDウォールに背景として表示されるもの以外にも、巨大生物の大きさを把握したり、後ろに隠れている洞窟の大きさを把握するようにした
  • 映像制作のワークフローを細かく分割し、締め切りを設定し、作業ごとにやり直しや撮影素材の整理などを行い易くした

Filmmakers Discuss Bringing Virtual Worlds to Life for The Mandalorian(S2)
※SIGGRAPHの講演で紹介された映像と同等の映像をILMが公開済みのYouTubeから引用

  • シーズン2には世界各地に散らばる1,000人以上のアーティストが参加。進行管理、品質管理のためのプロデューサーチームを編成した
  • 撮影の際の微調整は必須。CG背景や、カメラフレーム、カメラの動きの調整など、物理的な観点だけでなく演出的な観点でも微調整
  • LEDウォールの背景CGは、特定の場所を模倣するのではなく、どこかに似ているが、どこにも存在しない背景を求めた
  • LEDウォール内での撮影はいくつかのパターン、テンプレートを用意し、それに当てはめつつ、作業を最小限に抑えた部分もあり
  • 撮影した実写映像をLEDウォールに投影して利用する場合は、撮影した時間帯や、ショットの信憑性(本物らしさ)でチョイスしていった
  • LEDウォールで表示される色合いと現場のカメラで撮影された時の色合いは異なるため、光量や照明の色も含めて細かく調整可能に
  • シーズン1では、撮影シーンごとにLEDウォールの表示も照明もいったんリセットしなければいけなかったが、シーズン2では連続撮影可能に
  • 一番大切なのはLEDスクリーンに何を投影するのではなく、LEDスクリーンとその場にある人や元とがシームレスに感じられること
  • ゼロからCGで考えるのではなく、本物の風景、写真を大切な参照資料としている。山火事跡の現場に見学にも行った
  • 霧や、空気が濁っているシーンは、映像と連動するatmospheric(いわゆる煙効果用のスモーク発生装置)を開発した

映像表示のベースとなるのは高品質なゲームエンジンとして広く使われているUnreal Engine。毎秒60フレーム、複数画面にまたがる映像を生成、カメラからの画角や焦点、レンズの歪みなどさまざまな要素を考慮した上で、違和感のない映像を素早くLEDウォールに表示している。当然撮影用のカメラはトラッキングされており、カメラ位置から最適な映像がLEDウォールに投影され続けるのだ。

衣装とのマッチングや、物語の空間を把握するためにミニチュアサイズの模型を作って確認する場合もあるが、Unreal Engineによってこれらの確認や修正がとても便利になったとのこと。特に注意しているのは背景映像と、物理的なセットとの境目がどこに生じるのか、それによって用意するセットや背景CGが変化していく。この辺りはプレビズ作成の段階で、追い込んでいったらしい。

LEDウォールに投影されている映像と、実際のセットとの境目を限りなくわからないように調整

LEDウォール用の映像素材は50K解像度(4K映像入力が11系統)が使われた。LEDウォール用の背景CG作成で一番大変だった点は、どの場所からどのアングルでカメラ撮影されたとしても、高精細映像が確保できないといけない部分であった。特に困難を極めたのは水面に背景が映り込むシーンだったという。

LEDウォールでシーン中のどの空間をカバーするか、簡易CGで検討中の画面
巨大な格納庫のシーンをいくつかに分割して、円形のLEDウォールで撮影する手順を検討している図面

シーズン1で一番苦労し、シーズン2で工夫したこととしては、空間の大きさが限られているシーンへの対策。部屋から部屋へ移る時や、広い空間を移動する場合など、綿密な撮影計画が必要となるが、この対処によってより自由な演出が可能になったとのこと。

シーズン2でのもう一つの挑戦は、ミニチュアで作成したセットを、四方八方から大量にカメラ撮影し、フォトグラメトリ技術で3DCGデータ化し、LEDウォールの背景画像として活用したこと。ところによってはミニュチュアを動かしながらストップモーション撮影した素材が使われている。

3Dプリンタでモデルを出力し、フォトグラメトリ技術で3DCGデータ化する元となったミニチュア風景

マンダロリアンの制作チームは、考えられないほどの制作スピードで今までにない高度な視覚効果を求められており、チームの成功にはお互いの仕事の理解と、信頼関係が不可欠であった。シーズン2の作業量はシーズン1をはるかに超えるもので、全員が協力しないと成し得なかった偉業であり、関係者全てに感謝したいと、講演者のひとりVFXプロデューサーのアビゲイル・ケラー氏は締めくくった。

続くレポートでは、SIGGRAPH 2021より映像作品の紹介、リアルタイム映像の情報をお届けする予定だ。


[SIGGRAPH2021] Vol.02