PRONEWS

  • imgABOUT
  • imgTWI
  • imgFB
  • imgYTU

トップ > 特集 > [SIGGRAPH2019]Vol.03 最新鋭の映像機器、VR応用の最先端

News

[SIGGRAPH2019]Vol.03 最新鋭の映像機器、VR応用の最先端

2019-08-20 掲載

txt:安藤幸央 構成:編集部

新しい映像配給チャネル、Netflixが考えるCG/VFXと、ストリーミングの勘所

SIGGRAPHのプロダクションセッションと言えば、映画のメイキングが紹介されるのが一般的であった。近年Netflixをはじめとするオンデマンドネット配信サービスの存在感が増してきており、今年は「The VFX of Netflix Series」と銘打った、Netflix作品の中でVFX活用に関するセッションの企画が用意されていた。

Netflixのセッションは「レモニー・スニケットの世にも不幸なできごと」、「アンブレラ・アカデミー」、「ストレンジャー・シングス 未知の世界」の制作の背景を紹介するもので、映画並みの大規模な予算をかけたNetflix発のドラマ、Game of Thronesのセッションとともに注目を浴びていた。

■「レモニー・スニケットの世にも不幸なできごと」を担当したDigital DomainのVFX Breakdown(特殊効果の種明かし)
■「アンブレラ・アカデミー」を担当したWeta DigitalのVFX Breakdown(特殊効果の種明かし)

セッションで語られていた主な内容としては次のとおり。

Netflixでは潤沢な予算とともに、クリエイターたちの個性を重視した番組を数多く手がけている。ごく普通に見える背景やセット、キャラクターでも、相当数のショットはCG/VFXが活用されている。CG/VFXショットは通常のドラマよりもかなり多く、世界中のCGプロダクションで手分けして作業している。制作も世界中で行われ、レビュー(映像の出来具合の確認)も世界中で行われたため、SHOTGUNという進行管理のツールが欠かせなかった。

よく映画なみの予算とは言われているが、実際には予算に厳しい制限があること、4K解像度前提でエピソードを何話も作らなければいけないという制約があること。数ヶ月の間に何本分もの撮影と、ポスト処理を行わなければならず、映画制作に比べて極端にスケジュールが短いという制約からは逃れられないことが語られた。

それらの制約を少しでも緩和するために、制作のパイプラインを工夫し、前行程の作業が終わる前にできるだけ先の作業に着手できるように改善されているそうだ。ストリーミング配信であるということや家庭用テレビやモバイル端末で観られるということは特に意識せず、映画館の大画面で観るのと同じように洗練された映像作品を作ろうという気概で制作しているとのこと。

論文発表から、最新の映像技術を紹介

SIGGRAPHの本文は学会であり、毎年の論文発表は研究者のみならず、ツールメーカーや、アーティストの面々にとっても映像制作の傾向と将来を知るうえで重要な役割を占めている。SIGGRAPHはトップカンファレンスと呼ばれる最高峰の学会のひとつで、論文採択率が約2割という狭き門である。最近はアカデミックな研究者に加えてAdobe、Amazon、Google、Facebookといった企業からの論文が多くなっている。

■SIGGRAPH論文のダイジェスト動画:今年の主立った論文紹介を短時間で見ることができる(約3分)

■SIGGRAPHの全論文を1本につき30秒という短い時間で紹介するFast Forwardの収録動画(約1時間半の収録動画)

SIGGRAPH論文集の要約(各論文の最初の1ページ)(約98MB:無料ダウンロード)

SIGGRAPH論文への研究者、デモ動画、論文、サンプルプログラムのリンク集

今年の論文は世界30ヶ国から385本の投稿があり合計142本の論文が発表された。その中から、とくに映像系、画像処理系の技術をいくつか紹介する。


Handheld Multi-Frame Super-Resolution

スマートフォン向けの撮影写真を高解像度に補正する技術。バーストモード(連写)で撮影した画像から、わずかな差異やわずかな手ブレを利用して、補正を可能にする。従来から、ビデオカメラで撮影した動画をもとに高精細な画像を再構成する手法は知られていたが、それをスマートフォンカメラ向けに最適化したのが本研究。グーグルのフラグシップスマートフォンPixel3のカメラ機能Super-Res ZoomやNight Sightモードで使われている技術。


Synthetic Defocus and Look-Ahead Autofocus for Casual Videography

映画のような被写界深度の浅い、背景のボケた動画をスマートフォンカメラで撮影したような動画に、リアルタイムに合成する技術。まずはスマートフォンで撮影た被写界深度の深い、オートフォーカスされた動画をRefocusable Video Rendering(RVR)という技術を用いて、背景のボケた素材を用意する。その上で喋っている人や、動いている動物などの動きを予測し、そこにはフォーカスをあてたままで、そのほかの背景は先ほどのボケた素材を合成するのだ。HDR(ハイダイナミックレンジ)の要素も保たれるのが特徴。


Distortion-Free Wide-Angle Portraits on Camera Phones

集合写真で端に写っている人の顔が歪んでみえる現象を緩和するための技術。最近のスマートフォンに搭載されているような広角のカメラで撮影した場合、画像周辺部分が歪んで撮影されてしまいます。これが風景などの場合それほど気になりませんが、人の顔の場合、とくに違和感を感じてしまいます。

この研究では、写真に映っている複数の顔に特化し、ほかの背景や撮影物には影響を及ぼさず、顔のみ正しく撮影されたかのように修正する技術です。動作も軽く、スマートフォン上でも動作するものです。70°から120°の視野角に対応。


Text-based Editing of Talking-head Video

インタビューやドキュメンタリーの映像を編集する際、最近ではYouTuber映像などで、不要な間を削ったり、言いよどみや、言い間違いを削ったりといった映像編集が行われる。この研究では、あらかじめ喋った映像と文字起こしされたテキストを元に、削りたい言葉、修正したい言葉をテキストベースで修正・編集することで、その言葉を喋っている映像の方も自動的に修正・編集されるとても便利な技術。通常であれば、単にカットするかフェードイン・アウトで映像を繋いで修正するところを、あたかもスムーズに喋っているかのような映像・音声に修正することが可能。

あくまで差し替えられる音声や口の動きはもともと撮影された本人のものをデータとして使うため、ゼロから合成できるわけではなくある程度の収録動画と、その動画の機械学習が必要。修正しすぎによる倫理的な課題も生じるが、現場からすると、すぐにでも使いたい技術かもしれない。現状の課題としては、顔以外の撮影物、例えば手ぶり身振りなどは音声にあわせてうまく合成できない点だそう。


Multi-view Relighting using a Geometry-Aware Network

野外のシーンで撮影した動画像を、日照条件の違う時に撮影したかのように、照明環境を修正・合成する技術。昼間に撮影した映像にフィルターをかけたり、色調調整して夜に見える映像として編集することは可能だが、本研究では、太陽光が照らしている方向や、影が伸びる方向や様子などまでが自由に変更できる。

この技術の応用例としてはフォトグラメトリで撮影されたモデルから自由な太陽の位置、影で映像を作成したり、ドローンで撮影した時間帯の異なる映像から、単一の時間帯のシーンを再合成するといったことが考えられる。素材としては最少1枚の写真から利用できる技術であり、さまざまな応用が期待される。


Stylizing Video by Example

実写動画から絵画風、アニメ風の動画を平易に実現する技術。動画像の1シーンをもとにペイントツールを用いてアーティストが描いた絵画やアニメ画を用意すると、動画像の全編、その描いた素材画像風のテクスチャや筆使いのテイストに変換してくれる技術。ここで紹介されているような動画を制作する場合、従来であれば、1フレーム1フレームアーティストがペイント作業を行う必要があったが、本研究では圧倒的手軽さで実現されている。


Interactive and Automatic Navigation for 360° Video Playback

Interactive and Automatic Navigation for 360° Video Playback(動画)

一般的な360°、実写VR動画を観る場合、その一部を切り取って2Dディスプレイに表示して見る。これはHMD(ヘッドマウントディスプレイ)を用いても状況は同じで、一度に360°全面を観ることはできず、視線方向、注目しているもの、頭の動きによって、ある一部分を切り取ってみることになる。YouTube等でも360°動画を観ることができ、左右に視点を動かしてみることができるが、その際も一部切り取られた正面の映像のみで、後ろ側になにか重要なものが映っていたとしても気がつかない。

本研究では、360°映像の中から観るべきもの、いわゆる演出によって決められたカメラパスのような軌跡を自動抽出し、360°映像を黙って見続けていたとしても、左右にパンされ、観るべき映像が画面の中央に配置されるという便利な仕組み。ユーザー調査の結果によると、従来型の自由に見て回れる360°動画よりも映像演出が効いて、観るべき場所が自然と画面内に収まる動画の方が満足度が高いようだ。


先端的な研究開発中のディスプレイ装置など、さらに盛りだくさんの話題は、続くレポートで紹介する。

txt:安藤幸央 構成:編集部
Vol.02 [SIGGRAPH2019] Vol.04

[ Category : , ]
[ DATE : 2019-08-20 ]
[ TAG : ]

この記事に関連する記事一覧

[SIGGRAPH2019]Vol.05 技術進歩で制作そのものが変化する。CG技術で進化する映像制作のワークフロー

txt:安藤幸央 構成:編集部 リアルな撮影、バーチャルな撮影 バーチャルスタジオでの撮影の様子。床面のみ実物で、砂や石ころが敷き詰められている 今年のSIGGR... 続きを読む

[SIGGRAPH2019]Vol.04 未来の表示装置と、リアルタイムCGの世界

txt:安藤幸央 構成:編集部 先端技術展示。未来的のディスプレイデバイスの紹介 最新技術の展示体験コーナー、レーザー描画の絵柄でお出迎え SIGGRAPHの... 続きを読む

[SIGGRAPH2019]Vol.02 生々しい制作の現場。プロダクションギャラリーで制作の現場に出会う

txt:安藤幸央 構成:編集部 CG/VFX制作の現場を知るプロダクションギャラリー SIGGRAPHの人気展示のひとつ、プロダクションギャラリーは2017年から企画が... 続きを読む

[SIGGRAPH2019]Vol.01 CGの祭典SIGGRAPH2019開催!今年のテーマは「THRIVE」

会場となったロサンジェルスコンベンションセンター txt:安藤幸央 構成:編集部 リアルタイムCGが映像制作の現場に。VR技術で映像制作の可能性が広がる現場 SIGG... 続きを読む

[SIGGRAPH2018]Vol.05 応用例が広がるCG/VFXの世界

txt:安藤幸央 構成:編集部 SIGGRAPH 2018全体を振り返る 展示会会場で大人気だったNVIDIAのレイトレーシングブース リーマンショッ... 続きを読む

[SIGGRAPH2018]Vol.04 業界における最先端のノウハウが共有できるSIGGRAPHの醍醐味

txt:安藤幸央 構成:編集部 担当者が制作過程を惜しげもなく公開。現場の苦労が聞けるプロダクションセッション プロダクションセッションは、Computer Anima... 続きを読む

[SIGGRAPH2018]Vol.03 現場で使われた小道具と衣装が集合。プロダクションギャラリーの見所

txt:安藤幸央 構成:編集部 VFX制作の現場を知るプロダクションギャラリー SIGGRAPHの人気展示のひとつ、プロダクションギャラリーは昨年から企画がスタート... 続きを読む

[SIGGRAPH2018]Vol.02 昨年以上のVR三昧。ハリウッド資本の流入と、新デバイスの発展

txt:安藤幸央 構成:編集部 特別なVR体験と、身近なVR体験へ キャプション:バーチャルカメラでVR空間を描いた仮想セットのカメラアングルを検討するスピルバーグ... 続きを読む

[SIGGRAPH2018]Vol.01 CGの祭典SIGGRAPH2018開催!

会場となったカナダバンクーバーカンファレンスセンター txt:安藤幸央 構成:編集部 VRは当然、ハリウッド業界がVRコンテンツに本気になった年 SIGGRAPH(シ... 続きを読む

特集記事

Inter BEE 2019 Inter BEE 2019
千葉幕張メッセにて開催される国際放送機器展“Inter BEE“をレポート。
InterBEE 2019の歩き方 InterBEE 2019の歩き方
今年もInterBEEの歩き方をジャンル別にピックアップし、6種類のコースを紹介。
Film Shooting Rhapsody Film Shooting Rhapsody
フィルム撮影の経験をしたい人に向けてフィルム撮影で必要な各種の工程について解説していく。
IBC2019 IBC2019
欧州最大の業務用映像・音響の専門展示会「IBC2019」をレポート。
新世紀シネマレンズ漂流 新世紀シネマレンズ漂流
シネマレンズを中心に一眼やミラーレスデジタルカメラの動画撮影機能と組み合わせて使われる交換レンズの最新動向を紹介する。
BIRTV2019 BIRTV2019
中国・北京の中国国際展覧中心で開催された展示会「BIRTV 2019」をレポート。
SIGGRAPH2019 SIGGRAPH2019
世界最大のコンピュータグラフィックスとインタラクティブ技術に関する学会・展示会SIGGRAPH2019をレポート。
QBEE2019 QBEE2019
九州放送機器展(QBEE)をいつもの会場練り歩き方式でレポート。
4K・8K映像技術展Report 4K・8K映像技術展Report
東京ビッグサイト青海展示棟にて開催された4K・8K映像技術などの最新技術が一堂に出展する「通信・放送Week2019」をレポート。
DSJ2019 DSJ2019
幕張メッセで開催された国内最大のデジタルサイネージの展示会「DSJ2019」をレポート。
Digital Cinema Bülow VIII~Cine Gear 2019 Digital Cinema Bülow VIII~Cine Gear 2019
米国ハリウッドのパラマウントスタジオ内で開催された映画撮影機材の専門展示会「Cine Gear Expo」をレポート。
After Beat NAB SHOW 2019 After Beat NAB SHOW 2019
東京・秋葉原のUDXにて開催されたAfter NAB Show 2019をレポート。
NAB2019 NAB2019
米国ネバダ州ラスベガスにて開催される世界最大の放送機器展覧会「NAB2019」をレポート。
SXSW2019 SXSW2019
テキサス州オースティンで開催されたSXSW2019をレポート。
CP+2019 CP+2019
パシフィコ横浜にて開催されたカメラと写真の総合展示会「CP+2019」をレポート。

トップ > 特集 > [SIGGRAPH2019]Vol.03 最新鋭の映像機器、VR応用の最先端