PRONEWS

  • imgABOUT
  • imgTWI
  • imgFB
  • imgYTU
  1. トップ
  2.  > 
  3. 特集
  4.  > 
  5. [SIGGRAPH2020]Vol.04 SIGGRAPHに見る映像制作技術の最先端
News

[SIGGRAPH2020]Vol.04 SIGGRAPHに見る映像制作技術の最先端

#SIGGRAPH #SIGGRAPH2020

2020-09-30 掲載

Googleが推し進めるライトフィールドビデオの撮影装置
txt:安藤幸央 構成:編集部

4K、8Kその先の映像技術

最新のライトフィールドビデオに至るまでの実験機器

今回、オンラインで開催されたSIGGRPAH 2020の最注目株は、視聴者が視野角や映像の遠近、視点などを撮影後に変えることができる、ライトフィールドビデオの技術だ。ライトフィールドカメラの技術は数年前にLytro社から市販され、日本でも多少高価ながらも一般に購入することができた。カメラの常識から考えると撮影したあとにピントが合う位置を変えられる仕組みに驚いたものだ。

そのLytroは残念ながら商業的にはうまくいかず企業としては解散してしまったが、Lytroがもつ特許資産とLytroで働いていた優秀な技術者たちはそのままGoogleに移ったと言われている。そんなLytroの悲願を具現化したのが今回のGoogle Light Field Videoの技術なのかもしれない。

研究開発には、この分野の第一人者であるPaul Debevec氏が数年前Google VRチームに入ったのをきっかけに現在はGoogle Researchに所属し本研究を進めている。

解説動画:Immersive Light Field Video with a Layered Mesh Representation

プロジェクトページ
IMMERSIVE LIGHT FIELD VIDEO WITH A LAYERED MESH REPRESENTATION

(ページの下部にWebブラウザで見られるデモが多数用意されている。またVRヘッドセットで視聴できるデモプログラムも公開)
46台のカメラリグで撮影した映像(処理前) 軽量データに変換されWebブラウザ上で視点を動かすことができるライトフィールドビデオコンテンツ 上記データが持っている奥行き情報

Immersive Light Field Videoの撮影装置は、直径92cmの半球ドームの表面に46台の撮影タイミングが同期されたカメラが取り付けられ、昆虫の複眼のような仕組みで奥行きのある現実世界を撮影する。角度1°につき10ピクセル分の解像度を持ち、220°以上の視野を30fpsで撮影することができる(通常のビデオカメラであれば超広角でも120°程度)。

またImmersive Light Field Video技術の従来にはないポイントは、収録した大量のデータを処理し、品質を損なうことなく軽量のデータとして圧縮することでスマートフォンやWebブラウザでもストリーミング再生できる映像データとして取り扱うことができる点だ。

またカメラが46台!で済んでいるのはDeepViewという設置されたカメラとカメラの間を補完する機械学習を活用した技術のおかげだそう。今後はカメラリグを拡張して220°と言わず、360°収録することを目指しているそうだ。

46台のカメラの映像を最適化した上で1枚の画像に圧縮して詰め込んでいる。そのおかげでH.264といった一般的な動画圧縮フォーマットで扱うことができる

このImmersive Light Field Videoの技術は、期待感こそあれ、まだまだ一般的に収録したり視聴したりする段階にはない。けれども4KテレビやVRヘッドセットが想像以上のスピードで普及していることを考えると、一般にもこのような撮影ができるビデオカメラや、視聴装置が普及するのもあと数年のことかもしれない。

昨年のSIGGRAPH ASIA 2019でGoogleの研究チームはThe Relightablesと呼ばれる人の動きを全てキャプチャする仕組みを発表していた。こういった世の中の全てをデータ化する、全てを再現、視聴できるようにするといった一連の研究は、Googleのミッションである「世界中の情報を整理し、世界中の人々がアクセスして使えるようにする」ことの一つにすぎないのかもしれない。本研究はSIGGRAPH 2020のBest in Show/Immersive Experience賞を受賞した。

RealTime Live!より脅威の映像

例年のSIGGRAPHであれば、会場内の一番大きなホールに数千人が集まり、夜の2時間その場で行われるリアルタイムのプレゼンテーションを楽しむイベントが、RealTime Live!であった。

SIGGRAPH 2020 RealTime Live!(全編、登録なし無料で、YouTube公開)

今年はそんなイベントも真の意味でリアルタイムライブ配信になってしまい、各発表者が自宅やオフィスから発表する様子を参加者が自宅でパジャマ姿で観るというイベントとなった。その中でも映像制作技術として注目を浴びた3つの発表を紹介しよう。

■リアルタイムで動画映像を手描きの雰囲気に変換できる技術
RealTime Live!のアーカイブ映像の開始10分あたりからデモを見ることができる

“Interactive Video Stylization Using Few-Shot Patch-Based Training”は、ある1枚の絵を描くと、動画の全てのフレームに描いた絵画風の雰囲気を当てはめてリアルタイムで変換することのできる映像技術。

オンラインの映像配信やVR世界のコミュニケーションではいかに実世界に近づけるか?という観点がある一方、例えば似顔絵や建築の世界では、超リアルなCGよりも、手描きの良さが再認識されている。このデモでは実写撮影した映像を絵画風に扱ったり、映像素材の表現に期待が広がる研究だ。

チェコ工科大学とSnapchatのSnap社による共同研究。

公式サイト


■AIによる顔の差し替え技術(AI-Synthesized Avatars)
Pinscreen Virtual Assistant(Live Demo 2020)
トランプ大統領の顔に差し替えるDeepFake映像
RealTime Live!のアーカイブ映像の開始32分あたりよりデモを見ることができる

Pinscreen社では、メジャーなゲームエンジンとPaGANという機械学習の仕組みを利用し、滑らかな顔アニメーション表現を実現している。RealTime Live!のデモでは映画俳優ウィル・スミスの顔に差し替えたり、Webに掲載されているデモでは顔をトランプ大統領に差し替えたりしたものが公開されている。

トランプ大統領との顔の差し替えDeepFake映像 俳優ウィル・スミスの顔と差し替えてビデオ電話している様子

Pinscreenの技術で差し替え可能なのは顔の部分だけなので、髪型は元のままなのがご愛嬌だが、一見、見間違えるほどのレベルで顔が差し替えられているのも確かだ。大統領など公人の場合、肖像権が生じないことを利用してのデモであり、まだまだ偽物だと見分けることができるレベルではあるのだが、悪用されたり、騙されたりする人が出てくる可能性を考えると空恐ろしさも感じる。

公式サイト


■書いた言葉の3Dキャラクタが登場するARアプリ(DrawmaticAR)
RealTime Live!のアーカイブ映像の開始18分あたりよりデモを見ることができる

DrawmaticARは、iPhone,Androidスマートフォン用のARアプリとして開発されたもので、ARマーカーと呼ばれる認識用の紙の指定の領域に文章(英文)を書くと、そこに書かれた単語を自動認識し、仮想世界でドラマティックなお話が始まったかのように色々な3D物体が登場する技術だ。

技術的にはAIによる文字認識もスマートフォンによる実空間にCGを重ねて表示させるARもそう目新しいものではないが、その2つを組み合わせることで、グッと世界観が広がる技術の応用例だと再認識させられる。もともとは言葉の勉強、ストーリーテリングの学習のため、教育用として作られたアプリ。DrawmaticARはRealTime Live!の観客からの投票が一番多く、オーディエンス賞を受賞した。

iPhone版
Android版

公式サイト

今後のSIGGRAPHについて

全てオンラインで開催されたSIGGRAPH 2020のアーカイブ配信は、2020年10月27日まで続く(参加登録はすでに締め切られている)。日本の冬季に開催される「SIGGRAPH ASIA 2020」は韓国のデグ市で開催される予定であったが、今年は全てオンラインでの開催が決まった。通常より少し会期が長く12月4日~13日の9日間開催されることが決まっている。

また、来年のSIGGRAPH 2021は、米国ロサンゼルスで8月1日から5日の5日間開催される予定であるが、現状どのようになるのか全くの未定だ。世界的な未曾有の危機にさらされている現在、だからこそCG/VFX/VRのニーズはますます高まっているとも言える昨今だ。

txt:安藤幸央 構成:編集部
Vol.03 [SIGGRAPH2020] Vol.01

[ Category : , ]
[ DATE : 2020-09-30 ]
[ TAG : ]

この記事に関連する記事一覧

[SIGGRAPH2020]Vol.03 リモートワーク時代の映像制作スタイル

MPCが手がけた、ARゲーム「マインクラフトアース」のCMより txt:安藤幸央 構成:編集部 広告系の映像制作もロケが困難。CG/VFX効果が重要に。リモートワークで... 続きを読む

[SIGGRAPH2020]Vol.02 映像業界のリモートとバーチャルを考える

SIGGRAPH定番の歩くティーポットのお土産、今年はARで楽しむことに txt:安藤幸央 構成:編集部 オンラインならではの楽しみ。定番グッズもARで! SIGGR... 続きを読む

[SIGGRAPH2020]Vol.01 CGの祭典SIGGRAPH2020開催!今年のテーマは「THINK BEYOND」

全てオンラインで開催された異例のSIGGRAPH 2020 txt:安藤幸央 構成:編集部 全てオンラインで開催、異例の大規模カンファレンスSIGGRAPH 2020 ... 続きを読む

[SIGGRAPH2019]Vol.05 技術進歩で制作そのものが変化する。CG技術で進化する映像制作のワークフロー

txt:安藤幸央 構成:編集部 リアルな撮影、バーチャルな撮影 バーチャルスタジオでの撮影の様子。床面のみ実物で、砂や石ころが敷き詰められている 今年のSIGGR... 続きを読む

[SIGGRAPH2019]Vol.04 未来の表示装置と、リアルタイムCGの世界

txt:安藤幸央 構成:編集部 先端技術展示。未来的のディスプレイデバイスの紹介 最新技術の展示体験コーナー、レーザー描画の絵柄でお出迎え SIGGRAPHの... 続きを読む

[SIGGRAPH2019]Vol.03 最新鋭の映像機器、VR応用の最先端

txt:安藤幸央 構成:編集部 新しい映像配給チャネル、Netflixが考えるCG/VFXと、ストリーミングの勘所 SIGGRAPHのプロダクションセッションと言えば、... 続きを読む

[SIGGRAPH2019]Vol.02 生々しい制作の現場。プロダクションギャラリーで制作の現場に出会う

txt:安藤幸央 構成:編集部 CG/VFX制作の現場を知るプロダクションギャラリー SIGGRAPHの人気展示のひとつ、プロダクションギャラリーは2017年から企画が... 続きを読む

[SIGGRAPH2019]Vol.01 CGの祭典SIGGRAPH2019開催!今年のテーマは「THRIVE」

会場となったロサンジェルスコンベンションセンター txt:安藤幸央 構成:編集部 リアルタイムCGが映像制作の現場に。VR技術で映像制作の可能性が広がる現場 SIGG... 続きを読む

[SIGGRAPH2018]Vol.05 応用例が広がるCG/VFXの世界

txt:安藤幸央 構成:編集部 SIGGRAPH 2018全体を振り返る 展示会会場で大人気だったNVIDIAのレイトレーシングブース リーマンショッ... 続きを読む

特集記事

Inter BEE 2019 ぼくらのEDIUS X
約3年ぶりのメジャーバージョンアップとなる「EDIUS X」の魅力を紹介。
InterBEE 2019の歩き方 Broadcast & Cinema EXPO 2020
映像制作者、映像業界関係者向け情報イベント配信番組。
ATEM WORLD ATEM WORLD
ラインナップ充実のATEM Miniシリーズの選び方や使いこなしをご紹介。
SIGGRAPH2020 SIGGRAPH2020
オンライン開催されたVFXの祭典・SIGGRAPH2020をレポート。
映像基礎講座 映像基礎講座
映像の基本や基礎知識を学ぶ。映像制作初心者はもちろん、熟練者ももう一度初心に立ち返ろう。
	
Shoot with Vlog cam Shoot with Vlog cam
個人の動画ブログ「Vlog」が隆盛するいま、Vlog用カメラを通して映像を撮ることを数回にわたり考える。
Camera Preview 2020 Camera Preview 2020 Part II
2019年から2020年春にかけて発表された話題の新製品やカメラシステムを紹介。
Camera Preview 2020 Camera Preview 2020 Part I
2019年から2020年春にかけて発表された話題の新製品やカメラシステムを紹介。
AfterCOVID-19 映像業界サバイバル AfterCOVID-19 映像業界サバイバル
社会的危機となっている新型コロナウイルス拡大の状況を分析し、今何が起こり、何が必要で、その後に何が訪れるのかを考えてみる。
Film Shooting Rhapsody 上映編 Film Shooting Rhapsody 上映編
16mmフィルムトライアルルームの荒木泰晴氏によるフィルム特集第2弾。今回はフィルム現像から紹介する。
再現:NAB2020 再現:NAB2020
米国ラスベガスにて開催予定だった世界最大の放送機器展覧会 2020 NAB Showでお披露目される予定だった内容を再現していく。
Film Shooting Rhapsody Film Shooting Rhapsody
16mmフィルムトライアルルームの荒木泰晴氏によるフィルム特集第2弾。
再現:CP+2020 再現:CP+2020
開催中止となってしまったCP+2020をPRONEWS誌面上で再現して行く。
CES2020 CES2020
米国ラスベガスで開催された世界最大の国際家電見本市 CES2020をレポート。
PRONEWS AWARD 2019 PRONEWS AWARD 2019
2019年は映像業界にとってどんな年だったのだろうか。PRONEWS AWARDで部門ごとに振り返る。
  1. トップ
  2.  > 
  3. 特集
  4.  > 
  5. [SIGGRAPH2020]Vol.04 SIGGRAPHに見る映像制作技術の最先端