NHKバーチャルスタジオシステムの提案。生放送で利用できるリアルタイムカメラトラッキング

NHK技研公開では、昨年に引き続いて高機能バーチャルスタジオシステムが紹介された。簡易でコンパクトなハイブリッドセンサーカメラ実装のカメラシステムを使って、実写と馴染む自然なCG合成を可能にする。

昨年は、スタジオから離れた場所に全天周カメラを設置し、そのライブフィードをリアルタイムにスタジオの実写およびCGと合成できるバーチャルスタジオシステムとして紹介していた

カメラとは別にリグにセンサーカメラを搭載することが多い中、本システムではカメラに装着できるため、リグフリーでカメラオペレーションでき、実写と3DCGをリアルタイム合成して生放送が行える。CG描画ではリアルタイムゲームエンジンを組み込むような応用も可能だ。今回のデモンストレーションは、屋内スタジオでの被写体とCG背景を合成する用途としてグリーンバックを使用しているが、屋外での利用もできる。同様なバーチャルカメラシステムを持つNCAMでは、ゲームエンジンを使ったリアルタイムグラフィックスと実写の合成技術が、スポーツ中継といった放送分野で活用されていくという。

カメラに実装するハイブリッドセンサーはMEMSセンサーと呼ばれ、ジャイロ、加速度などを使ってカメラの姿勢、位置、高さを計測する。床面の一角にはポイント（点群）を印刷したシートが配置されており、センサーカメラが捉えると実際の位置と向きとの誤差を補正する。

センサーカメラで底面を撮影し画像解析をして位置を計測する。レーザーでは床からかえってきた反射光を受けて高さを計測する。モーターは方位を制御する

今回は、開発を進めている照明推定装置（照明センサー）の実機もお目見えした。本装置は、照明の位置・明るさ・色を正確に取得しスタジオの照明条件に合ったCGを描画できるようにし、実写とCGの自然な映像合成を可能とする。このバーチャルスタジオシステムは小規模な制作スタジオでも手軽に使えるようにCG描画装置のインターフェイスを改善しており、NHKエンジニアリングシステムでは、本システムに関連するコンテンツ制作からシステムレンタルまで展開している。

（山下香欧）