日本公共广播机构NHK在其最新的电视节目《前沿》中，展示了其体积视频[1]技术的开发成果。这个节目通过利用最新的拍摄技术，展示了只有在科技前沿领域的人们才能看到的“近未来新世界”。2023年12月13日频道NHK BS播出了《前沿》的第二集《前沿AI：迈向极致智能》，并于12月14日在频道BS Premium 4K上重播，该节目采用了NHK的科学技术研究实验室（STRL）开发的体积视频技术，在STRL建立的元宇宙演播室（Meta Studio）完成了拍摄。
体积视频的制作分为两个步骤：第一步是体积捕捉，通过多个围绕目标物体的摄像机捕捉视频，实时获取物体的3D形状和纹理。第二步是渲染，将捕捉到的模型与虚拟空间中的其他CG模型进行虚拟拍摄。Meta Studio能够从不同视角，捕捉到拍摄对象表面光泽和纹理的变化，这样不仅增加了视频的现实感，还能在模型的渲染过程中灵活调整视角和光线效果。
这次节目使用了26台环绕摄像机拍摄两位手拿道具（球、篮子、盒子）进行表演的儿童演员，展示了“Sally-Anne测试”这一心理测试（图1）。随后还播放了一组自由视角视频，仿佛这些演员和小道具是由单一摄像机进行无剪辑的环绕拍摄。
STRL开发的“实景与虚拟无缝切换技术”，结合了4K实景视频的超高清晰度和体积视频渲染的自由度，可以在不产生位置偏差的情况下，实现实景视频与体积视频之间的切换（图2）。体积视频拍摄视角与虚拟背景保持了一致的透视感，播出时使用色键合成[2]技术将二者结合到一起。此外，该技术还可以通过快速改变视点来实现动态视觉效果，并抑制摄像机运动中的速度急变[3]，减少了在观看时因视点变化带来的不适感。
Meta Studio不仅能提供自由视点视频特效，还能提升节目制作的效率，例如，将本来需要现场完成的拍摄和照明工作转移到后期制作阶段，让一次拍摄的视频内容，能应用于多种用途。
未来，STRL将致力于开发既易于使用、质量高且真实感强的体积捕捉技术，从节目制作的角度为高效的内容制作做出贡献。
图1：Meta Studio中拍摄图2：从真实视频（上）到体积视频（下）的无缝切换注：
[1]体积视频：Volumetric Video，利用该技术可以拾取人物、道具等真实物体的三维形状、运动和纹理，创建模型，可在虚拟空间中调整模型位置、照明，并进行拍摄、合成，进而生成视频。
[2]色键合成：使绿色背景透明并与另一个背景合成的技术。
[3]速度急变：速度忽快忽慢的效果。
来源：广播与电视技术
翻译：梁启蓉
审稿：杨 宇
