技术编辑:芒果果丨发自 思否编辑部
SegmentFault 思否报道丨公众号:SegmentFault
卡内基梅隆大学的研究人员已经证明,他们可以通过单独的摄像机将 iPhone 拍摄的视频结合起来,创造出 4D 可视化效果,让观众从不同的角度观看动作,甚至可以擦除暂时遮挡视线的人或物体。
以婚宴场景为例,从多个角度都可以看到舞者,就像有摄像机一样,而走在婚礼队伍前面的醉醺醺的客人却不见踪影。
4D 效果可由多个视频源合成
卡内基梅隆大学机器人学院学院的博士生 Aayush Bansal 说,这些视频可以在不同的有利位置独立拍摄,还可以在一个场景中录制演员,然后将他们插入另一个场景中。
Aayush Bansal 说:“我们仅受摄像机数量的限制,对可以使用多少个视频源没有上限。”
在上个月的计算机视觉和模式识别虚拟会议上,Aayush Bansal 和他的同事们展示了他们的 4D 可视化方法。
“虚拟现实”并不是什么新鲜事物,但是在过去,它仅限于工作室设置,例如卡内基梅隆大学的 Panoptic Studio,该工作室在其测地线中嵌入了 500 多个摄像机。将多个独立的手持摄像机拍摄的真实场景的视觉信息融合成一个能够重建动态三维场景的综合模型是不可能的。
Aayush Bansal 和他的同事通过使用卷积神经网络解决了这一局限,卷积神经网络是一种深度学习程序,已被证明擅长分析视觉数据。他们发现特定场景的卷积神经网络可以用来组成场景的不同部分。
新系统不受设备限制,适用于智能手机
卡内基梅隆大学的研究人员演示了他们的方法,使用了多达 15 部 iPhone 来捕捉各种各样的场景,包括在匹兹堡的国家养殖场,舞蹈、武术表演,甚至火烈鸟。
Aayush Bansal 说:“使用 iPhone 的目的是表明任何人都可以使用该系统,世界就是我们的工作室。”
这种方法也解锁了电影工业和消费设备的大量潜在应用,特别是随着虚拟现实头戴设备的不断普及。
虽然这种方法不一定能捕捉到完整的 3D 细节,但是该系统可以限制回放角度,使不完全重建的区域不可见,并且不会打破 3D 图像的幻觉。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。