关于我们 | 联系我们

918博天堂航母-918博天堂平台-918博天堂手机客户端

当前位置:官网首页 > 新闻资讯 > 公司新闻 >

DeepFocus,基于AI实现更逼真的VR图像

DeepFocus是一种基于AI的渲染系统,用于在VR中渲染自然逼真的人眼聚焦效果。本文来自Facebook工程博客,LiveVideoStack进行了翻译。感谢阿里巴巴高级算法专家盛骁杰提供的技术审校。

研究内容:

一种新的基于AI的框架,用于在VR中渲染自然逼真的人眼聚焦效果。DeepFocus可与高级原型头盔配合使用,在不同的焦距实时渲染模糊效果。例如,当有人戴着支持DeepFocus的设备观看附近的一个物体时,它会立即聚焦并变得清晰,而背景物体则会像在现实生活中一样,呈现出失焦模糊效果。这种失焦模糊(也称为视网膜模糊)对于实现VR中的真实感和深度感知非常重要。DeepFocus是第一个能够为VR应用程序实时产生这种效果的系统。我们现在开放我们的工作和数据集,以帮助VR研究界的其他人。

它是如何运作的:

一些传统方法,例如使用累积缓冲算法(accumulation buffer),可以实现物理上精确的失焦模糊。但它们无法实时生成复杂,丰富的内容,因为这种处理,即使是对于最先进的芯片,要求也太高了。与此不同的是,我们使用深度学习解决了这个问题。我们开发了一种新颖的端到端卷积神经网络,一旦眼睛看到场景的不同部分,就会产生具有精确视网膜模糊的图像。该网络包括新的保持体积的交织层,以减少输入的空间维度,同时充分保留图像细节。然后,网络的卷积层运行在相同的,降低了的空间分辨率上,从而运行时间能够明显减少。

为什么重要:

随着对新型VR头显技术的研究不断深入,DeepFocus将能够模拟精确的视网膜模糊,从而产生非常逼真的视觉效果。该平台还表明AI可以帮助解决VR渲染高度计算密集型视觉效果的挑战。DeepFocus为克服未来新型显示系统的实际渲染和优化限制提供了基础。

由于DeepFocus仅依赖于标准RGB-D颜色和深度输入,因此它几乎适用于所有现有的VR游戏和应用程序。它还兼容VR研究界目前正在探索的所有三种头显类型,分别是:变焦显示器(如Half Dome),多焦点显示器(例如,FRL先前的工作)和光场显示器。

详细了解Facebook Reality Labs如何创建DeepFocus。

(https://www.oculus.com/blog/introducing-deepfocus-the-ai-rendering-system-powering-half-dome/)

阅读完整的论文:

DeepFocus:用于计算显示的学习图像合成

(https://research.fb.com/publications/deepfocus-siggraph-asia-2018/)