为什么说:模糊对VR同样重要?

hi188| 撰文
一直以来,大家都在围绕着如何让VR接近现实。首当其冲的就是关于显示效果,包括提升屏幕清晰度,改变VR头显内部结构等;其次就是更多拟人化的支持,包括了眼球追踪,手势识别,体感背心,气味模拟器,跑步模拟器等等,目的就是在VR获得“真实化”的体验。
提升“真实化”的体验,当前主要集中突破的工作就是提升清晰度。因此,我们先来看看有哪些提升清晰度和观感的技术。
提升显示:提高分辨率
提升屏幕分辨率最为直接,我们知道屏幕的ppi直接代表着屏幕的细腻程度。此前谷歌和LG合作推出1443 ppi的VR专用屏幕为例,它的效果足够惊艳。据青亭了解,这是一块4.3英寸的OLED显示屏,分辨率为4800×3840,ppd接近40。
左:LG与谷歌合作1443 ppi屏幕实拍,右:常规538 ppi屏幕实拍
即便如此,根据公布的消息来看,人类视觉系统(HVS)视场角水平约160度、垂直约150度,ppd约60,这也意味着在VR环境中至少达到9600×9600分辨率才有可能达到接近清晰的显示效果。
当然,达到人眼的清晰度可能还难以实现,但最终目标就是无限接近人眼的清晰度。
提升显示:改变VR显示结构
除了提升屏幕的清晰度外,还有几种技术也值得谈一谈。首先,是Oculus在今年F8大会上展示的Half Dome原型机。
Half Dome原型机
Half Dome头显特点是采用了变焦显示系统,机身内置了一个机械结构,作用就是根据你眼镜注视到的区域去移动头显内的显示屏,以此来移动光学系统的焦点,代替模仿你的眼睛变焦的过程。
Half Dome变焦系统展示
这样做的优势是,可以实现更清晰的图像效果,即便是近距离的虚拟物体,例如手中的物体进行移动,总之保持较清晰的状态。
其次,还有一个解决思路就是采用双显示屏的组合,Varjo就是一个典型的代表,该公司旨在开发一款“人眼级”分辨率的VR硬件。
Varjo Bionic双屏VR头显原型机
考虑到当前可能没有较好的适用于VR的超高ppi显示屏,因此在自家Bionic VR原型机给每只眼睛配备了两个显示屏:一块1080×1200分辨率的副显示屏,一块尺寸更小的1920×1080分辨率的微显示屏作为主屏幕。
左:Vive Pro,右:Varjo Bionic
这样做有什么好处呢?由于眼睛自身特性是保持在中间区域,因此通过中间的高ppi微显示屏提供更高的画质,而眼睛的余光区域则用分辨率较低的副显示屏填充,让每块屏幕物尽其用,而且还拥有更为清晰的观看体验。
模糊对VR来讲同样重要
前面讲了很多提升VR清晰度和观看体验的案例,那么今天我们为什么又说模糊对VR来讲同样重要呢?
Tobii眼球追踪演示
这里就不得不提到另外一项技术:眼球追踪。眼球追踪技术对VR来说有以下几个好处就是尽可能模仿真实世界中你的状态,可应用在VR社交、游戏、系统UI,其中更重要的功能就是注视点渲染以及相关的“动态模糊渲染”(这里是我为了好理解自己起的词,并非常说的由于刷新率等导致的动态模糊,英文原词为defocus effect,即散焦效应,也可理解为聚焦过程的反动作,非注视区域的虚化效果)。
也就是说,这里指的“模糊”,指的是非焦点区域外的模糊。
注视点渲染就是着重渲染你眼睛注意区域,而非注视区域则进行次要渲染,以此来达到节省硬件计算资源的目的。而动态模糊渲染,就是实时渲染让非注视区域保持模糊状态,其和注视点渲染是个相反的过程。
一直以来,动态模糊渲染都被忽视的一项特性,究其原因一是当前主要任务是提升VR清晰度,二是该特性带来的改善并没有提升ppi那么直观。
既然这样一项不那么直观的特性还被拿来说呢?
接下来我用一个有关单反相机和手机摄影的案例来分析一下。我认为,人类总是在追求视觉上更舒适的场景,例如绿色背景让人放松。对于一张照片或一段视频而言,焦点突出以及自然的背景模糊能够更好的突出主体,从而更利于创作者表达自己的东西。
大小光圈效果展示,图片来自网络
单反相机之所被很多人喜欢,那是因为它能够拍摄出具备自然虚化的照片,而不是经过后期处理,这样的照片看上去足够自然,适合人像、风景等场景。通常来讲,单反镜头的光圈越大,就能拍出虚化效果更好的照片。
而到了智能手机时代,其受限于手机体积、传感器尺寸等物理因素,所拍摄的照片往往不能达到单反相机级别的虚化效果,即便照片很清晰。
vivo手机人像虚化效果展示
为了实现更好的虚化效果,手机厂商也会采用一些方法,包括所谓的“人像”模式,其中最有效的莫过于算法,通过算法去对照片进行模糊渲染,已达到更理想的视觉效果。当然,很多机器学习算法并不理想,仔细观看其模糊并不如物理大光圈效果真实,例如人像算法并不能完美的呈现出人物边缘,甚至错误识别等等。
iPhone Xs可调景深功能
甚至,苹果今年新推出的iPhone Xs主打功能之一就是先拍照后对焦,其支持先拍照,然后再通过编辑进行模糊渲染,而且速度足够快,效果理想。实际上,该功能和我们所讲的VR中的动态模糊渲染原理相似。当然,这相功能对硬件依赖也很大,凭借A12处理器强大的AI能力,该功能才得以实现,以至于iPhone X就不支持。
之所以人类喜欢带有虚化效果的图片和视频,那是因为人类的眼睛本身就具备这样的特性,这样做能够尽可能接近真实。
今天Oculus公布了一项名为“DeepFocus”的最新研究,这是一个能够提供逼真视觉效果、眼神凝视效果,以及上面提到的支持偶然和实时性的动态模糊效果。
DeepFocus动态模糊渲染演示
从过上图来看,DeepFocus呈现的视觉效果足够理想,其能够很好的把眼睛的注视点进行清晰的渲染,而其它区域则进行模糊化渲染。
DeepFocus动态模糊渲染演示
DeepFocus出自Facebook Reality Labs(以下简称:FRL),其研发总监Douglas Lanman表示:这套系统是提供未来全天候使用VR的基础,因为这是基于人类眼睛特性而言的,即便长时间观看VR也会比较自然。
据悉,这套动态模糊渲染的开发过程并不顺利,起初就是因为不够自然,尤其是在VR游戏中,这些都是经过游戏引擎的,另外就是偶然性的模糊效果并不理想,速度不够快,因此我们并不确定眼睛下一秒将会盯向何方。
DeepFocus深度信息效果演示
为了解决这个问题,FRL决定通过给这套系统融入AI技术。据悉其中负责参与深度学习开发的研究员名为雷晓(音译,Lei Xiao),应该是一名华裔,其博士阶段研究包括了计算机摄影的机器学习技术。
最终,经过众多开发人员的努力,打造出的DeepFocus具备效果逼真的模糊效果,并且适用于Oculus商店所有游戏,无需应用开发者做任何修改。据悉,未来DeepFocus还支持多焦点和光场图像合成的能力。
当然,AI计算需要强大的算力,而当前DeepFocus系统演示是在一台4块GPU的计算机上运行,未来就是着手让这套系统变得更易用,例如用一台常规的游戏PC就能驱动,已降低实现难度。
显然,这套动态模糊渲染让我们看到了未来VR该有的样子,被看作是下一代VR头显的必备技术。
虽然本次的演示基于DeepFocus和Hals Dome头显,但是基于机器学习的动态模糊渲染技术和硬件无关。重要的是,Facebook已经开源了DeepFocus源代码和训练数据,所以一起感谢Facebook吧。
(END)


推荐阅读
每天五分钟,轻松了解前沿科技。
——青亭网

为您推荐

发表评论

邮箱地址不会被公开。 必填项已用*标注