和2D显示屏、手机屏幕相比，VR图像为什么看起来更加沉浸、立体呢？一方面是透镜将左右眼图像结合，形成3D视觉效果，而另一方面则归功于屏幕画面与头部追踪的同步作用。
(资料图片)
简单来讲，就是VR会根据用户头部的位置和朝向来改变其眼前的画面，每一帧画面对应了用户观看眼前场景的不同视角，从而模拟人眼3D视觉效果，营造一种立体、沉浸的感觉。
换句话说，假如你看传统电脑显示屏，不管从哪个角度看它，屏幕上的图像观感都是静止的。当然，我们也可以通过动态渲染和模拟，来营造一种裸眼3D的感觉，比如任天堂3DS就通过双摄像头，来捕捉人眼双目视差，从而形成3D观感。近期，电商平台Shopify的“空间商务项目”团队就研发了一种类似的技术，该技术名为WonkaVision，特点是用2D显示器实现裸眼3D视觉效果，且成本低，通过电脑摄像头来追踪用户头部，从而将电脑屏幕的静止画面变得立体。
据青亭网了解，WonkaVision灵感来自于谷歌工程总监Johnny Lee在15年前的一个发明，当时Lee经过改装，将任天堂Wii控制器变成了红外头部追踪装置，用来定位穿戴在用户头上的传感器，并利用捕捉到的头部信息，将2D屏幕变成了跟随头部变化的裸眼3D效果（宣称是“VR效果”）。尽管Lee的改装发明获得网友普遍好评，给人留下了深刻的印象，但它几乎从未被商用。据悉，Lee此前曾参与过微软Kinect项目，也曾是Google Tango的负责人，而现在则在谷歌从事AR设备和体验管理。
改进的裸眼3D方案
为了改进Lee的设计，Shopify想用电脑摄像头来取代Wii控制器，并将裸眼3D程序在浏览器中运行。Shopify表示：如果使用电脑摄像头就能实现Lee的方案，那么它将被更多人使用，甚至可能带来全新的网络交互体验。未来可以和电商平台很好的结合，比如打造虚拟界面、立体的商品预览等等，如将品牌网站打造成立体的虚拟店面，允许消费者查看店面中的商品，就像是在线下逛商场的感觉。
值得注意的是，WonkaVision并非通过红外信号定位头部，而是通过摄像头来追踪用户的眼球。通常电脑摄像头为单目方案，于是项目组采用谷歌MediaPipe Iris眼球追踪模型，它使用单个RGB摄像头就能定位人眼的位置，以及瞳孔的特征点，无需借助专门的硬件。基于此，WonkaVision可预测出人眼和摄像头之间的相对位置，相对误差小于10%。
不过由于MediaPipe Iris并没有开源的JavaScript，所以不能在网页端运行。于是，Shopify改用MediaPipe Face Mesh，来测量摄像头与人眼之间的距离，经验证其准确性对WonkaVision足够用。以下是它的流程：
1）MediaPipe Face Mesh检测瞳孔周围四个点（上下左右）； 2）结合四个点距离，以及瞳孔平均宽度（11.7毫米），来预测用户瞳孔参数； 3）结合瞳孔参数和摄像头参数，通过简单的针孔相机模型方程，来计算出人眼在空间中的深度/距离，从而推算出其X、Y坐标。通过检测黑白棋盘四角，来计算摄像头参数
利用DIY方式验证瞳孔距离预测的准确度
将屏幕变成虚拟窗口
通过WonkaVision，Shopify希望那个将2D显示屏变成一个“窗口”，就像是当你透过窗户查看外面立体景色那样，屏幕显示的画面会跟随你的视角、距离而变化，看起来就像窗外的景色。
在解决眼球追踪功能后，Shopify团队在游戏引擎中建立了一个3D场景，并将该场景与屏幕边缘对齐，将摄像头的位置作为起始点。也就是说，该场景显示在屏幕上的每一帧，都是根据人眼和屏幕/摄像头的距离来改变。
为什么要将虚拟场景和物理屏幕对齐呢？Shopify解释，为了让屏幕有窗户的效果，则需要假设屏幕边框存在于虚拟世界中。与此同时，还在人眼（右眼）的位置设置了一个虚拟相机，这样虚拟相机就能捕捉到，在人眼位置看3D场景的效果（看起来具有远近深度）。
同轴和离轴透视投影
在这个方案中，Shopify还探索了3D成像的同轴、离轴投影问题。
如果WonkaVision的虚拟相机使用轴上透视投影方案，那么视椎体看起来像是形状不变的金字塔，它的问题是窗框外边的虚拟场景也会透出来。那么如果使用离轴透视投影矩阵，虚拟相机的视椎体则看起来像是不对称的金字塔，底部固定在虚拟窗口上，从正面看起来视觉效果理想，虚拟场景的内容会根据视角和距离而变化，窗口边缘外的虚拟内容不可见。
另外，WonkaVision的虚拟相机位于右眼，而非双眼中间。这是因为它追踪双眼位置来渲染3D效果，而非定位整个头部。但它有一个局限，就是只能将虚拟相机放在一只眼睛的位置，观看时需要闭上另一只眼睛。而如果将虚拟摄像头放在双眼中间，则无法准确计算双目视差，导致深度错觉感消失。Shopify表示：虚拟摄像头放在双眼中间时，依然能生成有趣的效果，但立体感不够理想。
实际上，VR头显就基于类似原理。VR会将同一个场景渲染两次，分别对应左右眼，并分别显示在屏幕左侧或右侧（或是左右两块屏幕）。而对于WonkaVision来讲，由于只有一块屏幕，因此便仅从一只眼的角度来进行渲染。
最终原型
经过验证，WonkaVision视觉效果自然，看起来就像从屏幕中冲出来一样。未来，除了虚拟商品、店面展示外，WonkaVision也可以为动画、游戏等内容带来有趣的3D视觉体验，比如用肉眼感知僵尸从屏幕里面走出来的感觉。
不过与Lee的方案类似，WonkaVision也存在一些局限，导致其难以被广泛应用。Shopify指出，虽然解决了硬件成本问题，但摄像头参数很难计算，而且屏幕的尺寸各不相同，因此难以适配。此外，它还有一些局限，比如需要闭上一只眼才有好的效果，这无疑为用户体验带来了门槛。
尽管WonkaVision可以在网页端运行，但它依然不适合广泛使用，因为目前仅适用于一种屏幕尺寸，和一种固定的摄像头参数。除非能够轻松获得任何摄像头参数，以及屏幕尺寸，否则这种3D模拟方案将很难成为主流。参考：Shopify
