国内 AI 公司 4DV AI 最近上线了一个基于 WebXR 的体积视频(volumetric video)演示项目,该视频通过 20 个摄像头视角合成,实现了 6 自由度(6DoF)的沉浸式观看体验。你无需下载任何应用,即可在 VR 设备上直接体验。
4DV AI 所采用的技术核心是当前热门的 高斯点阵(Gaussian Splatting),它利用机器学习对多个角度的视频输入进行“训练”,生成具有深度信息的三维场景。近年来,这项技术在体积渲染领域的作用,正如大语言模型(LLMs)之于聊天机器人——将原本昂贵且小众的技术带入了商业化阶段。
目前已有产品如 Varjo Teleport 和 Niantic 的 Scaniverse 都采用了类似技术。而此次 4DV AI 的成果,则进一步推动了这一方向的发展。
去年,Gracia 曾展示过一个动态高斯点阵的演示,但其系统需要 6 分钟才能训练单帧画面。相比之下,4DV AI 宣称其技术效率提升了 30 倍,仅需相同时间即可完成 1 秒视频的训练。
此外,Gracia 的方案依赖昂贵且难以移动的专业拍摄棚,通常使用环绕式的数十台摄像机捕捉人物主体,背景往往被省略。而 4DV AI 的方法则更加实用:它使用约 20 台普通摄像机从单一方向捕捉整个场景的前半弧面,虽然还远未达到“即拍即用”的便捷程度,但已经足够让专业摄像师轻松部署。
4DV AI 在数据压缩方面也表现出色,每秒视频数据量约为 12.5MB。这意味着,在 100Mbps 网络环境下,理论上可以实现 每秒加载 1 秒视频 的实时播放效果,非常适合未来通过云端进行流媒体分发。
你可以通过访问 WebXR 演示页面亲身体验这一技术。演示中呈现的效果类似于 180° 的 3D 视频,但它具备 完整的 6DoF(六自由度)功能,也就是说,你可以像真实世界中那样前后左右探头观察,而不会像传统沉浸视频那样“画面固定在头上”。
当然,当你移动到摄像头视野重叠区域之外,尤其是完全遮挡区域时,会出现一些模糊和视觉伪影。不过整体重建质量依然令人印象深刻,这种“探身”能力相比传统沉浸式视频是一次重大飞跃。
你可以在以下设备上体验该演示:
独立式 VR 头显:如 Quest、pico 或 Apple Vision Pro,通过浏览器访问;
PC VR 用户:也可通过支持 WebXR 的浏览器(如 Chrome)体验;
非 VR 用户:所有场景也可以在普通屏幕(flatscreen)上观看。
根据实测反馈:
在 Apple Vision Pro 和 PC VR 上表现相对流畅,仅有轻微卡顿;
在 Quest 3 上则出现了屏幕空间伪影和较为明显的性能问题。
因此,不同设备上的体验可能会存在较大差异。
该演示共包含:
8 段各为 10 秒的动态视频片段;
以及若干静态场景;
非常适合快速了解高斯点阵在体积视频领域的潜力。
体验地址:
1 | https://www.4dv.ai/viewer/salmon_10s?showdemo=4dv&ref=<a href="https://www.vr52.com" target="_self">VR52</a>.com |
4DV AI 此次发布的 WebXR 演示,不仅展示了国内公司在 AI+XR 技术融合方面的进展,也为未来的远程协作、虚拟演出、教育等领域提供了新的可能性。
随着硬件性能提升与算法优化,我们或许即将迎来一个真正意义上的 6DoF 流媒体时代。
VR52网成立于2015年,平台提供VR头显、AR眼镜、配件外设、厂商、测评、行业资讯、游戏与应用、展会活动等。