繁
Apple机器学习研究团队近日公开了一项名为SHARP（Single-imageHolisticAndRealisticPhotorealism）的全新3D合成技术。该方法仅需一张普通照片，即可在不到一秒的时间内生成具备真实感的3D场景，并支持实时渲染--为单图像3D重建领域树立了新的性能与质量标杆。秒级推理+实时渲染，效率提升千倍SHARP的核心技术在于，通过一个端到端的神经网络，直接从单张输入图像中预测出3D高斯表示（3DGaussianrepresentation）的完整参数。整个过程仅需一次前向推理，在标准GPU上耗时不足1秒。相较于此前最先进的方法，SHARP将3D生成所需时间缩短至千分之一。更关键的是，所生成的3D模型可在消费级GPU上实现每秒超100帧的渲染速度，同时输出高分辨率、照片级真实的邻近视角图像。基于物理尺度，实现精准视角控制不同于多数仅关注视觉效果的3D重建方案，SHARP生成的3D表示建立在以米为单位的绝对尺度之上。这意味着用户在虚拟环境中移动视角时，其位移量能与现实世界中的相机运动精确对应，极大提升了交互的真实感与可用性。研究团队在包括Unsplash、ETH3D和Middlebury在内的多个公开数据集上进行了广泛测试，验证了SHARP在不同场景、光照和内容类型下的高泛化能力与鲁棒性。画质指标全面领先，细节还原能力突出在客观画质评估方面，SHARP表现同样亮眼：在LPIPS感知相似度指标上，相较当前最优模型提升25%–34%；在DISTS图像失真度量上，误差降低21%–43%。更重要的是，该方法能在保持几何结构完整性的同时，精准还原输入图像中的细微纹理与锐利边缘，使合成结果在视觉上几乎难以与原始照片区分。目前，相关论文已在arXiv公开，项目代码也已开源至GitHub。Apple研究团队表示，SHARP有望成为单图像高质量3D生成的新标准，为AR、内容创作、机器人视觉等领域带来深远影响。Apple Github：https://apple.github.io/ml-sharp/
