繁
Apple机器学习研究团队近日公开了一项名为SHARP（Single-imageHolisticAndRealisticPhotorealism）的全新3D合成技术。该方法仅需一张普通照片，即可在不到一秒的时间内生成具备真实感的3D场景，并支持实时渲染--为单图像3D重建领域树立了新的性能与质量标杆。秒级推理+实时渲染，效率提升千倍SHARP的核心技术在于，通过一个端到端的神经网络，直接从单张输入图像中预测出3D高斯表示（3DGaussianrepresentation）的完整参数。整个过程仅需一次前向推理，在标准GPU上耗时不足1秒。相较于此前最先进的方法，SHARP将3D生成所需时间缩短至千分之一。更关键的是，所生成的3D模型可在消费级GPU上实现每秒超100帧的渲染速度，同时输出高分辨率、照片级真实的邻近视角图像。基于物理尺度，实现精准视角控制不同于多数仅关注视觉效果的3D重建方案，SHARP生成的3D表示建立在以米为单位的绝对尺度之上。这意味着用户在虚拟环境中移动视角时，其位移量能与现实世界中的相机运动精确对应，极大提升了交互的真实感与可用性。研究团队在包括Unsplash、ETH3D和Middlebury在内的多个公开数据集上进行了广泛测试，验证了SHARP在不同场景、光照和内容类型下的高泛化能力与鲁棒性。画质指标全面领先，细节还原能力突出在客观画质评估方面，SHARP表现同样亮眼：在LPIPS感知相似度指标上，相较当前最优模型提升25%–34%；在DISTS图像失真度量上，误差降低21%–43%。更重要的是，该方法能在保持几何结构完整性的同时，精准还原输入图像中的细微纹理与锐利边缘，使合成结果在视觉上几乎难以与原始照片区分。目前，相关论文已在arXiv公开，项目代码也已开源至GitHub。Apple研究团队表示，SHARP有望成为单图像高质量3D生成的新标准，为AR、内容创作、机器人视觉等领域带来深远影响。Apple Github：https://apple.github.io/ml-sharp/
在空间计算浪潮席卷全球之际，Meta正式推出SegmentAnythingModel3D（SAM3D），将传统的2D图像理解能力推向全新维度。这项突破性技术仅需单张普通照片，即可精准重建出完整的3D物体、场景甚至人体模型，让每一帧手机快照或网络图片瞬间转化为可交互、可部署的沉浸式数字资产。从平面到空间：打破屏幕的牢笼过去数十年，我们的数字生活被禁锢在二维屏幕上--点击、滑动、观看，却始终与物理世界隔绝。SAM3D正在瓦解这一边界：一张椅子的照片不再只是静态图像，而是一个可360°旋转、自由缩放、导入虚拟房间的真实3D对象；一个人物快照也能变成可用于社交Avatar或全息通信的立体化身。Meta已率先将该技术落地于FacebookMarketplace的"ViewinRoom"功能。用户不再需要凭空想象沙发尺寸是否合适，而是直接将其3D模型"放置"在自家客厅中，从任意角度查看搭配效果--电商体验由此迈入空间化时代。直面真实世界的复杂性传统3D重建常因遮挡、杂乱背景或多视角缺失而失败。SAM3D却能从容应对这些现实挑战：即使物体部分被遮挡，系统仍可推断完整结构；在凌乱环境中精准分离目标主体；支持非正面、低光照等"不完美"输入。其背后依托超大规模预训练模型与人在回路（human-in-the-loop）反馈机制，在保证高精度的同时实现接近实时的推理速度，为消费级应用和创意工作流提供坚实支撑。赋能XR、机器人与下一代交互SAM3D的意义远超图像处理本身，它正在催生多个领域的范式变革：AR/VR内容创作民主化：无需建模技能，拍照即得3D资产；虚拟零售革命：商品数字化成本骤降，沉浸式购物成为标配；空间通信新形态：未来视频通话或将传送3D化身而非2D画面；机器人环境理解：帮助机械臂更准确识别与操作现实物体。开源驱动生态，加速3D普及Meta延续其开放策略，同步开源了SAM3D的模型权重、评估基准与开发者工具包，并上线了直观易用的在线Playground。全球开发者、设计师、教育者均可立即上手实验，共同推动从"2D屏幕时代"向"动态3D世界"的主流迁移。SAM3D如何改变你的数字生活？一键生成3D：手机照片秒变精细3D模型零门槛创作：普通人也能制作XR内容重塑电商体验：家具、服饰"试穿试摆"更真实赋能硬件生态：为XR眼镜、MR设备提供实时3D引擎激发全球创新：通过开源持续推动技术演进在Playground中测试Sam3Dhttps://aidemos.meta.com/segment-anything/gallery
