Apple开源Depth Pro 2 全分辨率单目深度
时间:2026年11月19日
地点:美国
人物:Apple机器学习研究团队(Peiyun Hu、Marko Mihajlovic、Lyndon Duong、Lahav Lipson、Wei Dong、Amaël Delaunoy、Stephan R. Richter、Vladlen Koltun)
事件详情:Apple机器学习研究团队于11月19日正式发布Depth Pro 2,一款用于全分辨率单目深度估计的计算机视觉模型。该模型可从单张照片、视频文件或实时相机画面中,以米为单位预测每个像素的稠密度深度。团队同步公开了代码与模型权重,发布在GitHub仓库apple-aiml-research/ml-depth-pro-2和Hugging Face平台(apple/DepthPro2、apple/DepthPro2-L等)。模型共四个尺寸,参数从2400万到8.72亿不等,分别为Depth Pro 2-S、Depth Pro 2-B、Depth Pro 2-L和Depth Pro 2-H+。所有型号共享一个2350万参数的焦距估计器,用于在输入图像未提供EXIF焦距时自动估算。根据模型卡与INXEN报道,最小型号S在NVIDIA B200上以640×480分辨率运行可达347.0 fps,1080p下为44.8 fps;最大型号H+在1080p下运行速度为5.3 fps,4K分辨率下为0.4 fps。在MacBook Pro M4 Max 64GB上,S型号在896×512分辨率下可保持30 fps以上。代码支持NVIDIA CUDA、Apple Silicon MPS和CPU,并附带Core ML导出与实时相机演示,要求macOS Sequoia 15及Xcode 16。模型采用Apple机器学习研究模型许可证,仅限非商业科学研究与学术开发使用,明确禁止商业部署。
背景:此前的单目深度估计方法普遍面临一个核心权衡:多帧方法能保证时间一致性但容易模糊边界,单帧方法边界清晰但帧间预测不稳定。Apple团队分析发现,现有方法要么偏重一致性、要么偏重清晰度,难以同时满足实时应用对两者的要求。Depth Pro 2通过训练一个可扩展的单一网络来打破这一限制,该网络基于多视图Transformer架构,能联合处理任意数量的帧(从单张图像到32帧视频),并在原生分辨率下预测深度图。网络交替进行帧内自注意力和跨帧注意力,从DINOv3权重初始化,避免了下采样导致的边界模糊。训练数据涵盖19个数据集,混合了图像、视频和多视图数据,损失函数包含四个项的未加权和。
影响:Depth Pro 2在边界清晰度(Boundary F1)和时间一致性(Jitter)两个维度上均超越了此前方法,定义了新的Pareto前沿。根据arXiv论文,团队在Sintel和Spring数据集上进行了评估,largest型号H+在边界F1和时间一致性上均优于包括InfiniDepth和π3在内的 prior work。焦距估计器在1080p下运行速度为118 fps,零样本基准δ25达到88.6%,而前代Depth Pro仅为71.7%。该模型可直接用于背景虚化和新视角合成等应用。由于许可证限制商业使用,该发布更偏向研究栈而非产品组件,但为开发者提供了在Apple Silicon和NVIDIA GPU上运行高质量深度估计的参考实现。
总结:Depth Pro 2的核心价值在于证明了单一网络可以同时实现度量精度、边界清晰度和时间一致性,无需在分辨率或帧数上做妥协。四个型号的覆盖范围从移动端实时推理到数据中心级精度,为不同场景提供了选择。开源策略与限制性许可的组合,反映出Apple希望推动研究进展同时保护商业应用的意图。对于计算机视觉和AR/VR领域的开发者而言,这是一份高质量、可落地的深度估计基线。
常见问题:
问:Depth Pro 2和上一代Depth Pro有什么区别?
答:Depth Pro 2新增了视频和实时相机输入支持,能在原生分辨率下同时输出更清晰的边界和更稳定的帧间一致性;前代仅处理单帧图像。
问:Depth Pro 2可以商用吗?
答:目前采用Apple机器学习研究模型许可证,仅限非商业科学研究与学术开发,不能用于商业产品。
参考来源:
Apple Machine Learning Research
https://machinelearning.apple.com/research/depth-pro-2-monocular
arXiv论文
https://arxiv.org/abs/2611.26603
GitHub代码仓库
https://github.com/apple-aiml-research/ml-depth-pro-2
Hugging Face论文页
https://huggingface.co/papers/2611.26603
INXEN报道
http://www.inxen.news/news/apple-posts-depth-pro-2-weights-bars-commercial-use
OrcaRouter分析
https://www.orcarouter.ai/blog/depth-pro-2-release-date







