Meta Segment Anything Model 2
4.8Meta 开源的 AI 分割模型,通过点击、框选或掩码提示,即可在图像和视频中实时选取并跟踪任意对象,适合计算机视觉研究者和开发者使用。
简介
Meta Segment Anything Model 2(SAM 2)是 Meta 推出的 AI 分割模型,能够在图像或视频中选取并跟踪任意对象,速度快、结果精确。它解决了计算机视觉领域一个长期存在的难题:在视频各帧之间保持对象分割的一致性——包括对象被遮挡或离开画面时的情况——而且不需要针对特定任务的训练数据。
SAM 2 是首个在图像和视频上统一处理对象分割的模型。用户只需简单提示——一次点击、一个边界框或一个掩码——即可选中对象,模型随后借助流式记忆架构逐帧处理视频,对该对象进行全程跟踪。Meta 以开源项目形式发布了 SAM 2,同时提供了 SA-V 视频分割数据集、演示和代码,研究者和开发者可以直接在此基础上开展研究。
主要功能
定价与费用
- 价格:SAM 2 以开放形式发布,没有描述任何付费套餐。在我们查看的页面上没有公开标价;可前往官方网站查看最新方案。
- 免费获取:预训练模型、代码、演示和 SA-V 数据集均可从 Meta 官方网站和 GitHub 免费下载。
- 训练数据集:SA-V 数据集包含约 51K 个视频中的 600K+ masklets,采集自 47 个国家的真实场景,并附带完整对象、对象部件和遮挡情况的标注。
- 性能表现:Meta 表示,SAM 2 优于现有视频对象分割模型——在跟踪对象部件方面尤为明显——在图像分割上也胜过 SAM,同时所需的交互时间少于以往的交互式方法。
- 可扩展性:分割输出可供其他 AI 系统使用,例如视频生成模型,输入提示类型也可在后续工作中扩展。
适用人群
SAM 2 主要面向计算机视觉研究者、机器学习工程师,以及需要精确选取或跟踪图像与视频中对象的开发者。实际应用场景包括视频编辑与特效、数据集标注、增强现实与直播视频交互,以及将分割结果输送给下游模型(如视频生成器)的处理流程。由于模型和数据集均为开源,学术团队和独立开发者可以在没有授权障碍的情况下进行实验,产品团队也可以将其作为组件集成到更大的 AI 系统中。
常见问题
Meta Segment Anything Model 2 是什么?SAM 2 是 Meta 开源的 AI 模型,通过点击、框选或掩码提示分割图像和视频中的任意对象,并实时跟踪其在视频各帧中的位置。
SAM 2 可以免费使用吗?可以,Meta 免费公开了预训练模型、SA-V 数据集、演示和代码;官方网站上没有描述任何商业定价档位。
SAM 2 如何跟踪暂时消失的对象?按会话划分的记忆模块会记录所选对象在先前帧中的信息,因此当对象重新出现时,模型可以恢复跟踪。
SAM 2 与初代 SAM 有何不同?SAM 2 通过流式记忆架构将 SAM 的提示式分割扩展到视频,同时提升了图像分割效果;在处理图像时记忆为空,行为与 SAM 一致。
SA-V 数据集是什么?SA-V 是一个地域分布广泛的大型视频分割数据集,包含来自 47 个国家的约 51K 个视频和 600K+ masklets,由 Meta 随模型一同开源发布。