Meta Segment Anything Model 2

Introdução

O Meta Segment Anything Model 2 (SAM 2) é um modelo de IA de segmentação da Meta que seleciona e rastreia qualquer objeto em uma imagem ou vídeo com resultados rápidos e precisos. Ele resolve um desafio antigo na visão computacional: segmentar objetos de forma consistente ao longo dos quadros de vídeo, incluindo quando os objetos ficam ocluídos ou saem do quadro, sem exigir dados de treinamento específicos para cada tarefa.

O SAM 2 é o primeiro modelo unificado de segmentação de objetos que abrange tanto imagens quanto vídeos. O usuário seleciona um objeto com um prompt simples — um clique, uma caixa delimitadora ou uma máscara — e o modelo rastreia esse objeto ao longo do vídeo usando uma arquitetura de memória em streaming que processa os quadros um por vez. A Meta lançou o SAM 2 como projeto open-source, junto com o conjunto de dados de segmentação de vídeos SA-V, uma demo e o código, para que pesquisadores e desenvolvedores possam construir diretamente sobre esse trabalho.

Principais Recursos

• Segmentação unificada de imagens e vídeos: um único modelo processa tanto imagens estáticas quanto vídeos, enquanto o SAM original atendia apenas imagens.
• Seleção por prompts: um clique, caixa ou máscara em qualquer quadro seleciona um ou vários objetos, com prompts adicionais disponíveis para refinar as previsões.
• Rastreamento de objetos entre quadros: um módulo de memória por sessão armazena informações sobre o objeto selecionado, permitindo que o SAM 2 o acompanhe mesmo quando ele desaparece temporariamente da vista.
• Desempenho zero-shot: o modelo segmenta objetos, imagens e vídeos que nunca viu durante o treinamento, tornando-o utilizável em uma ampla variedade de cenários do mundo real.
• Interatividade em tempo real: um design de inferência em streaming processa os quadros de vídeo um por vez para suportar aplicações interativas em tempo real.
• Previsões corrigíveis: os usuários podem ajustar as previsões de máscara adicionando prompts em qualquer quadro do vídeo.
• Lançamento aberto: a Meta disponibiliza um modelo SAM 2 pré-treinado, o conjunto de dados SA-V, uma demo e o código para download público.

Destaques

• Preços: o SAM 2 é oferecido como lançamento aberto; nenhum plano pago é descrito. Não listado publicamente nas páginas que analisamos; consulte o site oficial para ver os planos atuais.
• Disponibilidade gratuita: o modelo pré-treinado, o código, a demo e o conjunto de dados SA-V podem ser baixados sem custo no site oficial da Meta e no GitHub.
• Conjunto de dados de treinamento: o conjunto de dados SA-V contém aproximadamente 600 mil+ masklets em cerca de 51 mil vídeos, coletados em cenários do mundo real abrangendo 47 países, com anotações para objetos completos, partes e oclusões.
• Desempenho: a Meta relata que o SAM 2 supera os modelos existentes de segmentação de objetos em vídeo — principalmente no rastreamento de partes de objetos — e melhora o SAM na segmentação de imagens, exigindo menos tempo de interação do que métodos interativos anteriores.
• Extensibilidade: as saídas de segmentação podem alimentar outros sistemas de IA, como modelos de geração de vídeo, e os tipos de prompts de entrada podem ser estendidos em trabalhos futuros.

Para Quem É

O SAM 2 é voltado principalmente para pesquisadores de visão computacional, engenheiros de machine learning e desenvolvedores que criam ferramentas que precisam de seleção ou rastreamento preciso de objetos em imagens e vídeos. Casos de uso práticos incluem edição e efeitos de vídeo, anotação de conjuntos de dados, interações em realidade aumentada e vídeos ao vivo, e pipelines em que a saída da segmentação alimenta modelos posteriores, como geradores de vídeo. Como o modelo e o conjunto de dados são open-source, equipes acadêmicas e desenvolvedores independentes podem experimentá-los sem barreiras de licenciamento, enquanto equipes de produto podem integrá-lo como um componente em sistemas de IA maiores.