Você já viu as falhas de robôs: um plugue esfregando na borda de uma tomada repetidamente, sem nunca encaixar; uma garrafa plástica esmagada por uma pegada que errou a força; uma toalha dobrada com capricho que desmorona no momento em que é solta. O sistema de visão julgou tudo corretamente — e o contato físico ainda falhou.
Este é o problema reconhecido do “último centímetro” da indústria de IA incorporada: as câmeras enxergam a posição espacial, mas nada detecta se o contato aconteceu, se o objeto bateu em uma borda, se a força da pegada está excessiva ou se a superfície está escorregando. A visão conduz 99% do planejamento de trajetória — e fica cega no instante do toque.
Em 25 de julho, a NeoteAI, sediada em Xangai, junto com o Instituto de Inteligência Incorporada Confiável da Universidade Fudan, divulgou três relatórios técnicos que promovem o tato de “modalidade auxiliar” a infraestrutura central. Juntos, eles formam um blueprint completo: uma fundação de dados táteis mais duas rotas tecnológicas com ênfases diferentes. E tanto os dados quanto os modelos são open source.
Primeiro, Resolver o Problema do Dialeto: uma Fundação de Dados Táteis de 30.000 Horas
O maior obstáculo para escalar dados táteis sempre foi a incompatibilidade entre sensores. Mapas de deformação de gel, matrizes capacitivas, vetores de força de seis eixos — os sensores de cada fornecedor falam um dialeto diferente, e nenhum deles se funde em um único modelo. O dataset NeoData da NeoteAI ataca essa barreira de frente:
-
Mais de 30.000 horas de vídeos de interação visão-tato;
-
Aproximadamente 1,4 milhão de segmentos de manipulação, 3,3 bilhões de timesteps;
-
8 bilhões de quadros RGB pareados com 10 bilhões de quadros táteis;
-
Seis plataformas robóticas, incluindo Franka, Piper e UR5e;
-
450 tarefas reais de longo horizonte — dobrar roupas, encaixar conectores, despejar líquidos — coletadas por 90 operadores;
-
5.000 horas de vídeos visão-tato já open source.
Junto com o dataset vem o NeoForce, um modelo unificado de representação tátil. Independentemente do hardware do sensor subjacente, ele aprende representações táteis transferíveis e estruturadas temporalmente — onde a pressão foi aplicada, com quanta intensidade, há cisalhamento lateral? Essa “lingua franca tátil” resolve o problema da fusão entre dispositivos.
VTLA: Previsão Tátil, Para Que os VLAs Deixem de Estar Meio Tempo Atrasados
Com a fundação de dados estabelecida, surge a pergunta mais difícil: como o tato realmente entra em uma arquitetura VLA (Vision-Language-Action)? Concatenar ingenuamente imagens táteis com RGB tem desempenho ruim, por dois motivos. Os sinais táteis só disparam no instante do contato físico e ficam silenciosos na maior parte do tempo, então se afogam na enxurrada de tokens visuais. Pior: mesmo uma característica tátil bem extraída é um feedback atrasado sobre uma ação já executada — uma percepção de espelho retrovisor, eternamente meio tempo atrás na interação dinâmica.
O VTLA da NeoteAI segue outro caminho: em vez de depender do tato atual, que chega tarde, ele prevê a evolução tátil dos próximos 50 passos. O modelo codifica a entrada tátil atual em tokens latentes compactos e, combinada com o contexto visual, antecipa tendências de escorregamento e força para que o módulo de ação se ajuste com antecedência.
Os resultados são eloquentes:
-
Inserção de plugue: VTLA 85% de sucesso contra 60% dos equivalentes apenas visuais;
-
Extração de chave: VTLA 99% contra 35%.
O VTLA também quebra a dependência do aprendizado por imitação de trajetórias de sucesso de especialistas. Combinando dados pós-implantação com informações táteis e treinamento com humano no circuito, o modelo aprendeu a reconhecer fases de execução — até comportamentos complexos como “regressão” e “recuperação”. Com aprendizado por reforço offline por cima, as taxas de sucesso em tarefas de longo horizonte dispararam: dobrar toalhas 50% → 95%, arrumar mochilas 35% → 80%, dobrar caixas 20% → 75%.
TWAM: Reconstruindo a “Imaginação Tátil” Dentro de um Modelo de Mundo
Se o VTLA é um radar de previsão, o TWAM reconstrói o núcleo cognitivo do robô — colocando o tato dentro do modelo de mundo para que o robô possa ensaiar, em sua própria imaginação, o ponto de vista e a sensação de uma operação antes de agir. Os modelos de mundo existentes geram principalmente quadros visuais futuros, e usá-los para comandar robôs reais esbarra em uma lacuna brutal de alinhamento físico: a imagem mostra a xícara agarrada, mas os dedos a seguraram mesmo? O plugue alinhou, mas vai travar no próximo segundo? Essa informação simplesmente não existe.
O TWAM usa uma arquitetura mixture-of-experts com três redes especialistas assíncronas — vídeo, tato e ação. O especialista em vídeo parte de um modelo pré-treinado, enquanto os especialistas em tato e ação usam estruturas mais enxutas, elevando o total de parâmetros a apenas 7,2 bilhões — metade de um design de largura completa — com resultados impressionantes:
-
Taxa média de sucesso em simulação de 84,5%, contra 36% do baseline de modelo de mundo mais forte;
-
Sucesso médio em 8 tarefas com robôs reais de 46,3%, contra 21,9% dos concorrentes contemporâneos.
As ablações confirmam o design: remover ou a “previsão tátil futura” ou o “condicionamento tátil atual” causa quedas significativas de desempenho. A indispensabilidade do tato dentro dos modelos de mundo está agora comprovada empiricamente.
De Ver o Mundo a Sentir o Mundo
Lidos em conjunto, os três relatórios enviam um sinal claro para a indústria: 𝒩₀-Foundation valida que a modalidade tátil tem potencial de escalabilidade comparável ao da visão; o VTLA prova que o tato se integra naturalmente às arquiteturas VLA existentes; o TWAM estabelece o tato como cidadão de primeira classe no topo do design de modelos de mundo, verdadeiramente em pé de igualdade com a visão.
O paradigma cognitivo dos robôs está evoluindo de direção visual para fusão visão-tato. Os robôs não estão mais entendendo o mundo apenas olhando — eles começam a verificar hipóteses e planejar as próximas ações por meio da exploração tátil ativa, como fazem os bebês. “Ver a xícara não é segurá-la firme; reconhecer a tomada não é encaixar o plugue” — esse pedaço de senso comum físico finalmente foi escrito na lógica base dos robôs.
Ainda resta um longo caminho antes que a inteligência incorporada geral possa “tocar uma vez e saber o peso”: os custos de coleta de dados do mundo real, a generalização entre plataformas e a latência de inferência são problemas de engenharia em aberto. Mas este conjunto de trabalhos moveu substancialmente o tato de tema nicho de pesquisa para infraestrutura central da IA incorporada. O próximo capítulo da inteligência incorporada pode ter menos a ver com ensinar robôs a ver o mundo — e mais a ver com ensiná-los a senti-lo.
Projeto: research.neoteai.com · Empresa: neoteai.com
