O modelo de voz em tempo real mais poderoso agora captura risadas e troca de idioma no meio da frase. Segundo cobertura do Zhidx de 29 de agosto: da noite para o dia, a OpenAI lançou o GPT-RealTime, um modelo de fala para fala construído para desenvolvedores, junto com atualizações na API que incluem suporte a servidores MCP remotos, entrada de imagens e chamadas telefônicas via SIP (Session Initiation Protocol).
A OpenAI o descreve como seu modelo de fala mais avançado até hoje, com melhorias no cumprimento de instruções complexas, na chamada precisa de ferramentas e na produção de uma fala mais natural e expressiva. Ele lê letras e números repetidos naturalmente, alterna entre idiomas sem esforço e capta sinais não verbais como risadas. Duas novas vozes — Cedar e Marin — chegam exclusivas à Realtime API.
Preços: o GPT-RealTime custa US$ 32 por milhão de tokens de entrada de áudio (entrada em cache: US$ 0,40) e US$ 64 por milhão de tokens de saída de áudio — um corte de 20% em relação ao gpt-4o-realtime-preview, disponível a todos os desenvolvedores desde o primeiro dia. A OpenAI também adicionou controle refinado do contexto de conversa: os desenvolvedores podem definir limites inteligentes de tokens e truncar vários turnos de uma só vez, reduzindo significativamente os custos de sessões longas. A versão beta original da Realtime API foi lançada em outubro do ano passado; desde então, milhares de desenvolvedores já a utilizaram. Os comentários no X, como de costume, se dividiram entre o entusiasmo de que os apps de voz acabaram de ficar mais divertidos e as reclamações de que as vozes ainda soam robóticas e o elenco antigo soa apenas um pouco mais expressivo.
Comprando imóveis, ingressos e consultas médicas — de forma conversacional
O blog da OpenAI apresenta cinco implantações de parceiros. A Zillow, plataforma imobiliária dos EUA, usa o modelo para orientar os usuários na filtragem de imóveis por estilo de vida e na análise dos preços de compra. Como assistente telefônico da T-Mobile, ele lida com trocas rápidas de assunto na conversa — interrompa-o no meio de uma frase com um novo tema e ele acompanha. A StubHub o usa para guiar os usuários na compra de ingressos e na resolução de problemas de pagamento. Na plataforma da Oscar Health, ele liga para confirmar horários livres de consultas, requisitos de preparo e endereços. E a empresa de tecnologia para seguros Lemonade o emprega para ajudar os clientes a contratar seguros de carro, coletando necessidades na conversa e executando as compras com base nas informações de usuário e pagamento armazenadas.
Capturando risadas, trocando idiomas e ajustando o tom
As melhorias visam a qualidade do áudio, o entendimento e o cumprimento das instruções. Um agente de voz precisa de tom, emoção e ritmo para manter o usuário na conversa, e o GPT-RealTime produz uma fala de alta qualidade mais natural enquanto segue direções refinadas — “fale rápido e de forma profissional” ou “fale com compaixão e sotaque francês”. No entendimento: ele capta sinais não verbais como risadas, troca de idioma no meio da frase e ajusta o tom. As avaliações internas da OpenAI também mostram maior precisão na leitura de sequências alfanuméricas, como números de telefone, em espanhol, chinês, japonês e francês. No benchmark Big Bench Audio — que mede o raciocínio de modelos de linguagem com entrada de áudio — o GPT-RealTime marca 82,8%, à frente do predecessor de dezembro de 2024.
Construir um agente de fala para fala significa dar ao modelo instruções comportamentais — como falar, o que dizer em cada situação, o que fazer e o que não fazer — e a OpenAI focou em quão precisamente o modelo as segue, de modo que até instruções pequenas agora carregam mais informação. No benchmark MultiChallenge de áudio, para cumprimento de instruções em múltiplos turnos, o GPT-RealTime marca 30,5%, um salto em relação aos 20,6. E a chamada de ferramentas — a exigência de que um agente de voz invoque a função certa no momento certo com os argumentos certos — melhorou nos três eixos: no ComplexFuncBench, o GPT-RealTime marca 66,5% contra os 49,7 do modelo de dezembro. A chamada assíncrona de funções também melhorou nativamente: chamadas de longa duração não interrompem mais o fluxo da conversa — o modelo continua falando enquanto aguarda os resultados, sem que o desenvolvedor precise alterar o código.
Preservando a nuance: quatro adições à Realtime API
Diferente da cadeia tradicional de modelos de fala para texto e depois de texto para fala, a Realtime API processa e gera áudio por meio de um único modelo — reduzindo a latência e preservando a nuance da voz, que é o que faz as respostas parecerem naturais. As novas capacidades: servidores MCP remotos — basta passar a URL de um servidor na configuração da sessão e o suporte a MCP é ativado, com a API tratando as chamadas de ferramentas automaticamente, sem integração manual; aponte a sessão para outro servidor MCP e novas ferramentas ficam disponíveis na hora. Entrada de imagens — adicione imagens, fotos e capturas de tela a uma sessão da Realtime junto com áudio ou texto, para que a conversa se construa sobre o que o usuário realmente vê: “o que você está vendo?” ou “leia o texto desta captura de tela”. O enquadramento é o de imagens adicionadas à conversa, e não um stream de vídeo ao vivo — a aplicação decide quais imagens compartilhar e quando, mantendo o controle sobre o que o modelo vê e quando ele responde. E o suporte a SIP com prompts reutilizáveis conecta aplicativos diretamente à rede telefônica pública, sistemas PBX, telefones de escritório e outros endpoints SIP por meio da Realtime API.
O campo concorrido em que ele chega
A corrida da voz está se acelerando por todo o mundo. No início deste mês, o laboratório chinês MiniMax lançou o Speech 2.5 cobrindo mais de 40 idiomas; o app da Doubao estreou no começo do ano chamadas de voz em tempo real gratuitas com imitação de personas e percepção de emoções; e no mesmo dia, a Microsoft lançou seu primeiro modelo de fala natural altamente expressivo, o MAI-Voice-1, capaz de produzir interpretações diferentes a partir do mesmo prompt. A matemática competitiva para os desenvolvedores: o corte de preços da OpenAI somado às integrações com MCP, imagens e SIP faz da Realtime API o caminho mais rápido para agentes de voz em produção — especialmente os baseados em telefone, onde o suporte a SIP elimina toda uma camada de integração. Mas o fosso competitivo está diminuindo: a mesma semana trouxe um rival chinês mais barato com 40 idiomas e uma entrada da Microsoft com variedade de expressões, e os comentários no X sobre vozes robóticas lembram que, em voz, a naturalidade é julgada pelos ouvidos, não pelos rankings. O mercado que decidiu a supremacia dos agentes de texto por benchmarks decidirá a supremacia dos agentes de voz por se os ligantes desligam a chamada — e essa corrida está apenas começando. Fonte: Zhidx, 29 de agosto.
