Introdução
Handsy AI é um projeto open-source que permite a um agente de IA operar um iPhone real, sem modificações. Em vez de depender de jailbreak, APIs privadas ou modo de desenvolvedor, ele usa uma pequena placa microcontroladora ESP32 como interface física entre o agente e o telefone. Isso resolve um problema comum da automação no iOS: a plataforma da Apple é amplamente fechada ao controle programático, então agentes que operavam livremente dispositivos Android não tinham um caminho comparável em um iPhone de fábrica.
O projeto foi criado por Henry Yuan e é distribuído sob licença MIT, com o componente de receptor AirPlay do firmware licenciado sob GPL-3.0. A configuração funciona em três partes. A placa ESP32 hospeda sua própria rede Wi-Fi e aparece no Screen Mirroring do iOS, recebendo o stream AirPlay do telefone. Ela encaminha esse stream por Bluetooth ao aplicativo ESP32 Agent, que envia cada captura de tela a um modelo de visão escolhido pelo usuário, o qual planeja a próxima ação. A placa, conectada à porta USB do telefone, se apresenta como um mouse e teclado comuns, de modo que toques, arrastos e deslizes funcionam por meio do AssistiveTouch do iOS.
Principais Recursos
- Sem jailbreak, sem modo de desenvolvedor: o Handsy AI funciona em um iPhone de fábrica com iOS 18, exigindo apenas uma gravação única do firmware na placa a partir de um computador.
- Visão da tela via AirPlay: a placa recebe a tela do telefone por Screen Mirroring e repassa o vídeo ao aplicativo complementar sem alterações, dando ao agente uma visão ao vivo da tela.
- Entrada física pela USB: conectada por USB-C, a placa atua como um mouse e teclado padrão, convertendo cliques em toques e arrastos em deslizes via AssistiveTouch.
- Cérebro de modelo de visão no app: o aplicativo ESP32 Agent envia capturas de tela ao modelo de visão selecionado pelo usuário, planeja cada próximo passo e verifica se a tela realmente mudou após a ação.
- Hardware de baixo custo: a placa de referência é uma XIAO ESP32S3 com preço em torno de US$ 7, e qualquer ESP32-S3 com USB nativo e PSRAM pode ser usada em seu lugar.
- Open source: o projeto, incluindo o código-fonte do app para iPhone, está disponível no GitHub sob licença MIT (GPL-3.0 para o receptor AirPlay do firmware).
- Inferência local opcional: uma demonstração do criador executou um modelo de visão inteiramente em hardware local, sem APIs em nuvem.
Destaques
- Preço: o software é open-source e gratuito para compilar a partir do código-fonte; o hardware necessário custa cerca de US$ 7 pela placa.
- Dispositivos suportados: qualquer iPhone com iOS 18 (iPhone XS ou mais recente). Modelos com USB-C conectam diretamente; modelos com Lightning exigem um adaptador de câmera USB.
- Instalação: um instalador de firmware baseado em navegador está disponível no site oficial, junto com uma versão em chinês simplificado e um guia de instalação com assistência de IA.
- Hardware extra necessário: um cabo de dados curto USB-C para USB-C conecta a placa ao telefone.
Para Quem É
O Handsy AI é ideal para hobbistas e entusiastas que gostam de combinar microcontroladores baratos com IA, desenvolvedores que pesquisam agentes on-device e controle corporificado, e qualquer pessoa interessada em automatizar tarefas do iOS sem jailbreak. Também atrai entusiastas de hardware que já trabalham com placas ESP32 e experimentadores que querem rodar agentes contra uma tela de telefone real, em vez de um simulador. Usos típicos incluem experimentos de automação de UI, pesquisa em acessibilidade e demonstrações de agentes guiados por visão completando tarefas de múltiplas etapas, como configurar um alarme recorrente.
