Um estudo liderado pela Universidade de Oxford sugere que confiar demais nas respostas de chatbots pode ser arriscado — em parte porque as pessoas têm dificuldade em saber quais informações fornecer ao chatbot para obter os melhores conselhos de saúde.
O estudo revela barreiras na comunicação de mão dupla. Quem usou chatbots não tomou melhores decisões do que os participantes que recorreram a métodos tradicionais, como buscas na internet ou o próprio julgamento.
— Adam Mahdi, diretor de estudos de pós-graduação do Oxford Internet Institute e coautor do estudo, à TechCrunch
No estudo, os autores recrutaram cerca de 1.300 pessoas no Reino Unido e lhes apresentaram um conjunto de cenários médicos escritos por médicos. Os participantes tinham a tarefa de identificar possíveis condições de saúde nos cenários e usar chatbots — além de seus próprios métodos — para determinar a melhor conduta (consultar um médico, ir ao hospital etc.).
Os participantes usaram o GPT-4o padrão do ChatGPT, o Command R+ da Cohere e o Llama 3 da Meta (que alimenta o assistente Meta AI da empresa). Os autores descobriram que os chatbots não apenas reduziram a probabilidade de os participantes identificarem condições de saúde relevantes, como também os tornaram mais propensos a subestimar a gravidade das condições que identificaram.
Mahdi disse que os participantes frequentemente omitiam detalhes importantes ao perguntar aos chatbots, ou recebiam respostas difíceis de interpretar. “Eles [recebiam] respostas dos chatbots que eram uma mistura de bons e maus conselhos. Os métodos atuais de avaliação de chatbots não refletem a complexidade das interações humanas.”
O Contexto: As Big Techs Estão Promovendo Ferramentas de IA para a Saúde de Qualquer Maneira
As descobertas chegam em um momento em que as empresas de tecnologia promovem agressivamente a IA para melhorar a saúde. A Apple estaria desenvolvendo uma ferramenta de IA que oferece conselhos de exercícios, dieta e sono. A Amazon está explorando análises de bancos de dados médicos impulsionadas por IA para “determinantes sociais da saúde”. A Microsoft está ajudando a construir uma IA para triar mensagens que pacientes enviam a profissionais de saúde.
Mas, como a TechCrunch já relatou, profissionais e pacientes discordam sobre se a IA está pronta para aplicações de saúde de alto risco. A Associação Médica Americana orienta os médicos a não usar chatbots como o ChatGPT para decisões clínicas, e grandes empresas de IA — incluindo a OpenAI — alertam contra o diagnóstico de condições com base nas respostas de chatbots.
Recomendamos confiar em fontes confiáveis para decisões de saúde. Os métodos atuais de avaliação de [chatbots] não refletem a complexidade da interação com usuários humanos. Assim como os ensaios clínicos de novos medicamentos, os sistemas de [chatbots] devem ser testados no mundo real antes da implementação.
— Adam Mahdi
Os três modelos testados — GPT-4o, Command R+ e Llama 3 — representam a fronteira da IA de uso geral, não modelos médicos especializados. Essa é, na verdade, a escolha de design mais relevante do estudo para as implicações no mundo real, porque as pessoas em risco não estão usando IA de grau médico; estão usando os mesmos chatbots gratuitos que usam para deveres de escola e ideias de receitas. Um sistema de IA médica especializado, com diretrizes clínicas, bancos de dados de interações medicamentosas e triagem estruturada de pacientes, poderia ter um desempenho diferente. Mas não é isso que as pessoas estão usando. Elas estão pedindo ao mesmo chatbot que escreveu sua carta de apresentação que interprete sua dor no peito — e o chatbot, treinado principalmente com textos da internet em vez de protocolos clínicos, dá respostas calibradas para soar prestativas, e não para serem medicalmente corretas. A lacuna entre o conhecimento de saúde da IA de uso geral (frequentemente impressionante em exames de residência médica) e sua capacidade de orientar pacientes reais diante de sintomas reais (onde contexto, urgência e qualidade da comunicação determinam os desfechos) é exatamente a lacuna que este estudo mediu.
A descoberta de que os chatbots levaram os participantes a subestimar a gravidade é particularmente preocupante e merece atenção separada da constatação geral sobre precisão. Subestimar a gravidade significa que um participante que deveria ir ao pronto-socorro decide esperar para ver — o tipo de erro que transforma uma condição tratável em uma fatal. O mecanismo identificado pelo estudo é plausível: os chatbots são treinados para serem tranquilizadores, para evitar causar alarme e para apresentar perspectivas equilibradas. Em um contexto de consumo, essa calibração constrói confiança e reduz a ansiedade. Em um contexto de saúde, ela pode matar. A mesma característica do modelo que torna o ChatGPT agradável de usar para ideias de receitas o torna perigoso para triagem médica. Este não é um problema que mais dados de treinamento ou melhor raciocínio resolvem — é uma tensão fundamental entre a otimização do tom conversacional que torna os chatbots utilizáveis e a comunicação de urgência que contextos de saúde exigem.
Para as empresas de tecnologia que constroem ferramentas de IA para a saúde — os conselhos de exercícios e dieta da Apple, a análise de determinantes sociais da Amazon, a triagem de mensagens de pacientes da Microsoft —, o estudo de Oxford oferece um briefing de design disfarçado de alerta. As ferramentas com maior chance de sucesso não são as que respondem perguntas abertas sobre saúde, mas as que estruturam a coleta de informações — fazendo as perguntas de acompanhamento que um médico faria, na ordem em que um médico as faria, e sinalizando quando as respostas do paciente justificam escalonamento em vez de tranquilização. A diferença entre um chatbot que responde perguntas e um que conduz uma entrevista estruturada é a diferença entre um mecanismo de busca e um instrumento de diagnóstico. O estudo de Oxford sugere que o mercado construiu o primeiro e precisa do segundo, e que, até que essa transição aconteça, os 60% dos americanos que usam o ChatGPT para conselhos deveriam incluir a própria saúde entre os temas em que verificam antes de agir.
Por Que o Design do Estudo Importa Mais do Que Sua Conclusão
A contribuição mais importante do estudo não é a descoberta principal (os chatbots pioraram as decisões de saúde), mas o mecanismo que identificou: a assimetria de informação entre o que os pacientes sabem e o que os chatbots precisam. Um médico faz perguntas de acompanhamento — quando os sintomas começaram, quais medicamentos você toma, qual é seu histórico familiar. Um chatbot responde ao que é perguntado e, se o paciente omite o medicamento que interage com o tratamento recomendado, o chatbot não tem como saber. O estudo descobriu que os participantes frequentemente omitiam detalhes importantes ou recebiam respostas difíceis de interpretar — o que não é um problema de capacidade do modelo, mas um problema de interação humano-computador. O melhor modelo do mundo não pode compensar informações que o usuário não sabe fornecer.
Essa distinção importa porque a resposta típica da indústria a estudos como esse é melhorar o modelo — adicionar mais dados de treinamento médicos, aprimorar o raciocínio, reduzir alucinações. Mas o estudo de Oxford sugere que o gargalo está a montante: na interface entre o autoconhecimento incompleto do ser humano e a incapacidade do chatbot de fazer proativamente as perguntas certas. Até que os chatbots consigam conduzir o tipo de anamnese estruturada que os médicos aprendem na faculdade — fazendo as perguntas que o paciente não sabe responder —, eles terão desempenho inferior não porque o modelo é ruim, mas porque a entrada está incompleta. A comparação de Mahdi com ensaios clínicos de medicamentos é a correta: chatbots em contextos de saúde precisam de testes clínicos no mundo real antes da implementação, não apenas de bom desempenho em benchmarks de questões de exames médicos. A lacuna entre responder um exame de licenciamento médico e orientar com segurança um paciente em uma crise de saúde é a mesma que existe entre passar no teste de direção e dirigir com segurança no trânsito — e nenhuma melhoria em benchmarks fecha essa lacuna sem validação no mundo real.
