Um estudo liderado por Justin Taylor, do Sylvester Comprehensive Cancer Center da Universidade de Miami, avaliou o desempenho do ChatGPT 3.5 em respostas sobre câncer hematológico. A pesquisa mostrou que a IA é útil para esclarecer conceitos gerais, mas falha em temas sobre tratamentos recentes. Especialistas recomendam cautela ao usar a ferramenta para decisões médicas.
Resultados da avaliação do ChatGPT
O estudo submeteu dez perguntas ao ChatGPT, sendo cinco sobre temas gerais, como efeitos colaterais da quimioterapia, e cinco sobre terapias específicas, como inibidores de BCL-2. Quatro hematologistas e oncologistas avaliaram as respostas anonimamente em uma escala de 1 a 5. Para perguntas gerais, a IA obteve média de 3,38 pontos, classificada como “razoável, mas incompleta”. Já para questões sobre terapias recentes, a média caiu para 3,06 pontos. Nenhuma resposta atingiu a nota máxima.
Os autores destacaram: “A supervisão médica continua sendo essencial para verificar as informações médicas geradas pela IA antes do uso pelo paciente”.
Importância do ceticismo e limitações
Justin Taylor ressaltou que, assim como o Google foi incorporado ao cotidiano dos pacientes, a IA também será, mas é preciso cautela. Ele aconselha: “Eu alerto os pacientes para que tenham algum ceticismo, especialmente sobre respostas que tratam de tipos específicos de câncer e tratamentos, e consultem seus médicos”. Segundo Taylor, chatbots não conseguem personalizar recomendações ou discutir nuances como especialistas em consultas presenciais.
Limitações técnicas e próximos passos
O estudo avaliou apenas a versão 3.5 do ChatGPT, treinada com dados até 2021, deixando de fora avanços médicos posteriores. Embora versões mais recentes possam apresentar melhorias, Taylor reforça que a mensagem central permanece: a IA pode apoiar, mas não substituir o profissional de saúde.
Potenciais aplicações e iniciativas
Apesar das limitações, os pesquisadores enxergam usos positivos para chatbots, como ajudar pacientes a se prepararem para consultas, elaborarem perguntas e encontrarem fontes confiáveis. A Universidade de Miami já investe em cursos de ética em IA na medicina e sistemas de inteligência artificial para diagnóstico de tumores cerebrais e previsão de risco em mieloma múltiplo.