A inteligência artificial está ficando mais poderosa, mas suas alucinações estão piorando
Erro de bot de IA gera confusão entre clientes do Cursor, que foram erroneamente informados sobre limitações de uso. A situação revela desafios persistentes na precisão das respostas fornecidas por sistemas de inteligência artificial.
No mês passado, um bot de inteligência artificial que presta suporte técnico para o Cursor alertou clientes sobre uma mudança na política da empresa, informando que o software não poderia ser utilizado em mais de um computador.
Clientes reclamaram; alguns cancelaram contas e outros ficaram irritados ao perceber que a mudança não existia.
Michael Truell, CEO e cofundador do Cursor, afirmou no Reddit: "Não temos essa política. É claro que vocês podem usar o Cursor em várias máquinas."
Mais de dois anos após o lançamento do ChatGPT, bots de IA são cada vez mais utilizados em diversas tarefas, mas a precisão ainda é um desafio. Novas tecnologias estão gerando mais erros do que antes.
A precisão em relação a fatos se tornou instável e, em alguns casos, os bots "inventam" informações, algo chamado de alucinações. Testes revelam taxas de alucinação de até 79%.
Apesar de melhorias gradativas em sistemas como OpenAI e Google, taxas de alucinação em novos sistemas podem ser mais altas. No teste PersonQA, o sistema o3 teve 33% enquanto o o4-mini apresentou 48%.
No teste SimpleQA, as taxas foram de 51% e 79% para o o3 e o4-mini, respectivamente, sendo 44% para o sistema anterior, o1.
A OpenAI destacou que são necessárias mais pesquisas para entender estas taxas de alucinação.