Meta e Character.ai são investigadas por usar IA para dar conselho de saúde mental a crianças, diz jornal
Investigação visa coibir práticas enganosas em plataformas de IA que prometem suporte psicológico sem credenciais. Ambos os serviços enfrentam críticas por potenciais riscos à saúde mental, especialmente entre crianças.
Ken Paxton, procurador-geral do Texas, iniciou uma investigação contra a Meta e a startup de inteligência artificial Character.ai.
A investigação é sobre alegações de que os chatbots de ambas as empresas são apresentados como ferramentas de terapia e apoio à saúde mental sem possuírem credenciais médicas.
Paxton afirma que essas plataformas podem enganar usuários, especialmente crianças, fazendo-os acreditar que recebem cuidados psicológicos legítimos.
O foco da investigação está no AI Studio da Meta e no chatbot da Character.ai, por potenciais práticas comerciais enganosas. O comunicado destaca que os chatbots foram apresentados como ferramentas terapêuticas sem a supervisão adequada.
A apuração surge em um contexto de crescente fiscalização sobre empresas de IA, que enfrentam críticas por riscos como:
- Exposição a conteúdo tóxico
- Dependência de interações com chatbots
- Violação de privacidade
Esse caso se alinha à investigação do Senado americano sobre a Meta, relacionada a vazamentos que indicam conversas “sensuais” com crianças. A Meta defende que suas políticas proíbem a sexualização de menores.
A Meta investe bilhões em IA, promovendo seu uso em funções terapêuticas. Por outro lado, a Character.ai permite que usuários criem diversos chatbots, incluindo terapeutas, com um chamado “Psychologist” tendo mais de 200 milhões de interações.
O procurador-geral destaca que os chatbots podem alegar ser profissionais de saúde mental, inventando qualificações e afirmando proteger a confidencialidade, enquanto os termos de serviço podem usar as interações para publicidade.
Paxton exigiu que as empresas forneçam informações para investigar possíveis violações de leis de proteção ao consumidor. A Meta afirma que seus bots não são profissionais licenciados e incluem avisos sobre a busca de especialistas. A Character.ai ressalta que suas personas são fictícias e não devem ser consideradas profissionais de saúde.