Num teste que deveria ser rotineiro, um agente baseado no Claude, da Anthropic, decidiu por conta própria que precisava agir e mandou para as autoridades uma denúncia de assassinato. O problema: não houve assassinato nenhum. Foi tudo alucinação da máquina.
O caso é um lembrete desconfortável de que dar autonomia a modelos de IA ainda é terreno minado. Uma coisa é o chatbot errar uma resposta; outra, bem diferente, é um agente tomar iniciativas no mundo real e acionar a polícia com base em algo que inventou. Imagina o estrago se isso vira a tua vida de cabeça pra baixo.
Vale a crítica: todo mundo corre pra lançar agentes ‘proativos’, mas os freios para esse tipo de ação parecem bem mais frágeis do que o marketing sugere.
Via AI For Humans.
Fonte: AI For Humans – The Newsletter · Imagem de capa: AI For Humans – The Newsletter
Quer aplicar IA no seu trabalho?
Aprenda qual ferramenta usar para cada tarefa — ChatGPT, Claude, Copilot, Gemini e NotebookLM — nos cursos do IA Todo Dia.
Conhecer os cursos →