Pesquisadores conseguem ‘roubar’ o raciocínio oculto de modelos da OpenAI, Google e Anthropic

Um grupo de pesquisadores demonstrou que os blocos de raciocínio criptografados devolvidos pelas APIs de OpenAI, Google e Anthropic não são tão seguros quanto parecem. Eles conseguiram decodificar esse ‘pensamento’ escondido em larga escala, expondo desde o passo a passo interno dos modelos até chaves de API e senhas de usuários reais.

O trabalho, publicado em stolen-thoughts.com, mostra uma falha de design que afeta modelos de ponta das três maiores empresas de IA do mundo.

Como funciona o truque

Quando um modelo com ‘raciocínio’ processa um pedido, ele gera uma cadeia de pensamento interna (o chamado chain-of-thought). As empresas não mostram esse conteúdo ao usuário: elas o devolvem como um bloco criptografado, que é reenviado ao servidor quando a conversa continua.

O problema é que esses blocos são portáteis. Segundo os pesquisadores, eles podem ser reaproveitados fora do contexto original — entre sessões, usuários e até modelos diferentes do mesmo provedor.

A técnica consiste em injetar um desses blocos em um modelo mais fraco e sem travas de segurança (jailbroken) da mesma empresa. Com isso, é possível extrair o raciocínio bruto do modelo mais forte, palavra por palavra. O volume de texto decodificado bate com a contagem de tokens de raciocínio que a própria API informa — um indício de que a reconstrução é fiel.

O que foi encontrado

Os números dão a dimensão do problema. A equipe coletou 6.708 trajetórias de agentes disponíveis publicamente no GitHub e no Hugging Face, geradas por modelos Claude, GPT e Gemini, que ainda continham os blocos criptografados.

Ao aplicar o método de decodificação, chegaram a 315.320 blocos de raciocínio reconstruídos. Filtrando apenas sessões reais de usuários — fora de benchmarks —, recuperaram 704 informações sensíveis distintas.

Entre elas: 62 chaves de API, 33 senhas, 24 tokens de acesso e 30 e-mails pessoais, além de nomes, endereços, URLs internas e outros identificadores técnicos. Mais preocupante: 64 desses dados apareciam somente dentro dos blocos de raciocínio, e em nenhum lugar visível da sessão.

Em outras palavras, informação que o usuário jamais viu — mas que o modelo processou nos bastidores — ficou exposta.

Por que isso importa pra você

A promessa de criptografar o raciocínio dos modelos era justamente proteger tanto o segredo comercial das empresas quanto os dados de quem usa as ferramentas. A pesquisa sugere que essa proteção tem uma brecha estrutural, e não um simples bug pontual.

Para quem desenvolve com essas APIs, o alerta é prático: não presuma que aquilo que o modelo ‘pensa’ está trancado. Se você trabalha com credenciais, dados de clientes ou informações internas, esse conteúdo pode acabar reconstruível por terceiros — sobretudo se as trajetórias forem compartilhadas em repositórios públicos, como muitos projetos de agentes fazem hoje.

Vale a ressalva de que, até o momento, trata-se de um relato acadêmico. Ainda não há resposta pública detalhada das empresas envolvidas, e o método depende de fatores como o acesso a blocos criptografados de sessões reais.

Mesmo assim, o achado reforça uma crítica recorrente sobre o raciocínio oculto: esconder o passo a passo do modelo do usuário não significa que ele esteja realmente seguro. E quando os próprios provedores tratam esses blocos como intercambiáveis entre modelos, abrem uma porta que talvez não tenham medido bem.

Fonte: stolen-thoughts.com · Imagem de capa: Foto de FlyD no Unsplash