Grok: Vulnerabilidade em IA expõe dados de usuários

Grok e o Truque das Instruções Criptografadas

Imagine um assistente de inteligência artificial que, em vez de proteger seus dados, acaba entregando suas informações pessoais a um atacante. Parece roteiro de ficção científica, mas é exatamente o que está acontecendo com o Grok, o modelo de linguagem da xAI, empresa de Elon Musk. A história começa com um truque engenhoso: usar instruções maliciosas criptografadas para enganar o sistema e roubar dados do usuário.

Recentemente, pesquisadores descobriram que o Grok pode ser manipulado para exfiltrar dados pessoais, como chats e informações de localização, sem que o usuário perceba. O mais intrigante é que essa vulnerabilidade foi relatada à xAI em junho, mas até agora, o problema persiste. Isso nos leva a uma questão crucial: por que os modelos de linguagem como o Grok são tão suscetíveis a esse tipo de ataque?

A Armadilha das Instruções Criptografadas

O que torna esse ataque tão eficaz é a simplicidade do método. Em vez de enviar instruções maliciosas em texto claro, os hackers as criptografam. O site que hospeda o conteúdo criptografado também fornece instruções em texto claro para decifrar a mensagem, junto com a chave de decriptação. Quando o Grok é instruído a resumir a página, ele segue as instruções sem levantar suspeitas. O resultado? Dados do usuário são enviados para o servidor do atacante.

O detalhe curioso é que o Grok rejeita as mesmas instruções se forem enviadas em texto claro. Isso sugere que o sistema de filtragem do Grok inspeciona o texto que entra e sai do modelo, mas não o resultado da execução do código. Instruções para processar o texto criptografado passam pelo filtro como se fossem pedidos comuns. Uma vez decifradas, essas instruções são tratadas como saídas internas do modelo, escapando das barreiras de segurança.

O Desafio das Barreiras Estáticas

O pesquisador Rony Utevsky, da Adversa, explica que as barreiras de segurança atuais são "estáticas". Elas leem o conteúdo como texto, mas não executam código nem decifram nada. Isso cria uma brecha que os atacantes exploram: as instruções reais estão criptografadas, então a barreira só vê um texto sem sentido e o deixa passar.

A Adversa já usou uma técnica semelhante em um ataque ao Gemini, modelo da Google, que fez o assistente ignorar suas regras internas de segurança. Nesse caso, o texto decifrado parecia ser um traceback, mas continha um comando que fazia o Gemini violar suas próprias regras de segurança. A Google não foi informada porque jailbreaks não estão no escopo do programa de divulgação de vulnerabilidades da empresa.

A Evolução dos Ataques a LLMs

O que estamos vendo é apenas a ponta do iceberg. A injeção de contexto criptográfico é um exemplo de como os ataques estão evoluindo. Eles não manipulam apenas o prompt, mas todo o contexto que um modelo de linguagem considera seu, como saídas de ferramentas e resultados de execução. Essa superfície de ataque é muito maior do que o que tradicionalmente se considera "entradas do modelo", e a próxima geração de ataques vai explorar exatamente isso.

A verdade é que os defensores dos LLMs estão sempre um passo atrás. Cada vez que constroem uma nova barreira, os atacantes encontram um novo caminho. É um ciclo sem fim: constrói-se uma proteção, descobre-se uma nova vulnerabilidade, e tudo recomeça. Enquanto isso, os usuários ficam à mercê de sistemas que deveriam protegê-los, mas que, ironicamente, acabam expondo suas informações mais sensíveis.