«Resume esta página» bastou para entregar uma conversa inteira com um chatbot
Pede a um chatbot para resumir uma página web e assume que o pior que pode acontecer é um resumo fraco. A Adversa AI passou o verão a demonstrar o contrário e, na semana passada, o problema continuava por resolver.
Chamam-lhe Cryptographic Context Injection e o esquema é suficientemente elegante para merecer explicação. Quem ataca coloca duas coisas numa página web: um bloco de texto genuinamente cifrado e as instruções para o abrir. Qualquer filtro que analise essa página em busca de ordens maliciosas vê apenas caracteres sem sentido, porque naquele momento é exatamente isso que são. Depois alguém pede ao Grok para resumir a página. O Grok vai buscá-la, usa a sua própria ferramenta de execução de código para decifrar o bloco, já que a página explica gentilmente como, e trata em seguida o resultado como ordens a cumprir e não como texto lido num site. Nos testes dos investigadores, o passo seguinte foi enviar o nome do utilizador, a localização aproximada, o tipo de subscrição e todas as perguntas da conversa até ali para um servidor que eles controlavam, encaixados no fim de um endereço web. Sem um clique e sem nada visível no ecrã.
A Adversa comunicou o problema à xAI e ao HackerOne a 3 de junho, insistiu duas vezes em agosto e confirmou a 19 de agosto que continuava a funcionar, com êxito em cerca de duas tentativas em cinco. A mesma técnica levou o Gemini, da Google, a produzir conteúdos que os seus filtros de segurança normalmente bloqueiam, embora isso se tenha tornado mais difícil desde junho.
A lição útil não é sobre o Grok em particular. Um chatbot capaz de navegar na web e de executar código não é um leitor neutro, por isso um «resume-me este link» vindo de um desconhecido merece a mesma desconfiança que qualquer outro link de um desconhecido. E mantenha palavras-passe, números de cartão e códigos de recuperação fora destas conversas, porque tudo o que lá está fica exposto. Do lado do Windows, a verificação de privacidade e contas do Tendvane mostra o que a sua sessão no PC realmente expõe.