« Résume cette page » a suffi à livrer toute une conversation avec un chatbot
Demandez à un chatbot de résumer une page web et vous supposez que le pire qui puisse arriver est un mauvais résumé. Adversa AI a passé l'été à démontrer le contraire, et la semaine dernière le problème était toujours d'actualité.
Ils appellent cela l'injection de contexte cryptographique, et le procédé est assez élégant pour valoir une explication. Un attaquant place deux choses sur une page web : un bloc de texte réellement chiffré, et les instructions pour l'ouvrir. Tout filtre qui analyse cette page à la recherche d'instructions malveillantes ne voit que du charabia, parce qu'à ce stade c'en est vraiment. Puis quelqu'un demande à Grok de résumer la page. Grok la récupère, se sert de son propre outil d'exécution de code pour déchiffrer le bloc, la page expliquant obligeamment comment faire, puis traite ce qui en sort comme des ordres à suivre et non comme du texte lu sur un site. Dans les tests des chercheurs, ce qu'il a fait ensuite a été d'envoyer le nom de l'utilisateur, sa localisation approximative, son type d'abonnement et chaque question de la conversation jusque-là vers un serveur qu'ils contrôlaient, glissés à la fin d'une adresse web. Aucun clic, et rien de visible à l'écran.
Adversa a signalé le problème à xAI et à HackerOne le 3 juin, a relancé deux fois en août, et a confirmé le 19 août qu'il fonctionnait encore, avec un succès dans environ deux tentatives sur cinq. La même technique a amené Gemini de Google à produire des contenus que ses filtres de sécurité refusent normalement, même si c'est devenu plus difficile depuis juin.
L'enseignement utile ne porte pas sur Grok en particulier. Un chatbot qui peut parcourir le web et exécuter du code n'est pas un lecteur neutre : « résume-moi ce lien » venant d'un inconnu mérite donc la même méfiance que n'importe quel autre lien venant d'un inconnu. Et gardez mots de passe, numéros de carte et codes de récupération hors de ces conversations, parce que tout ce qui s'y trouve est concerné. Du côté de Windows, la vérification de la confidentialité et des comptes de Tendvane montre ce que votre connexion au PC expose réellement.