«Riassumi questa pagina» è bastato per consegnare un'intera conversazione con un chatbot

Chiedete a un chatbot di riassumere una pagina web e date per scontato che il peggio sia un riassunto sbagliato. Adversa AI ha passato l'estate a dimostrare il contrario, e la settimana scorsa il problema era ancora aperto.

La chiamano Cryptographic Context Injection, e il meccanismo è abbastanza elegante da valere una spiegazione. Chi attacca mette due cose su una pagina web: un blocco di testo davvero cifrato e le istruzioni per aprirlo. Qualsiasi filtro che analizzi quella pagina in cerca di istruzioni malevole vede solo caratteri senza senso, perché a quel punto lo sono per davvero. Poi qualcuno chiede a Grok di riassumere la pagina. Grok la scarica, usa il proprio strumento di esecuzione del codice per decifrare il blocco, dato che la pagina spiega gentilmente come, e poi tratta il risultato come ordini da eseguire e non come testo letto su un sito. Nei test dei ricercatori, la mossa successiva è stata inviare il nome dell'utente, la posizione approssimativa, il tipo di abbonamento e ogni domanda della conversazione fino a quel momento verso un server sotto il loro controllo, infilati in fondo a un indirizzo web. Nessun clic, e sullo schermo niente da vedere.

Adversa ha segnalato il problema a xAI e a HackerOne il 3 giugno, ha sollecitato due volte in agosto e ha confermato il 19 agosto che funzionava ancora, con successo in circa due tentativi su cinque. La stessa tecnica ha portato Gemini di Google a produrre contenuti che i suoi filtri di sicurezza normalmente bloccano, anche se da giugno è diventato più difficile.

La lezione utile non riguarda solo Grok. Un chatbot che può navigare sul web ed eseguire codice non è un lettore neutrale: «riassumimi questo link» da parte di uno sconosciuto merita la stessa diffidenza di qualsiasi altro link da uno sconosciuto. E tenete password, numeri di carta e codici di recupero fuori da queste conversazioni, perché tutto quello che c'è dentro è a rischio. Sul lato Windows, il controllo privacy e account di Tendvane mostra cosa espone davvero il vostro accesso al PC.