„Rezumă pagina asta" a fost de-ajuns ca să predea o conversație întreagă cu un chatbot

Cereți unui chatbot să vă rezume o pagină web și presupuneți că cel mai rău lucru posibil e un rezumat prost. Adversa AI a petrecut vara demonstrând contrariul, iar săptămâna trecută problema era încă în picioare.

Îi spun Cryptographic Context Injection, iar mecanismul e suficient de elegant încât să merite înțeles. Atacatorul pune două lucruri pe o pagină web: un bloc de text criptat cu adevărat și instrucțiunile pentru a-l deschide. Orice filtru care scanează pagina în căutare de comenzi rău intenționate vede o înșiruire fără sens, pentru că în acel moment chiar este. Apoi cineva îi cere lui Grok să rezume pagina. Grok o descarcă, folosește propriul instrument de rulare a codului ca să decripteze blocul, fiindcă pagina explică amabil cum, iar apoi tratează rezultatul ca pe ordine de urmat și nu ca pe text citit pe un site. În testele cercetătorilor, pasul următor a fost să trimită numele utilizatorului, localizarea aproximativă, tipul de abonament și fiecare întrebare din conversația de până atunci către un server pe care îl controlau, lipite la capătul unei adrese web. Fără niciun clic și fără nimic vizibil pe ecran.

Adversa a raportat problema la xAI și la HackerOne pe 3 iunie, a insistat de două ori în august și a confirmat pe 19 august că încă funcționa, cu succes la aproximativ două încercări din cinci. Aceeași tehnică l-a făcut pe Gemini de la Google să producă materiale pe care filtrele lui de siguranță le blochează în mod normal, deși din iunie a devenit mai greu.

Concluzia utilă nu e despre Grok în particular. Un chatbot care poate naviga pe web și rula cod nu este un cititor neutru, așa că un „rezumă-mi linkul ăsta" venit de la un necunoscut merită aceeași neîncredere ca orice alt link de la un necunoscut. Și țineți parolele, numerele de card și codurile de recuperare în afara acestor conversații, pentru că tot ce se află în ele este expus. Pe partea de Windows, verificarea de confidențialitate și conturi din Tendvane arată ce expune de fapt sesiunea dumneavoastră pe PC.