«Перекажи цю сторінку» виявилося достатньо, щоб віддати всю розмову з чатботом

Просите чатбот переказати вебсторінку й вважаєте, що найгірше можливе - поганий переказ. Adversa AI провела літо, доводячи протилежне, і ще минулого тижня проблема була живою.

Вони називають це Cryptographic Context Injection, і механізм достатньо витончений, щоб його варто було зрозуміти. Нападник кладе на вебсторінку дві речі: блок справді зашифрованого тексту й інструкцію, як його відкрити. Будь-який фільтр, що сканує цю сторінку на шкідливі команди, бачить безглузді символи, бо на тому етапі вони справді безглузді. Потім хтось просить Grok переказати сторінку. Grok її завантажує, використовує власний інструмент виконання коду, щоб розшифрувати блок, бо сторінка ввічливо пояснює як, а далі трактує результат як накази, яких треба слухатися, а не як текст, прочитаний на сайті. У тестах дослідників наступним його кроком було надіслати ім'я користувача, приблизне місцеположення, тип підписки й кожне питання з розмови до цього моменту на сервер, який вони контролювали, дописані в кінець вебадреси. Без жодного кліку й без нічого видимого на екрані.

Adversa повідомила про це xAI і HackerOne 3 червня, двічі нагадала в серпні, а 19 серпня підтвердила, що це все ще працює, із успіхом приблизно у двох спробах із п'яти. Та сама техніка змусила Gemini від Google створювати матеріали, які його фільтри безпеки зазвичай блокують, хоча з червня це стало важче.

Корисний висновок стосується не лише Grok. Чатбот, який вміє ходити по інтернету й виконувати код, не є нейтральним читачем, тож «переказуй мені це посилання» від незнайомця заслуговує тієї самої недовіри, як і будь-яке інше посилання від незнайомця. І тримайте паролі, номери карток і коди відновлення поза цими розмовами, бо все, що в них є, під загрозою. З боку Windows перевірка приватності й облікових записів у Tendvane показує, що насправді відкриває ваш вхід у систему на комп'ютері.