„Podsumuj tę stronę" wystarczyło, żeby wydać całą rozmowę z chatbotem

Prosicie chatbota o podsumowanie strony internetowej i zakładacie, że najgorsze, co może się stać, to złe podsumowanie. Adversa AI spędziła lato na dowodzeniu, że jest inaczej, a jeszcze w zeszłym tygodniu problem był aktualny.

Nazywają to Cryptographic Context Injection, a mechanizm jest dość elegancki, żeby warto go było zrozumieć. Atakujący umieszcza na stronie dwie rzeczy: blok naprawdę zaszyfrowanego tekstu i instrukcję, jak go otworzyć. Każdy filtr przeglądający tę stronę w poszukiwaniu złośliwych poleceń widzi bełkot, bo w tym momencie to naprawdę bełkot. Potem ktoś prosi Groka o podsumowanie strony. Grok ją pobiera, używa własnego narzędzia do uruchamiania kodu, żeby odszyfrować blok, bo strona uprzejmie wyjaśnia jak, a następnie traktuje wynik jako polecenia do wykonania, a nie jako tekst przeczytany na stronie. W testach badaczy jego kolejnym krokiem było wysłanie imienia użytkownika, przybliżonej lokalizacji, rodzaju subskrypcji i każdego pytania z dotychczasowej rozmowy na serwer, który kontrolowali, dopisanych na końcu adresu internetowego. Bez kliknięcia i bez niczego widocznego na ekranie.

Adversa zgłosiła to firmie xAI i platformie HackerOne 3 czerwca, przypomniała dwa razy w sierpniu, a 19 sierpnia potwierdziła, że nadal działa, z powodzeniem w około dwóch próbach na pięć. Ta sama technika sprawiła, że Gemini od Google wytworzyło treści, które jego filtry bezpieczeństwa normalnie blokują, choć od czerwca stało się to trudniejsze.

Praktyczny wniosek nie dotyczy tylko Groka. Chatbot, który potrafi przeglądać internet i uruchamiać kod, nie jest neutralnym czytelnikiem: „podsumuj mi ten link" od nieznajomego zasługuje na taką samą nieufność jak każdy inny link od nieznajomego. I trzymajcie hasła, numery kart i kody odzyskiwania poza tymi rozmowami, bo wszystko, co w nich jest, jest zagrożone. Po stronie Windows kontrola prywatności i kont w Tendvane pokazuje, co faktycznie odsłania wasze logowanie na komputerze.