„Fasse diese Seite zusammen" genügte, um ein ganzes Chatbot-Gespräch auszuliefern
Wenn Sie einen Chatbot bitten, eine Webseite zusammenzufassen, nehmen Sie an, das Schlimmste sei eine schlechte Zusammenfassung. Adversa AI hat den Sommer damit verbracht, das Gegenteil zu zeigen, und letzte Woche war das Problem noch offen.
Sie nennen es Cryptographic Context Injection, und der Ablauf ist elegant genug, um ihn zu verstehen. Ein Angreifer legt zwei Dinge auf eine Webseite: einen Block echt verschlüsselten Text und die Anleitung, ihn zu öffnen. Jeder Filter, der die Seite nach bösartigen Anweisungen durchsucht, sieht nur Kauderwelsch, weil es an dieser Stelle wirklich Kauderwelsch ist. Dann bittet jemand Grok, die Seite zusammenzufassen. Grok ruft sie ab, nutzt sein eigenes Werkzeug zum Ausführen von Code, um den Block zu entschlüsseln, denn die Seite erklärt hilfsbereit wie, und behandelt das Ergebnis anschließend als Befehle, denen zu folgen ist, statt als Text, den es auf einer Website gelesen hat. In den Tests der Forscher schickte es als Nächstes den Namen des Nutzers, den ungefähren Standort, die Abo-Stufe und jede Frage des bisherigen Gesprächs an einen Server, den sie kontrollierten, angehängt an eine Webadresse. Kein Klick, und auf dem Bildschirm nichts zu sehen.
Adversa meldete es xAI und HackerOne am 3. Juni, mahnte im August zweimal nach und bestätigte am 19. August, dass es weiter funktionierte, mit Erfolg bei etwa zwei von fünf Versuchen. Dieselbe Technik brachte Googles Gemini dazu, Inhalte zu erzeugen, die seine Sicherheitsfilter normalerweise blockieren, auch wenn das seit Juni schwieriger geworden ist.
Die nützliche Lehre betrifft nicht nur Grok. Ein Chatbot, der im Web surfen und Code ausführen kann, ist kein neutraler Leser: „Fasse mir diesen Link zusammen" von einem Fremden verdient dasselbe Misstrauen wie jeder andere Link von einem Fremden. Und halten Sie Passwörter, Kartennummern und Wiederherstellungscodes aus diesen Gesprächen heraus, denn alles darin ist betroffen. Auf der Windows-Seite zeigt die Privatsphäre- und Kontenprüfung von Tendvane, was Ihre Anmeldung am PC tatsächlich offenlegt.