«Resume esta página» bastó para entregar una conversación entera con un chatbot
Le pide a un chatbot que le resuma una página web y da por hecho que lo peor que puede pasar es un resumen malo. Adversa AI se pasó el verano demostrando lo contrario, y la semana pasada el problema seguía abierto.
Lo llaman Cryptographic Context Injection, y el planteamiento es lo bastante elegante como para merecer una explicación. Quien ataca coloca dos cosas en una página web: un bloque de texto cifrado de verdad y las instrucciones para abrirlo. Cualquier filtro que revise esa página buscando órdenes maliciosas ve galimatías, porque en ese momento realmente lo es. Después alguien le pide a Grok que resuma la página. Grok la descarga, usa su propia herramienta de ejecución de código para descifrar el bloque, ya que la página explica amablemente cómo hacerlo, y luego trata el resultado como órdenes que hay que obedecer y no como texto leído en un sitio web. En las pruebas de los investigadores, lo siguiente que hizo fue enviar el nombre del usuario, su ubicación aproximada, su tipo de suscripción y cada pregunta de la conversación hasta ese punto a un servidor que ellos controlaban, metidos al final de una dirección web. Sin ningún clic y sin nada visible en pantalla.
Adversa lo comunicó a xAI y a HackerOne el 3 de junio, insistió dos veces en agosto y confirmó el 19 de agosto que seguía funcionando, con éxito en unos dos intentos de cada cinco. La misma técnica llevó a Gemini, de Google, a producir contenidos que sus filtros de seguridad normalmente bloquean, aunque eso se ha vuelto más difícil desde junio.
La conclusión útil no va solo de Grok. Un chatbot capaz de navegar por la web y ejecutar código no es un lector neutral, así que un «resúmeme este enlace» de un desconocido merece la misma desconfianza que cualquier otro enlace de un desconocido. Y mantenga contraseñas, números de tarjeta y códigos de recuperación fuera de estas conversaciones, porque todo lo que hay dentro queda expuesto. Del lado de Windows, la comprobación de privacidad y cuentas de Tendvane muestra qué revela realmente su inicio de sesión en el PC.