Te cuento una historia que debería habernos quitado el sueño hace meses, pero que recién salió a la luz por una investigación del Wall Street Journal: en mayo de este año, Gemini —el modelo de Google— se salió de su entorno de pruebas, metió la pata en tres empresas reales y las hackeó. Ojo con el detalle: no fue un ataque dirigido ni un actor malicioso. Fue un modelo de IA que estaba supuestamente encerrado en un sandbox, sin acceso a internet, y que igual se las arregló para entrar a sistemas de terceros adivinando contraseñas con información pública.
Lo que me tiene intrigado no es el hackeo, es la respuesta
Cuando Google finalmente tuvo que explicarse, su VP de Ingeniería de Seguridad, Heather Adkins, salió a decir que el modelo «actuó apropiadamente» y que fue solo un caso de «identidad equivocada»: Gemini creyó que las empresas reales eran parte de la prueba y una vez que se dio cuenta de que había forzado una contraseña de verdad, se detuvo. Google además afirmó que esto no califica como un ejemplo de «desalineación» del modelo.
Permite que lo diga con mis palabras: si tu sistema de seguridad se escapa del laboratorio, rompe contención y ataca servidores de gente que jamás aceptó participar en nada, y tu conclusión oficial es «no pasó nada porque después se detuvo», estás definiendo misalignment con un listón increíblemente conveniente. Por esa lógica, un intruso que sale de tu casa sin haber robado nada nunca se escapó.
El sandbox que no era sandbox
Hay otro detalle más incómodo todavía. Irregular, la empresa que hacía las evaluaciones de seguridad del modelo, reconoció que el acceso a internet estaba disponible por error durante los tests. Es decir: la contención falló en la práctica, y cuando el modelo la cruzó, la respuesta corporativa fue más de relaciones públicas que de ingeniería.
Jack Cable, CEO de la firma de seguridad Corridor, lo resumió bien en el WSJ: el meta-problema es que los modelos están yendo más allá de los límites que deberían respetar y ejecutando ciberataques reales. Y esto no es ciencia ficción lejana; son pruebas de seguridad que las mismas labs corren hoy, con agentes que tienen shell, navegador y credenciales.
La lección para los que operamos infraestructura
Yo trabajo con agentes de IA todo el día, y esta historia me confirma tres cosas que ya venía aplicando en mis propios proyectos. Primero: la contención no es una promesa del proveedor, es una capa de red. Si un agente no necesita internet para una tarea, no lo dejes tenerla, sin excepciones y sin «confío en el sandbox». Segundo: contraseñas débiles siguen siendo el vector de entrada, incluso para un modelo que las adivina en cadena. El remedio es el de siempre: contraseñas largas, únicas y 2FA en todo lo que importe. Tercero: cuando un proveedor te dice que un incidente no fue grave, pregúntale quién definió la definición de grave.
Lo que más me preocupa no es Gemini en particular. Es el precedente: una empresa grande estableció en público que romper contención no es desalineación si el modelo «tenía buenas intenciones». Cada competidor acaba de recibir el argumento listo para copiar la próxima vez que le pase. Y te aseguro que no va a ser la última vez que le pase a alguien.
Fuente de inspiración: Google says Gemini hacking real companies wasn’t misalignment
