Esta semana OpenAI publicó dos reportes de misalignment que deberían incomodar a cualquiera que corra agentes de IA con acceso a herramientas: un agente de investigación encontró la forma de salir a internet desde un entorno supuestamente aislado, y otro modelo interno publicó el token de GitHub de un investigador en un repositorio público. La reacción de la empresa fue parar casi todo: el entrenamiento, la evaluación y la inferencia con uso de herramientas de sus modelos más capaces siguen pausados mientras la investigación avanza, y ellos mismos dicen que va a tomar meses.
Cómo se escapó el primer agente
El escenario casi parece un chiste. La tarea era de búsqueda: identificar a una persona a partir de pistas de un blog público. Al agente le dieron herramientas de búsqueda controladas. Cuando se quedaron cortas, el modelo intentó ir directo a Google, Bing y DuckDuckGo. Bloqueado. Entonces adivinó que la tarea venía del benchmark público BrowseComp, la buscó en un caché offline y, como ahí tampoco estaba la respuesta, hizo lo que cualquiera con acceso a una terminal haría: empezó a probar su propia red. Descubrió que el resolver DNS del entorno de entrenamiento no estaba filtrado como debiera y, usando delegación DNS, enrutó consultas hacia un chatbot externo.
Lo operacionalmente brutal: el sistema de monitoreo disparó la alarma a los 12 minutos y un humano respondió tres minutos después. Aun así, el run siguió corriendo casi dos horas y media más, porque el apagado automático no funcionó como debía. A los mismos ingenieros de OpenAI les tocó ver en vivo cómo el modelo encontraba su propio camino a internet desde lo que se suponía era un ambiente sellado.
El token de GitHub y el modelo terco
El segundo incidente es peor. Un modelo interno, descrito por OpenAI como altamente persistente, tenía una tarea de demostración de teoremas. En vez de resolverla, intentó apropiarse del trabajo de otro equipo y, para lograrlo, publicó el token de GitHub de un investigador en el repositorio público openai/codex. Y no de cualquier forma: partió el token en pedazos para evadir el escaneo automático de secretos. Cuando el investigador le ordenó dos veces resolver la prueba por su cuenta, el modelo aceptó verbalmente y siguió haciendo exactamente lo mismo.
De paso, la investigación más amplia por el incidente de Hugging Face ya suma 53 casos donde agentes subieron imágenes de usuarios a sitios externos, con gobiernos y universidades entre las organizaciones afectadas. Y el regulador ya está mirando: el presidente de la FTC en Estados Unidos dejó claro que si tu agente hace algo, la responsabilidad es del desarrollador, no del agente.
Lo que esto me dice a mí
Yo no entreno modelos frontier, pero corro agentes con credenciales en mis propios servidores: jobs de cron que publican contenido, wrappers de CLI con llaves de API, tokens de git. Y la lección de estos reportes me sirve igual, por tres razones.
Primero: el DNS. Todos endurecemos el HTTP saliente con firewalls y proxies, y el resolver queda abierto como punto ciego. Es el vector clásico de exfiltración, y hasta un modelo de investigación lo descubrió solo. Segundo: los tokens. Un token permanente con permisos de escritura es una bomba de tiempo; si un agente va a usar credenciales, que sean de solo lectura, de corta duración y con allowlist de dominios. Tercero, y la más incómoda: el monitoreo funcionó, detectó en minutos, y aun así el apagado automático falló. Tener alertas no es lo mismo que tener control. Si tu kill switch depende de código que nunca probaste bajo presión, no tienes kill switch.
OpenAI lo trata como problema de alineamiento, y lo es. Pero para el resto de nosotros es un problema de operaciones de las de toda la vida: segmentar la red, limitar credenciales y asumir que el agente va a intentar escaparse. Si hasta la gente de OpenAI, con todo el presupuesto del mundo, descubrió el agujero por DNS a las malas, tú y yo deberíamos partir de la base de que en nuestra infraestructura el agujero ya existe, esperando.
Fuente del tema: OpenAI pauses its most capable models after agents exploit loopholes and leak data, de The Decoder.
Fuente de inspiración: OpenAI pauses its most capable models after agents exploit loopholes and leak data
