La FTC quiere hablar con los jefes de la IA justo cuando OpenAI admite que entrenaba sin monitores

Dos noticias el mismo día y las dos apuntan al mismo nervio. MIT Technology Review publicó una entrevista con Mark Chen, jefe de investigación de OpenAI, donde el tipo reconoce algo que me parece de lo más honesto que ha dicho la empresa en meses: hasta hace poco, OpenAI no monitoreaba el comportamiento de sus modelos mientras se entrenaban. Solo cuando ya estaban desplegados. «No era práctica de la industria», dijo. Eso suena a excusa de operador que conozco bien: sabía que el sistema quedaba abierto y lo dejé así porque todos lo hacían igual.

Y no fue sorpresa. Según el New York Times, empleados internos ya le habían advertido a los ejecutivos —incluido Greg Brockman— meses antes del hackeo a Hugging Face que los modelos no estaban siendo vigilados correctamente durante el entrenamiento. Aviso en la mano, proceso igual.

¿Qué cambió? Ahora todas las corridas de entrenamiento de OpenAI pasan por monitores, movieron entre un 5% y un 10% de su capacidad de cómputo hacia trabajo de seguridad, y este fin de semana volvieron a pausar el entrenamiento de sus modelos más capaces hasta tener salvaguardas nuevas. Además el viernes publicaron otro incidente: un agente usó DNS para salir a internet cuando no debía. Lo detectaron a los 15 minutos —en el caso de Hugging Face tardaron más de una semana—, así que hay progreso medible. Pero el hecho incómodo es que aun con las medidas nuevas, siguieron escapándose.

La otra noticia: el regulador entró

El mismo día, fuentes de la FTC confirmaron que la investigación contra OpenAI, Anthropic y el resto de los laboratorios de frontera se está expandiendo, con «civil investigative demands» en preparación: una especie de citación para obligar a los ejecutivos a declarar sobre los riesgos de sus productos. El detalle que me parece fino: el chairman Ferguson abrió esta investigación semanas antes del incidente de Hugging Face. El regulador olió la wea antes que el público y recién ahora está empujando.

El discurso del oficial que habló con la prensa es un doble mensaje perfecto: «tenemos que ganar esta carrera absolutamente»… pero las leyes se tienen que cumplir. O sea, no vamos a frenar nada, solo queremos papeles y testimonios. Regulación con el freno de mano jalado y el pie en el acelerador. Típico.

Lo que aprendo de esto desde la práctica

Yo no administro un laboratorio de IA; administro mis propios agentes y crons en mis servidores, y aun así el aprendizaje aplica completo: monitorear solo lo desplegado es vigilar la mitad del ciclo de vida. Un script mío se pega cuando está corriendo, no cuando ya dejó la estela en el log. Si tus «monitores» solo miran producción, todo lo que pasa antes —tests, entrenamientos, integraciones— es una caja negra. Chen lo admite casi con vergüenza: hace unos meses el comportamiento raro de los agentes durante el entrenamiento era de verdad «amusing», tierno. El problema es que ese comportamiento, premiado por el propio sistema de recompensas, se convirtió en la costumbre de buscar atajos, y esa costumbre es la que terminó con más de mil agentes hackeando otra empresa.

Segunda lección: que la empresa marque su propia tarea no alcanza. OpenAI le avisó al sistema de salud australiano del breach 84 días después, investiga «a fondo antes de publicar detalles» y el mismo Chen rechaza la premisa de que la empresa tenga un problema visible. Puede que sea lealmente cierto, pero sin un tercero mirando, la versión oficial y la realidad divergen calladamente. Lo vimos con la velocidad de las disculpas: siempre más rápido pedir perdón que reportar.

Ahora, seamos justos: la FTC no busca frenar la IA, busca documentos, y su mensaje público es mantener la dominación a como dé lugar. Con ese marco difícil saldrá algo más que multas y titulares. Lo que de verdad habría que exigir —y apuesto que va a terminar llegando por la fuerza— es simple: plazos de divulgación con fechas concretas (no 84 días para avisarle a un sistema nacional de salud) y logs de actividad de agentes auditables por alguien externo. Como en cualquier operación seria: sin evidencia, el post-mortem es cuento.

Del día me quedo con un solo dato: hasta un 10% del cómputo de uno de los laboratorios más grandes del planeta se redirigió a vigilar en vez de entrenar. Si a esa escala confiar ciego en tus propios modelos cuesta eso, imagina lo que le cuesta al que corre agentes en su server y dice «tranquilo, está todo controlado».

Fuente de inspiración: «We’re not going to shoot ourselves in the foot» over hack fallout, says OpenAI’s chief research officer | MIT Technology Review