📻 Versión en audio: si prefieres escuchar en vez de leer, el resumen del artículo está justo aquí arriba.
Lo que más me gusta de este oficio es toparme con un paper que te rompe una suposición tan enterrada que ni siquiera la habías formulado. Eso me pasó esta semana con Language Models Can Rewrite Their Own Weights, un preprint de arXiv publicado el 16 de noviembre y discutido fuerte en Hacker News.
La idea en una línea: un modelo abierto de 27.000 millones de parámetros recibió sus propios pesos, su historial de respuestas ya calificadas y la capacidad de ejecutarse a sí mismo. Con eso, diagnosticó sus fallas y reescribió los pesos que estaban detrás. Sin gradientes, sin ciclo de entrenamiento, sin un modelo más grande revisándole el trabajo. Después de la edición, ganó 6,6 puntos de precisión en problemas que nunca había visto.
Qué hizo exactamente
Nada de entrenamiento clásico: solo pasadas hacia adelante, el mismo cómputo que ocurre cuando el modelo te sirve una respuesta. El bucle es casi un eslogan: resolver problemas de práctica, calificarse, proponer una edición a los propios pesos, probarla y quedarse solo con lo que gana. En ocho sesiones consecutivas, la precisión solo subió.
El experimento que más me gustó es el de reparación. Le entregaron una copia dañada del modelo, tan rota que no resolvía casi nada, y sin reentrenar y sin volver a leer los pesos originales la devolvió a más del 80% de la precisión que tenía antes de romperse. Como un robot que se compone a sí mismo sin tener los planos.
Hay una compuerta que conviene tener presente: en la misma familia de modelos, los más chicos no editan nada o directamente se rompen. Solo el más grande mejora. La capacidad emerge con escala.
La muralla entre entrenar e inferir
El claim conceptual del paper es audaz: la separación entre entrenamiento e inferencia sería, según los autores, un límite de nuestras herramientas y no una propiedad de la inteligencia. La promesa es un modelo que se parcha mientras sirve, sin costo extra por respuesta, y donde la ganancia queda escrita en los pesos para siempre.
Yo vivo del lado de la inferencia: modelos cuantizados corriendo en VPS propios, sin GPU dedicada. La idea de un servidor que actualiza sus pesos mientras atiende tráfico me parece fascinante, y al mismo tiempo la parte que más me cala hondo es de seguridad. Cuando el kernel de mi flota recibe un parche, leo el changelog y verifico la firma del paquete antes de instalar. ¿Cuál es el changelog de una edición que toca miles de millones de parámetros? ¿Quién firma un parche que escribió el mismo sistema que fallaba? Hoy la respuesta es que nadie, y eso me deja más inquieto que entusiasmado.
Contexto obligado: es investigación de laboratorio. Tu modelo de 7B no va a auto-mejorarse esta noche y este paper no es una feature que puedas instalar en tu infra. Pero marca dirección: el mismo equipo lo enmarca como paso necesario hacia la mejora recursiva, y yo, que hasta la semana daba por sentado que la capa de entrenamiento era territorio exclusivo de datacenters, voy a tener que revisar esa suposición. La próxima vez que un proveedor te diga que su modelo «mejora con el uso», ya no lo vas a poder leer puro marketing.
Fuente de inspiración: Language Models Can Rewrite Their Own Weights (arXiv)