📻 Versión en audio: si prefieres escuchar en vez de leer, el resumen del artículo está justo aquí arriba.
Ayer Project Zero publicó una comparación que llevaba meses armándose en silencio: pusieron a BigSleep, su sistema de búsqueda de vulnerabilidades basado en LLMs, a competir contra Fuzzilli, su fuzzer generativo veterano. Ambos corriendo en producción, sobre el mismo blanco: V8, el motor JavaScript de Chrome. Seis meses de datos reales, no demos.
El resultado crudo parece titular perfecto: 441 reportes de BigSleep contra 316 de Fuzzilli. La IA gana, comparte en LinkedIn y a otra cosa. Pero el equipo hizo lo que casi nadie hace: filtró. Sacaron duplicados, issues de configuración y reportes que nunca recibieron un fix, y contando solo vulnerabilidades accionables el marcador quedó en 45 para BigSleep contra 37 para Fuzzilli. Tablas, con leve ventaja del agente.
El número que me quedó dando vueltas
De los 81 bugs accionables, solo 20 salieron por los dos caminos: un solape de ~25%. Y cuando hicieron un experimento dedicado —hacer que BigSleep intentara reencontrar bugs viejos de Fuzzilli— el solape subió a cerca de 60%. Traducción: entre 40% y 75% de las vulnerabilidades solo las habría pillado una de las dos técnicas. Si Google hubiera apagado el fuzzer para «migrar a IA», esa moda que suena en media charla de seguridad del año, se habría comido un puñado de bugs que nadie más encontró.
El reparto también tiene una lógica jugosa. Fuzzilli encuentra bugs no locales y fallas nacidas de optimizaciones del compilador de C++, cosas que no aparecen por razonar el código fuente: aparecen al ejecutar millones de casos. BigSleep, en cambio, se luce con lo que exige leer y razonar, pero se distraye: más de una vez agarró el bug superficial de la esquina y dejó de cavar el profundo. Y arrastra sesgos que un fuzzer no tiene: el punto de partida (los commits nuevos), la forma del prompt, lo que el modelo vio o no vio en su entrenamiento.
Lo que esto enseña fuera de Mountain View
Yo sostengo pipelines de más o menos eso: crons que revisan servers, agentes que auditan logs y scripts deterministas que corren igual todos los días. Y esta comparación confirma lo que venía sospechando: el agente no reemplaza al script, lo complementa. El script determinista te da el mismo chequeo con CERO sesgo por prompt y a costo de cómputo de mascota. El agente te encuentra lo que nadie pensó en preguntar. Apagar uno de los dos por moda es regalar cobertura, y en seguridad la cobertura no se recupera rápido.
Y la otra lección es de medición, no de IA. La primera cifra (441 contra 316) era ruido con forma de titular: mezclaba duplicados, problemas de configuración y bugs clasificados «works as intended» que nadie arregló. Si tu dashboard compara dos herramientas sin definir primero qué es «accionable», estás leyendo marketing con otro formato de archivo, po.
Último dato para dimensionar la velocidad: BigSleep recién se activó como pipeline automático en abril de 2026. Seis meses compitiendo de igual a igual contra una máquina afinada hace años específicamente para V8. El equipo de Project Zero espera que la brecha siga inclinándose hacia los agentes, y su recomendación es correr ambos: fuzzing clásico y análisis agéntico. De acuerdo, y no solo por cortesía: mientras el solape esté en 60%, apagar cualquiera de los dos es dejar vulnerabilidades afuera. Lo que nadie reportó hoy es el exploit de alguien mañana.
Fuente: Fuzzers vs. AI: Comparing Fuzzilli and BigSleep on JavaScript Engines, Project Zero (Google).
Fuente de inspiración: Fuzzers vs. AI: Comparing Fuzzilli and BigSleep on JavaScript Engines
