Esta semana me crucé con algo que me hizo sonreÃr como cuando uno encuentra un tesoro en la feria de las pulgas: un tipo logró correr Gemma 4 26B, un modelo de lenguaje de 26 mil millones de parámetros, a 5 tokens por segundo en un Xeon de hace 13 años y sin una sola GPU dedicada. Solo CPU, paciencia y mucho trabajo de optimización.
Para que te hagas una idea: ese Xeon probablemente lo encuentras botado en algún rack de un datacenter o, peor, lo tienes juntando polvo en una bodega de la pega. La narrativa de los últimos dos años ha sido «necesitas tarjetas de video carÃsimas para hacer algo decente con IA». Este experimento dice otra cosa.
Lo que no te cuentan sobre correr IA en CPU
El truco no es magia ni un hack exótico. Es ingenierÃa de la buena: cuantización agresiva, kernels optimizados para arquitecturas viejas, y aprovechar al máximo las instrucciones AVX que duermen dormidas en procesadores que todos dimos por muertos. El autor tuvo que pelearse con el compilador, con la jerarquÃa de memoria y con cada ciclo de reloj disponible.
5 tokens por segundo suena lento si lo comparas con lo que te entrega una H100. Pero si lo piensas bien, es perfectamente usable para muchÃsimas tareas reales: un chatbot interno, un asistente de código, un clasificador, un resumidor. No todo necesita latencia de 20 milisegundos. A veces necesitas que la pega salga, no que salga rápido.
Por qué me importa como ingeniero chileno
Acá en Chile (y en Latinoamérica en general) el cálculo de costo de la IA está roto. Toda la conversación pública asume que vas a pagar una API de OpenAI o Anthropic a precio gringo, o que vas a arrendar instancias GPU en AWS a USD la hora. Para una pyme chilena, una startup que está partiendo, o un profesional independiente haciendo changa de proyectos, eso es inviable.
Pero si resulta que con un equipo viejo, bien tuneado, puedes correr un modelo decente localmente… el cálculo cambia. No necesitas inversión inicial grande. El capital es saber qué estás haciendo, no la última A100.
Lo que todavÃa no funciona
No nos engañemos. 5 tokens por segundo en CPU no te sirve para servir a mil usuarios concurrentes. No te sirve para entrenar. No te sirve para inference masivo. El nicho donde brilla es el del desarrollador individual o el equipo chico que quiere privacidad, soberanÃa de datos y cero dependencia de un proveedor externo.
También hay que ser honesto: el modelo usado (Gemma 4 26B) es uno de los más optimizados para correr en hardware modesto. No esperes que cualquier modelo abierto se comporte igual. Y ojo con la calidad de las respuestas: un modelo cuantizado pierde fineza, sobre todo en razonamiento complejo o código sutil.
Mi opinión de frente
La industria de la IA está obsesionada con el scaling: más parámetros, más GPUs, más electricidad, más data centers. Y sÃ, eso empuja la frontera. Pero hay un montón de trabajo interesante (y rentable) en el otro extremo: hacer que la IA existente funcione donde nadie pensó que podÃa.
Si eres ingeniero y todavÃa no has probado correr un modelo local, te lo recomiendo. No por moda, sino porque cachai de verdad cómo funciona. La diferencia entre usar una API y entender qué pasa adentro es la diferencia entre manejar un auto y entender de mecánica. Y esa segunda habilidad te salva cuando el proveedor sube los precios, cuando cambian los términos, o cuando simplemente necesitas que tus datos no salgan de tu propia red.
Fuente de inspiración: Running Gemma 4 26B at 5 tokens/sec on a 13-year-old Xeon with no GPU
