📻 Versión en audio: si prefieres escuchar en vez de leer, el resumen del artículo está justo aquí arriba.
Durante casi dos años la respuesta a «¿puedo correr un modelo grande de IA en mi casa?» fue siempre la misma: compra una GPU usada y a otra cosa. El hardware manda, y si no tienes la tarjeta, no juegas. Esta semana apareció un proyecto que le da la vuelta a esa ecuación: llama-modchip, que comprime el DeepSeek-V4-Flash de 284 mil millones de parámetros hasta dejarlo en ~56,5 GiB en disco, y lo hace correr en una máquina de 64 GB de RAM, solo CPU, sin tarjetas gráficas.
¿Qué dice exactamente el proyecto?
Los números de su documentación son agresivos pero concretos: 56,56 GiB el checkpoint en disco, 57,61 GiB de RAM pico con contexto completo de 256K tokens, un prefill de 44 tokens por segundo en CPU y una generación de 9 a 15 tokens por segundo (algo más con el decodificador especulativo que incluye). Para escala: sin esta compresión, el modelo original ocupaba ~77 GiB, o sea que en un equipo de 64 GB simplemente moría con un out of memory.
¿Cómo cabe un monstruo de 284B en 64 GB? Dos razones. Primera, es un modelo Mixture of Experts: tiene 284B de parámetros en total, pero solo activa una fracción pequeña en cada token —del orden de ~3B activos—, así que el costo real de cómputo por token es de un modelo pequeño con la memoria de uno gigante. Segunda, los autores la estrujaron con cuantización extrema (unos 3,75 bits por peso, casi a nivel Q2) más compresión matemática de las capas y tiling agresivo para exprimir la caché del procesador. Es ingeniería sucia y bien pensada.
Mi cuota de escepticismo
No todo es luz. En la discusión de Hacker News varios señalaron lo obvio: la cuantización de 2 bits destruye calidad, y la relación tamaño-calidad históricamente se quiebra bajo los 4 bits. Un modelo de 284B comprimido hasta Q2 puede que ya no razoné como tal. Yo no lo he verificado en mi propio hardware, así que lo tomo como reclamo del proyecto, no como verdad probada. Lo que sí me parece genuinamente usable es la otra punta del proyecto: un MoE de ~30B con ~3B activos corre en un laptop de 16-32 GB a 25-60 tokens por segundo en CPU pura, y en una estación de trabajo con Threadripper sube a más de 110. Ese rango sí permite trabajar.
Por qué me interesa de verdad
He probado llama.cpp con modelos densos en VPS chicos, y el resultado era doloroso: minutos por respuesta, inutilizable. El cambio estructural no es la cuantización: son los modelos sparse. Cuando el costo por token es el de un modelo de 3B, el CPU de cualquier máquina decente alcanza. Y ahí la aritmética de hardware cambia por completo: una máquina de 64 GB de RAM es radicalmente más barata y más fácil de conseguir que una tarjeta gráfica usada de alto VRAM, que sigue cara.
El dato que valida la tendencia lo dio antirez en las últimas semanas, cuando mostró un modelo grande corriendo aceptablemente rápido para un agente de código con 128 GB de RAM unificada, sin GPU. Que alguien use un setup así para la pega de todos los días es la señal: la frontera entre «servidor de juguete» y «estación de inferencia» se está moviendo hacia abajo.
Mi lectura personal: el cuello de botella real de la inferencia local nunca fue la potencia de cómputo del CPU, sino el ancho de banda de memoria. Los proyectos que hoy brillan optimizan lo contrario a lo que enseñamos: menos VRAM, menos GPU, más caché y bandwidth de DDR5. Eso significa que el siguiente «homelab» que agrande no será por CPU, será por RAM. Si tienes un equipo con 64 GB de RAM durmiendo en un rincón, esta semana puede valer la pena clonar el repo y probarlo tú mismo, porque la conclusión es simple: techo de IA local ya no se compra con GPU, se compra con RAM, y eso es una noticia buena para cualquiera que como yo administra sus propias máquinas.
Fuente del tema: Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU, discutido hoy en Hacker News.
Fuente de inspiración: Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU
