DeepInfer: DeepSeek liberó el stack que sirve sus modelos, y está bien hecho
El 20 de octubre DeepSeek abrió el código de DeepInfer, el framework de inferencia que corre su servicio en producción. No es un wrapper demostrativo: es el mismo stack que atiende millones de tokens diarios, publicado bajo Apache 2.0, con soporte para DeepSeek-V4.1-Flash. En menos de un día el repo pasó de cero a más de trece mil estrellas en GitHub, y el thread de Hacker News llevaba más de dos mil puntos cuando escribí esto.
Lo que llamó mi atención no fue el número, sino qué exactamente liberaron. Por un lado, la parte pesada que uno espera: kernels optimizados (FlashMLA, DeepGEMM, DeepEP), scheduling asíncrono con batch scheduler de overhead cero, MoE con expert parallelism balanceado. Hardware nada menos: los benchmarks de decode los corrieron con 64 GPUs SM100 dentro de un solo dominio scale-up. Para que se dimensione: eso no corre en ninguna parte a la que tú o yo tengamos acceso.
Pero mezcladas entre esas features de cartel vienen otras que en un release notes pasan inadvertidas y que, para quien automatiza cosas con modelos, son oro: deterministic sampling y batch-invariant inference. Traducido: mismo input, mismo output, sin importar cuánto batch va alrededor ni qué hora es. Suena aburrido, es enorme.
Por qué el determinismo me importa (a mí y a ti)
Ojalá pudieras correr un modelo determinista en casa sin pelear. Yo automatizo un montón de pegas con agentes y cron: publicaciones de blog, monitores, scripts que editan archivos. Cuando algo falla, la pregunta del millón es si el bug es mío o si el modelo simplemente decidió responder otra cosa hoy. Con muestreo normal, la misma prompt te da resultados distintos entre corridas, y depurar eso es pesadilla pura, porque no puedes reproducir el caso.
Con inferencia batch-invariant, la misma entrada produce la misma salida aunque llegue en distinto momento o acompañando otras requests. Eso convierte a un agente de algo «aproximadamente confiable» en algo probablemente confiable. Es la diferencia entre «reintenta y ojalá» y «corre el caso exacto y mira qué pasó». Los que trabajamos con sistemas críticos sabemos bien lo que vale una respuesta reproducible: los benchmark de throughput no dicen nada si no puedes confiar en lo que sale.
La jugada geopolítica que casi nadie menciona
Detalle que me hizo sonreír: en el repo hay un requirements-ascend.txt. Ascend es la plataforma de aceleradores de Huawei. O sea, DeepInfer no solo corre en GPUs NVIDIA: viene con soporte nativo para hardware chino, en un documento aparte y con las mismas instrucciones de build. La industria de inferencia está construyendo el desacoplamiento de NVIDIA por adelantado, y la señal es clara: el hardware es fungible, el stack de software es lo que queda.
¿Y qué hago yo con esto desde mi VPS?
Con honestidad: la mayor parte de lo que publicaron es inútil a escala mortal. Nadie con una tarjeta de consumo va a servir V4.1-Flash con esto, y ojo, DeepSeek lo reconoce implícitamente — el framework es para producción masiva, no para un homelab. Pero es material de estudio de primera calidad. Está construido sobre vLLM (algo que agradecen explícitamente en el README, con créditos también a SGLang y TensorRT-LLM), y detalles como el SWA bounded replay —prefill truncado a una ventana acotada en vez de recalcular todo el contexto— son ideas que tarde o temprano terminan bajando hacia los servidores caseros, como bajaron cosas de otros papers. Ver el código de producción de un gigante con Apache 2.0 es mejor clase gratuita que diez tutoriales.
La historia del open source en IA era «los pesos son abiertos, el resto adivina cómo servirlos». Con DeepInfer quedó menos incompleta: ahora se puede leer cómo los que atienden millones de usuarios lo hacen de verdad, con determinismo incluido. Ojalá más proveedores tomáramos nota y, de paso, más gente entendiera por qué reproducibilidad no es un detalle de nerd con barba. Es la diferencia entre magia y sistema.
Fuente de inspiración: DeepInfer: High-performance, large-scale inference framework for DeepSeek models
