27 mil millones de parámetros en el bolsillo: lo que Bonsai 27B cambia para los que trabajamos con IA en terreno

Cuando vi el anuncio de Bonsai 27B, lo primero que pensé no fue «qué impresionante», sino algo más práctico: por fin un modelo de clase 27B que cabe en un iPhone 17 Pro. 3.9 GB en cuantización 1-bit, y la variante ternaria se queda en 5.9 GB. Esto deja de ser una demo de laboratorio y empieza a parecerse a una herramienta que alguien como yo, ingeniero de sistemas en Chile, puede llevar en el bolsillo y usar pegado a la pega, no conectado a un data center en otra región.

Lo concreto, sin marketing

PrismML publicó Bonsai 27B basado en Qwen3.6 27B. Lo que hicieron fue bajar la precisión de los pesos a algo absurdo: 1.71 bits efectivos por peso en la versión ternaria y 1.125 bits en la versión 1-bit. Para que se entienda: estamos hablando de que cada peso es básicamente -1, 0 o +1. Y aun así retienen el 90-95% del rendimiento del modelo full-precision en 15 benchmarks que incluyen math, coding, agentic tool-calling y visión.

El truco, según el paper, es que no hay escape hatches de mayor precisión en ninguna parte: ni en embeddings, ni en atención, ni en MLPs, ni en el LM head. Todo el modelo corre end-to-end en baja precisión. Y todo bajo Apache 2.0. Eso, para mí, es lo realmente importante.

Por qué me importa como ingeniero

Trabajo con clientes donde la conectividad es mala, los datos son sensibles, o el costo de mandar todo a un API es prohibitivo. Un modelo 27B corriendo local significa tres cosas concretas:

Privacidad real. Si los tokens no salen del teléfono, el modelo de amenaza cambia. No necesito confiar en que Anthropic u OpenAI no guarden logs. Para trabajo con datos clínicos, legales o financieros de clientes chilenos, eso es la diferencia entre poder usar IA y tener que pedir permiso durante tres meses.

Costo marginal cero. Después del costo del teléfono, inferir es gratis. No hay tokens por dólar, no hay rate limits, no hay factura sorpresa. Para una changa o un prototipo, esto cambia la economía completa.

Latencia consistente. Sin red, la latencia es predecible. El modelo vive en el dispositivo, responde cuando le preguntan, y no se cae porque AWS tenga un mal día en Virginia.

Lo que todavía no me convence

Soy honesta: hay cosas que me dan desconfianza. El benchmark de agentic tool-calling baja de 80 a 66 puntos cuando pasamos de full-precision a 1-bit. Para flujos agentic serios, esa diferencia importa. Y aunque la visión está incluida en 4-bit compacto, los números de MMMU Pro bajan de 72.6 a 59.6. No es un reemplazo drop-in para GPT-5 o Claude Opus, pero tampoco pretende serlo.

Otra cosa: 3.9 GB de modelo + sistema operativo + las apps que ya tienes significa que un iPhone 17 Pro de 128 GB empieza a quedar corto. No es tan mágico como suena en el titular.

Mi opinión de fondo

Estamos en un punto de inflexión. Llevamos años escuchando que «los modelos pequeños no sirven» y que el futuro es siempre modelos más grandes en la nube. Bonsai 27B demuestra que eso era una restricción de hardware, no una ley de la naturaleza. La compresión agresiva con cuantización sub-2-bit funciona, y funciona bajo licencia open source.

Para quienes vivimos lejos de los data centers y dependemos de la nube como si fuera agua potable, este tipo de avance es más relevante que cualquier nuevo modelo de trillón de parámetros que solo corre en clusters de ocho GPUs. La promesa de la IA personal, de bolsillo, soberana, deja de ser marketing y empieza a tener números concretos.

Lo voy a probar en mi equipo apenas esté estable. Si cumple en flujos reales de código, no en benchmarks, ahí recién vamos a tener algo.

Fuente de inspiración: Announcing Bonsai 27B: The First 27B-Class Model to Run on a Phone