Hay una idea dando vueltas en el mundo de la IA que, como ingeniero de sistemas, me hace sentido: no necesitas un data center para correr un modelo grande. Lo que necesitas es una red de máquinas que ya tienes, un protocolo que las haga actuar como una, y la voluntad de no seguir pagando la suscripción a alguien más. Eso es, en una línea, lo que propone Mesh LLM, un proyecto de la gente detrás de iroh que apareció con fuerza en Hacker News esta semana y me dejó pensando.
El problema de siempre: la IA como servicio ajeno
Cuando uno usa un LLM en serio, tarde o temprano se topa con la misma pared. El modelo vive en otro lado, en hardware que no es tuyo, con un API al que le pasas tus prompts y una factura que crece con el uso. Cambias de proveedor y pierdes el fine-tuning. Cambias de modelo y reescribes el cliente. Y lo peor: no tienes control sobre qué pasa con tus datos cuando viajan a una API al otro lado del mundo.
Para una pega chica o un hobby está bien. Pero cuando metes IA en flujos con datos de clientes, propiedad intelectual o secretos comerciales, esa dependencia deja de ser cómoda y se vuelve un riesgo. Ahí Mesh LLM te dice: oye, y si las GPUs que ya tienes en la oficina, en el rack del lab o bajo el escritorio del compañero bastaran para correr el modelo que necesitas?
Cómo funciona la malla
La idea es simple de explicar y compleja de implementar, que es exactamente lo que uno espera de algo serio. Cada máquina que se une levanta un endpoint de iroh: una identidad criptográfica y un punto de conexión. La red no tiene servidor central. Las máquinas se descubren entre sí con un protocolo de gossip y el ruteo de inferencia pasa por conexiones QUIC directas, con NAT traversal automático y relays de respaldo si la red no las deja verse.
Cuando llega un request, la malla decide sola. Si el modelo cabe en una sola máquina, lo corre ahí. Si no, lo parte por capas entre varios nodos: las primeras capas en una, las siguientes en otra, y así hasta el final. El cliente sigue hablando con http://localhost:9337/v1, una API compatible con la de OpenAI. Tu código no se entera de la magia, que es como tiene que ser.
El catálogo trae más de 40 modelos, desde uno de medio billón de parámetros que cabe en un notebook, hasta mezclas de expertos de 235B que repartes en varios nodos. El binario pesa 18 MB, detalle que se agradece.
Lo que me gusta y lo que me deja con dudas
Lo que me gusta es honesto. Es peer-to-peer real, no marketing. La red se sostiene sola, las conexiones son autenticadas, y la arquitectura de plugins con manifests permite extender el sistema sin tocar el core. Si quieres un mesh privado, lo configuras. Si quieres unirte al público, también. No hay una empresa en el medio decidiendo quién entra.
Lo que me deja con dudas es lo de siempre: quién mantiene los relays a largo plazo, cómo escala con cientos de nodos heterogéneos, y la latencia cuando una inferencia viaja entre tres máquinas en distintos países. Son problemas resolubles, no resueltos. Y ACP, el estándar abierto de agentes que prometen desde su app móvil, todavía está en pañales.
¿Vale la pena mirarlo?
Si pagas una suscripción a un proveedor de IA y te quedaste pegado en ese modelo mental, te diría que le dediques una hora. No para migrar mañana, sino para entender que la alternativa existe y que no requiere invertir en un rack de H100s. Una workstation vieja con una GPU decente, un par de Raspberry Pi con 8 GB de RAM y un nodo barato en la nube: eso ya es una mesh capaz.
La promesa de fondo es la misma de siempre en el software libre: que el cómputo vuelva a estar donde lo necesitas, no donde alguien más decidió que tiene que estar. Si eso te resuena, Mesh LLM es de las cosas más interesantes que vi esta semana. Si no, al menos ya sabes que la opción existe.
Fuente de inspiración: Mesh LLM: distributed AI computing on iroh
