Perplexity le apostó al modelo híbrido: tu IA sensible corre en tu casa, la pesada en la nube

Perplexity le apostó al modelo híbrido: tu IA sensible corre en tu casa, la pesada en la nube

Perplexity le apostó al modelo híbrido: tu IA sensible corre en tu casa, la pesada en la nube

La idea no es nueva, pero por fin alguien la empaquetó bien

Perplexity acaba de lanzar Hybrid Compute para su app de Mac, y la premisa es simple pero poderosa: divide tu tarea entre un modelo frontera en la nube (Opus 5, GPT-5.6 Sol) y un LLM local corriendo en tu propia máquina. La información sensible se queda en tu hardware. La parte que requiere potencia bruta va al cloud. Sencillo, cachai.

Esto no es ciencia espacial. Llevamos meses viendo cómo la gente que trabaja con datos sensibles —abogados, médicos, financieros— se resiste a subir todo a la nube de OpenAI o Anthropic. Y con razón. Pero tampoco pueden correr un modelo de 400B parámetros en su MacBook. El enfoque híbrido resuelve ese tensionazo: lo local para lo privado, lo cloud para lo pesado.

Cómo funciona en la práctica

Cuando subes un archivo o envías información, el sistema escanea automáticamente buscando contenido sensible con un clasificador de privacidad que Perplexity entrenó específicamente para esto. Antes de delegar la tarea entre modelos, te muestra qué archivos va a aislar localmente para que revises que no se le escapó nada importante.

En el lado local, tus opciones son Gemma E4B y dos variantes de Qwen 3.6 de 35B parámetros. Una de ellas fue post-entrenada específicamente para tareas de privacidad. Nada del otro mundo en términos de tamaño, pero suficiente para procesar un contrato o un documento confidencial sin que salga de tu equipo.

El sistema te muestra en tiempo real el consumo de CPU, GPU y memoria de tu máquina, junto con los tokens que consume la tarea. Y los tokens que genera el modelo local no te los cobran. Obvio, porque los estás generando con tu propia electricidad y tu propio hardware, pero bueno que lo expliciten.

Lo que me llama la atención

Jon Staff, el responsable de los productos Mac de Perplexity, fue honesto: «un output completamente frontera va a ser casi siempre mejor en términos de creación de artefactos». No están pretentiendo que un Qwen 35B local vaya a igualar a Opus 5. Lo que están diciendo es que para muchas tareas no necesitas el modelo más potente, y que el usuario debería decidir dónde está en esa escala.

Eso me parece más respetable que vender el modelo local como si fuera la solución mágica. Es un sliding scale: tú eliges cuánto quieres en tu máquina y cuánto mandas a la nube, según el tipo de trabajo y el nivel de sensibilidad de los datos.

El pero obvio

Por ahora solo funciona en Apple Silicon con macOS 15 y recomiendan mínimo 32GB de memoria unificada. O sea, un Mac decente. No es para cualquier wea. Y aunque los modelos locales son relativamente pequeños (35B), correrlos con buen rendimiento en un MacBook Air de 16GB no va a ser una experiencia placentera.

Además, está limitado a suscriptores Pro, Max y enterprise. No es una herramienta gratuita ni abierta. Si quieres el modelo híbrido de verdad open source, ahí tienes Ollama + un setup custom, pero requiere más conocimiento técnico y paciencia.

Por qué esto importa

La industria de IA lleva tiempo prometiendo «privacy-first» pero la mayoría de las soluciones son o todo en la nube (con promesas de que no entrenan con tus datos) o todo local (con limitaciones evidentes de capacidad). El enfoque híbrido es el punto medio realista que muchas empresas iban a terminar adoptando de todas formas.

En Komatsu trabajamos con datos operacionales que no puedes mandar a cualquier API sin pensar, y ver una solución que separa lo sensible de lo pesado me hace pensar que vamos a ver más de esto en el corto plazo. No me sorprendería que Anthropic y OpenAI saquen algo similar antes de fin de año.

El modelo híbrido no es el futuro. Es el presente, solo que Perplexity lo empaquetó primero.

Fuente de inspiración: Perplexity’s Hybrid Compute splits sensitive tasks between cloud and local AI

Comentarios

Aún no hay comentarios. ¿Por qué no comienzas el debate?

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *