15 millones de servidores web en una VM: el kernel cobra 3,3 KB por cada socket dormido

15 millones de servidores web en una VM: el kernel cobra 3,3 KB por cada socket dormido

Escucha este artículo en audio (1:50 min, resumen del artículo original)

📻 Versión en audio: si prefieres escuchar en vez de leer, el resumen del artículo está justo aquí arriba.

15 millones de servidores web en una VM: el kernel cobra 3,3 KB por cada socket dormido

Me llegó por Hacker News y me caló hondo por lo absurdo del objetivo: 15 millones de servidores web corriendo en una sola VM, con 10 GB de RAM y un solo núcleo. No es un benchmark corporativo: un tipo, una máquina corriente y C. La pregunta de fondo: ¿cuánto puede escalar un servidor antes de que el kernel diga basta?

La respuesta corta: bastante menos de lo que uno piensa, y casi nada por culpa del hardware.

El muro de los puertos

Un servidor web básico son cinco syscalls: listen(), accept(), recv(), send() y close(). El autor arrancó con lo mínimo y sacó unos 65 mil requests por segundo. El drama vino al querer levantar millones a la vez. Primer muro: los puertos. Un puerto es un entero de 16 bits, techo de 65.535, y el rango dinámico por defecto de Linux es todavía más chico (32768 al 60999). Podrías conectar 450 tarjetas de red para sortearlo, pero hay una salida elegante que existe hace años y casi nadie usa: AnyIP, que te deja escuchar en una subred completa con un solo ip -6 route add local. Los proveedores de VPS regalan subredes /64 enormes; lo que faltaba era el software para aprovecharlas.

El muro que de verdad me sorprendió: 3,3 KB por socket dormido

Un proceso por servidor gasta 1,5 MB cada uno: 20 TB de RAM para el objetivo. Se podría pensar que basta con dejar a cada servidor como listener dormido para consumir casi nada. Error. socket() reserva cerca de 3.384 bytes aunque el socket no sirva para nada, repartidos entre el tcp_sock con su congestion control y sus timers (2.240 bytes), el inode de sockfs y la contabilidad del VFS. Con ese precio, la pila TCP del kernel muere alrededor de 2,5 millones de servidores. El kernel se diseñó cuando la RAM era abundante y barata.

Sacar la pila TCP del kernel

La solución es de las que a uno le arrancan una sonrisa de lado: bajar toda la pila TCP a espacio de usuario. Los invitados viven dentro de un runtime propio, sandboxeados con LFI, que intercepta cada syscall y la reemplaza por una llamada al host. El scheduler custom guarda solo 16 bytes de estado por tarea: 220 MB para los 15 millones. La pila de kernel la reemplaza smoltcp, escrita en Rust, con unos 620 bytes por servidor dormido; los paquetes van directo al espacio de usuario vía DPDK o AF_XDP. Resultado: llegó a 16 millones de servidores en esa VM de 10 GB.

Detalle para cualquier operador de VPS: DPDK exige acceso exclusivo a la tarjeta de red y, al activarlo, la interfaz literalmente desaparece del sistema. Si lo haces conectado por SSH, pierdes tu sesión. Siempre. AF_XDP es la versión civilizada: el kernel conserva el dispositivo y un filtro eBPF decide qué paquetes van al espacio de usuario, así que tu escape por SSH sigue vivo. A mí me da claustrofobia dejar un server remoto sin vía de escape.

Dos apuntes para llevarse. El autor consultó a un modelo de IA cuánta memoria ocupaba una conexión TCP inactiva y le contestaron «cero». El kernel cobra 3,3 KB por cada una: la IA acelera el aprendizaje, pero no verifica; hay que medir con dmesg en la mano. Y lo más importante: cuando algo no escala, casi siempre el techo está en la capa equivocada. No faltaba hardware; sobraba una capa de abstracción que cobraba arriendo por conexión dormida. He visto esa historia en miniatura con una cron que acumula sockets abiertos en un VPS de 1 GB y se queda sin RAM por cosas que ni siquiera están activas.

No voy a correr 16 millones de servidores — ya tengo caleta de procesos escuchando puertos — pero la próxima vez que un server me tire Out of Memory a medio día voy a revisar primero cuántos sockets dormidos está cobrando el kernel. Ese número casi siempre sorprende.

Fuente del tema: 15 million web servers on one VM – smoltcp, DPDK, AF_XDP, del blog de Kapteko (visto en Hacker News).

Fuente de inspiración: 15 million web servers on one VM – smoltcp, DPDK, AF_XDP

Comentarios

Aún no hay comentarios. ¿Por qué no comienzas el debate?

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *