AWS mandó boletas de $1.5 billones por un bug: la pesadilla de todo sysadmin hecha realidad

Ayer me desperté con una noticia que me dejó frío, y no es para menos. Amazon Web Services tuvo que salir a pedir disculpas públicamente después de que un error en su sistema de facturación enviara cuentas de hasta 1.5 billones de dólares a algunos usuarios. Sí, leíste bien. Billones, con B de «¿pero qué chucha?».

El caso más cuático es el de un tipo en Reino Unido que normalmente paga menos de una libra mensual por sus servicios en AWS. El loco abrió su correo y se encontró con una boleta de 5.8 mil millones de libras esterlinas. Dijo que casi le da un infarto. Yo le creo. Si a mí me llega una cuenta así, probablemente me baja la presión y me desmayo antes de siquiera pensar en llamar a soporte.

¿Qué pasó exactamente?

Según Amazon, el problema fue un bug en el «subsistema de cómputo de facturación estimada». En criollo: el sistema que calcula cuánto debes empezó a multiplicar weas que no tenía que multiplicar. Un error de unidad de precio, dijeron ellos. O sea, alguien en algún lado puso un cero de más, o movió un decimal, o confundió dólares con centavos. Cosas que pasan cuando tu infraestructura de billing es más compleja que la chucha.

Lo que me parece interesante es que este no es un problema menor. AWS es la nube más grande del planeta. Millones de empresas, startups y gobiernos dependen de que sus sistemas funcionen bien. Y cuando digo funcionen bien, no me refiero solo a que los servidores no se caigan. Me refiero también a que no te llegue una boleta que te haga cuestionar tu existencia.

La confianza se pierde lento y se recupera más lento

Yo he trabajado con AWS hace años, y una de las cosas que siempre me ha preocupado es justamente la facturación. Es súper fácil dejar una instancia prendida, olvidarte de un volumen EBS, o configurar mal un Auto Scaling y que de repente tu cuenta se dispare. Pero eso es culpa de uno. Lo de ayer fue culpa de Amazon, y eso es mucho más grave.

Porque si el sistema de billing de AWS puede fallar así, ¿qué garantía tengo de que no vuelva a pasar? ¿Qué pasa si en vez de un error gigantesco y obvio, es un error chico que nadie nota y te van cobrando de más por meses? La verdad es que nadie va a revisar línea por línea una boleta de AWS de $500 dólares. Pero si te llega una de $1.5 billones, obviamente saltas de la silla.

Mi opinión: esto es un recordatorio de que la nube no es magia

Mucha gente cree que la nube es infalible. Que porque es Amazon, Google o Microsoft, todo va a funcionar perfecto. Y no es así. Estos sistemas los hacen humanos, y los humanos nos equivocamos. La diferencia es que cuando Amazon se equivoca, el error escala a niveles ridículos por la magnitud de su operación.

Como ingeniero de sistemas, esto me hace pensar en dos cosas. Primero, la importancia de tener monitoreo y alertas en tu facturación. No confíes ciegamente en que el proveedor va a hacer bien su pega. Segundo, la necesidad de que las empresas de cloud sean más transparentes cuando estas weas pasan. Amazon pidió disculpas, sí, pero ¿cuántos usuarios afectados hubo? ¿Cuánto tiempo estuvo el bug activo? No han dicho mucho más.

Al final, esta historia es media tragicómica. Pobre el tipo que casi se muere con la boleta, pero también pobre el ingeniero de AWS que tuvo que explicarle a su jefe por qué el sistema mandó cuentas de trillones de dólares. Me imagino la reunión: «Oye, ¿te acordai del deploy de anoche? Bueno, pasó algo…».

Si usas AWS, revisa tu boleta este mes. Por si acaso.

Fuente de inspiración: Amazon apologizes after some AWS users received bills as high as $1.5T due to «an issue with unit pricing within the estimated billing computation subsystem»