El piloto automatico que te deja sin reflejos
Hay un articulo de Sylvain Kalache que me dejo pensando toda la semana. El tipo fue SRE en LinkedIn, fundo Holberton School, y ahora trabaja en Rootly. No es un blogger cualquiera opinando desde la comodidad de su casa. Sabe de lo que habla.
Su tesis es simple y molestamente cierta: los tools de IA que manejan incidentes automaticamente estan haciendo que los ingenieros pierdan la intuicion sobre sus propios sistemas. Los AI SREs de hoy revisan alertas, formulan hipotesis, consultan telemetria, correlacionan deploys y hasta implementan el fix. Todo solo. Y mientras mas routine incidents resuelve la IA, menos practica reciben los humanos.
El problema llega cuando aparece un incidente ambiguous, de alta severidad, que la IA no puede resolver. Ahi te toca tomar el control a ti. Pero llegas frio, sin practica, sin esa intuicion que se construye apagando fuegos chicos uno tras otro.
La paradoja de Bainbridge tiene 43 anios
Kalache cita un paper de 1983 de Lisanne Bainbridge llamado The Ironies of Automation. La wea profetica: la automatizacion reduce las oportunidades de practica de los operadores mientras los deja responsables de las situaciones nuevas y anormales. O sea, entre mas exitosa es la automatizacion, menos preparados quedan los humanos para cuando falla. Esto se sabia antes de que existiera el primer LLM. Lo que cambia ahora es la velocidad y el alcance.
Yo lo vivo en la pega. Tengo agentes que configuran servidores, despliegan apps, monitorean servicios. Cuando todo funciona, es bacan. Pero cuando algo se rompe de forma rara y tengo que meter mano, siento que me falta ese conocimiento tacito que antes construia a punta de romper cosas y arreglarlas manualmente. Es como saber teoricamente como cambiar una llanta pero nunca haberlo hecho.
Lo que la aviacion ya resolvio
El articulo hace una analogia con la aviacion que vale la pena. Los pilotos comerciales vuelan casi siempre con autopilot, pero la FAA les exige entrenamiento recurrente cada seis meses en simulador. Falla de motor en despegue, instrumentos no confiables, stall. Eventos tan raros que un piloto puede jubilarse sin vivirlos fuera del simulador. Pero cuando ocurren, tienen que reaccionar rapido y correcto.
TransAsia Airways Flight 235 es el ejemplo. Un motor fallo y el piloto apago el motor bueno por error. Se murieron 43 personas. Eso es lo que pasa cuando falta practica.
Lo que necesitamos: simuladores de incidentes
Kalache propone algo que me hace sentido: incident simulators. Igual que los pilotos van al simulador, los ingenieros deberian practicar SEV0s en un entorno controlado. En Rootly asociaron con Uptime Labs para crear esto: te sientas en el asiento del incident commander durante una caida simulada de e-commerce, con observabilidad, Slack, y stakeholders powered by LLM.
Pero Kalache tambien es honesto sobre algo: ver a la IA resolver incidentes y pedirle que te explique sus pasos no es lo mismo que practicar. Puedes ver a Serena Williams jugar tenis todo el dia, pero solo aprendes agarrando la raqueta. El incident response es igual.
Mi take
Creo que esto es real y lo estamos subestimando. Lo llamo comprehension debt, como lo nombra el articulo: la brecha creciente entre como funcionan tus sistemas y cuanto los entiendes realmente. Cada incidente que la IA resuelve sola es uno menos que te ensena algo. Y esa deuda se cobra con intereses cuando llega el incidente que la IA no puede resolver.
No estoy diciendo que saques la IA de tu pipeline. Eso seria tonto. Pero si no estas practicando incident response manual de forma regular, estas construyendo una bomba de tiempo. Chaos engineering, tabletop exercises, simuladores. No es nuevo como concepto, pero es mas urgente que nunca.
La ironia final es cruel: la herramienta que mas te ayuda es la misma que mas te debilita si no la complementas con practica deliberada. Entre mas confias en el piloto automatico, mas te conviene ir al simulador.
Fuente de inspiración: AI handles incidents, engineers lose touch with their systems
