📻 Versión en audio: si prefieres escuchar en vez de leer, el resumen del artículo está justo aquí arriba.
11.000 búsquedas de música finlandesa, en un solo día, desde miles de direcciones IP distintas. No era un curso de etnomusicología ni una moda extraña: era una granja de bots de IA golpeando el catálogo de la biblioteca de la University of North Carolina en Chapel Hill, hasta que el sistema empezó a cerrarles la puerta también a estudiantes y funcionarios reales. Lo contó CBC News esta semana, y no es aislado: bibliotecas, museos y archivos de todo el mundo están siendo tumbados por el tráfico de scraping que alimenta a los modelos de lenguaje.
El blanco perfecto era obvio
Piénsalo un segundo: ¿dónde hay información de calidad, curada por humanos, sin paywall, sin login y sin registro? En las bibliotecas académicas. Es exactamente lo que un LLM quiere comer, y es exactamente el tipo de institución que no se va a defender con un muro comercial, porque su misión es abrir el acceso, no cerrarlo. Los bots llegan en manada y en algunos casos piden miles de documentos por segundo, descargando cada material en todos los formatos disponibles. Eric Hellman, director de Project Gutenberg, lleva desde 2025 advirtiendo que estos bots, mal programados, están «destruyendo el acceso abierto», y confirma que sigue empeorando.
Los primeros reportes del fenómeno aparecieron a fines de 2024 por Norteamérica, Europa y Oceanía, según el equipo de GLAM-E. En la University of Victoria, en Canadá, el tráfico llega a tumbar los sitios por completo. La biblioteca parece un problema de red, pero es un problema de economía: el costo de servir el internet abierto lo paga quien tiene menos recursos.
Bloquear IPs ya no sirve de nada
Acá entró mi lado de operador. Yo mantengo VPS y logs de todo tipo, y sé distinguir a la primera quién respeta las reglas y quién no. Googlebot y el Internet Archive leen el robots.txt y se comportan: piden despacio, identifican, se van si les cierras una ruta. Los bots de IA de scraping, en cambio, tratan el archivo como decoración. Y como una granja trabaja desde miles de direcciones IP simultáneas, la vieja receta de bloquear la dirección molesta está muerta: hoy lo útil es bloqueo por conducta, límites de tasa por ruta y captcha solo cuando la cosa se pone fea. Nada de eso es trivial para una biblioteca con presupuesto de biblioteca.
La paradoja más fea la pone Hellman: Project Gutenberg está feliz de que su material se use como datos de entrenamiento. Ofrece toda la colección en un solo clic, con licencia apropiada. Y el bot no la usa; prefiere golpear el catálogo línea por línea hasta que el sitio caiga. La puerta abierta expresamente existe, pero el scraper ni la ve.
El pacto de la semana pasada llega tarde y corto
Ante la presión, Anthropic, OpenAI, Google y Microsoft anunciaron la semana pasada apoyo a un estándar único de exclusión, una señal estandarizada en el robots.txt para decir «no me recolas». Suena bien, pero fíjate en las letras chicas: la adhesión es voluntaria, y deja fuera a las empresas terceras y a las startups chicas que también raspan. Es decir, firmamos buenas maneras entre los grandes y el resto del ecosistema queda igual que antes. No estoy en contra de la señal: falta que el que no la respete tenga consecuencias, y eso hoy no existe en ningún lugar del mundo.
Mi preocupación real es otra: cada vez que una biblioteca tumba por bots, en algún directorio se discute exigir login o cerrar el catálogo. Si eso se vuelve la norma, perdemos todos. La digitalización de colecciones del último par de décadas fue una de las mejores cosas que le pasó al acceso al conocimiento, y los bots están generando el incentivo exacto para desarmarla.
Si autoalojas algo con contenido que vale la pena, muévete antes: monitorea las rutas caras, corta por volumen anómalo y no confíes en que el que llega te va a pedir permiso. Ahí donde el robots.txt era un acuerdo caballeroso, hoy es una sugerencia que la mitad del tráfico ignora.
Datos verificados vía CBC News (5-nov-2026), que cita a Project Gutenberg, GLAM-E y las bibliotecas de North Carolina y Victoria.
Fuente de inspiración: University libraries are being swarmed by AI bots, putting public access at risk | CBC News
