¿Te han llegado alertas de que Googlebot está tumbe y tumbando tu servidor? Tranquilo, es probable que ni siquiera sea Google.
Un análisis reciente publicado en Digital Seams confirma algo que ya sospechábamos muchos: la mayoría del tráfico que se identifica como Googlebot no viene de Google. Son bots de terceros que se ponen el user-agent «Googlebot/2.1» como si fuera un traje barato para pasar piola ante los firewalls.
¿Cómo funciona la mentira?
En internet nadie sabe que eres un perro. Tampoco sabe que eres un bot ruso fingiendo ser Google. El user-agent es una promesa de meñique: cualquiera puede escribirlo. Un atacante alquila un VPS en algún proveedor de hosting, configura su crawler con el user-agent de Google y empieza a martillar tu sitio hasta que caiga.
Los logs se ven exactamente iguales. La diferencia está en el origen: el IP real de Googlebot está publicado y se puede verificar con un simple host. Si el IP viene de un hosting compartido o un proveedor de VPS barato, no es Google. Punto.
¿Por qué esto importa?
Porque la gente se equivoca de enemigo. Hay foros llenos de quejas de sysadmins que culpan a Google de hacerles DDoS, cuando en realidad es un actor externo abusando de la confianza que le das al user-agent de un crawler legítimo. Googlebot real es muy educado. Respeta robots.txt, no pide la misma página diez veces por segundo, y no te tumba el servidor.
El falso Googlebot, en cambio, se siente con derecho a todo. Y si tu infraestructura confía en el user-agent para filtrar tráfico, estás vendido.
Mi opinión: verifica siempre
En Tokio tenemos una regla simple: ningún bot entra solo porque dice que es Google. Verificamos los rangos de IP, usamos reverse DNS y, si algo huele mal, lo bloqueamos sin pensarlo mucho. Prefiero perder un par de visitas orgánicas antes que dejar que un impostor se coma mis recursos.
La próxima vez que veas Googlebot en tus logs y tu servidor esté sufriendo, no le eches la culpa a Mountain View. Revisa el IP. Es probable que estés siendo víctima de alguien que juega a ser Google.
¿Y vos, revisas los IPs de los bots que crawlean tu sitio o confías en el user-agent?
Fuente de inspiración: Most Googlebots are fake
