Más herramientas

Probador de robots.txt online

Comprueba si una URL concreta está permitida o bloqueada por un robots.txt para un user-agent determinado.

Puedes pegar el contenido manualmente o indicar una URL para cargar el archivo real y comprobarlo al vuelo.

La salida también resume sitemaps declarados, reglas relevantes y avisos básicos de sintaxis.