20 feb. 2014

Parsero: herramienta para auditor Robots.txt automáticamente

Una de las cosas que se hace cuando está auditando un sitio web es mirar el archivo Robots.txt, por ejemplo: http://www.google.com/robots.txt. Los administradores publican este archivo para informar a los buscadores qué contenidos pueden indexar o qué directorios no deben ser indexados.
Este propósito se logra a través de comandos como "Allow/Disallow" e indicando la URL a la cual se desea indexar o no.

Lamentablemente muchas veces este archivo se utiliza para intentar "brindar seguridad", suponiendo que si en el archivo Robots no se permite una URL determinada, se estará denegando el acceso a un posible curioso. Obviamente, cada URL que si coloca en este archivo puede ser obtenida fácilmente por cualquier atacante.

Para facilitar aún más el trabajo, la herramienta Parsero permite realizar un crawling automático de estos directorios y archivos:

Cristian de la Redacción de Segu-Info

0 comentarios:

Publicar un comentario

Gracias por dejar un comentario en Segu-Info
Si vas a dejar una consulta, procura tener habilitado tu perfil en Blogger o deja una forma de contacto.

Gracias por comentar!