Según leo en SEOFemenino google rastrearia el archivo robots.txt de nuestros sitios cada día. (o al menos de la «mayoria»)

La fuente de la información es Johnmu, respondiendo a una pregunta aqui.

Personalmente no creo que sea todos los dias, asi que como buen cabeza dura que soy, voy a buscar la forma de comprobar la frecuencia de rastreo del archivo robots.txt, en breve les traigo las respuestas.

Actualización:
Encuentra la respuesta en el siguiente analisis del archivo robots.txt