Google rastrea el robots.txt a diario

Escrito por wiki Sin comentarios

Leo en seroundtable que Google solo comprueba una vez al día el robots.txt de algunos sitios web, así le responde JohnMu, trabajador de Google, a un usuario.

Con esta respuesta queda claro que Google sí rastrea el robots.txt todos los días y en muchos casos varias veces al día. Yo puedo asegurar que el googlebot está contínuamente visitando algunascosas.com.

Google rastrea robots.txt