Ele é gerado dinamicamente pela função do_robots()
, que tem uma ação ( do_robotstxt
) e um filtro ( robots_txt
). Se você criar um arquivo robots.txt
em sua raiz do WordPress, ele (provavelmente) será exibido quando /robots.txt
for solicitado, caso contrário, o processamento recorrerá ao WordPress.
Seu arquivo atual é assim:
User-agent: *
Disallow:
Sitemap: http://mikewills.me/sitemaps/mikewills-me.xml.gz
As duas primeiras configurações são apropriadas para um blog indexável. Então, você pode estar aguardando o Google neste momento. Talvez você precise solicitar a reconsideração do seu site .