Arquivo robots.txt oque é? devo ter um?
Sim. Todo site deve ter este arquivo ele determina para os robôs quais partes do seu site você NÃO quer que seja visualizadas ou indexadas pelos mecanismos de buscas. Este é o protocolo de exclusão usado para os sites se comunicar com os mecanismos de buscas para convidar ou restringir acesso a certas áreas do seu site. Ou até mesmo para evitar que mecanismos de buscas de outros países indexem seu site.