Waarom is een robots.txt bestand belangrijk?
Wanneer je geen robots.txt bestand hebt, crawlt de crawler de gehele website. Dit betekent dat ook onnodige pagina's, zoals de inlogpagina van de website, worden gecrawld. Deze hoeven niet in de zoekresultaten te belanden en slokken het crawlbudget op.








Het robots.txt bestand geeft instructies aan de zoekmachines en staat aan de basis van het crawl proces. In de meeste gevallen worden de instructies ook opgevolgd, waardoor dit bestand belangrijk is.