Wat is crawl-delay in het robots.txt bestand?
Het is mogelijk om de instructie crawl-delay te geven aan de zoekmachines in het robots.txt bestand. Dit voorkomt dat de serves overbelast worden door de verzoeken.








Zoekmachines kunnen de server overbelasten en dan is het toevoegen van deze instructie verstandig. Uiteindelijk zul je toch een beter hosting platform moeten zoeken voor je website, want de crawl-delay instructie is slechts een tijdelijke oplossing.