Wat is een robots.txt bestand?
Een robots.txt bestand is een tekstbestand die instructies bevat voor zoekmachines. Aan de hand van deze instructies in het robots.txt bestand weet de crawler van een zoekmachine hoe het moet om gaan met de website.








De instructies in het robots.txt bestand geven aan welke pagina's zoekmachines wel of niet mogen crawlen. Het robots.txt bestand is te zien als de handleiding van je website voor alle zoekmachines.