Hoe ziet een robots.txt bestand er uit?
Een robots.txt bestand is een tekstbestand met instructies. Op elke regel wordt één instructie geplaatst. Je vindt het robots.txt bestand door /robots.txt toe te voegen aan jouw hoofddomein.








Het robots.txt bestand van onze website vind je via de URL: <link> Je ziet hier onze robots.txt, waarin vier regels met instructies staan, waardoor de crawler weet hoe het moet omgaan met onze website.