Hoe stel je een robots.txt bestand op?
Vrijwel alle grote zoekmachines, zoals Google en Bing, maken gebruik van de robots.txt en hebben ook richtlijnen opgesteld. Deze richtlijnen geven aan hoe je de instructies moet opstellen.








Wanneer je de instructies incorrect opneemt in het robots.txt bestand raken zoekmachines in de war. De belangrijkste instructies zijn:













Het gebruik van User-agent.







Het gebruik van Disallow en Allow.







Het gebruik van Wildcards.