Hoe maak ik een robots.txt bestand aan?
Het aanmaken van een robots.txt bestand is niet moeilijk. Binnen WordPress kun je gebruik maken van diverse plugins, waaronder Yoast. Deze genereert voor jou een robots.txt, maar ook een sitemap. Waarna je de sitemap ook kunt plaatsen in de robots.txt.








Wil je het robots.txt bestand zelf maken, dan kan dit met een HTML Editor of een FTP programma. Waar je het robots.txt in aanmaakt. In het robots.txt bestand zet je alle instructies die jij wilt voor je website. Is het bestand klaar, dan upload je dit naar de root van de website.
nl
Hoe stel je een robots.txt bestand op?
Vrijwel alle grote zoekmachines, zoals Google en Bing, maken gebruik van de robots.txt en hebben ook richtlijnen opgesteld. Deze richtlijnen geven aan hoe je de instructies moet opstellen.








Wanneer je de instructies incorrect opneemt in het robots.txt bestand raken zoekmachines in de war. De belangrijkste instructies zijn:













Het gebruik van User-agent.







Het gebruik van Disallow en Allow.







Het gebruik van Wildcards.
nl
Hoe ziet een robots.txt bestand er uit?
Een robots.txt bestand is een tekstbestand met instructies. Op elke regel wordt één instructie geplaatst. Je vindt het robots.txt bestand door /robots.txt toe te voegen aan jouw hoofddomein.








Het robots.txt bestand van onze website vind je via de URL: <link> Je ziet hier onze robots.txt, waarin vier regels met instructies staan, waardoor de crawler weet hoe het moet omgaan met onze website.
nl
Voorkomt een robots.txt dat bepaalde URL's in de zoekresultaten belanden?
Wanneer een pagina de tag <meta name="robots" content="index, follow"> bevat, maar de crawler geen toegang krijgt via de robots.txt, wordt de URL alsnog geïndexeerd.








Een robots.txt geeft geen garantie dat de pagina's niet in de zoekresultaten belanden. Toch zijn instructies in de robots.txt wel belangrijke richtlijnen waar zoekmachines zich in de meeste gevallen aan houden.
nl
Waarom is een robots.txt bestand belangrijk?
Wanneer je geen robots.txt bestand hebt, crawlt de crawler de gehele website. Dit betekent dat ook onnodige pagina's, zoals de inlogpagina van de website, worden gecrawld. Deze hoeven niet in de zoekresultaten te belanden en slokken het crawlbudget op.








Het robots.txt bestand geeft instructies aan de zoekmachines en staat aan de basis van het crawl proces. In de meeste gevallen worden de instructies ook opgevolgd, waardoor dit bestand belangrijk is.
nl
Wat is crawl-delay in het robots.txt bestand?
Het is mogelijk om de instructie crawl-delay te geven aan de zoekmachines in het robots.txt bestand. Dit voorkomt dat de serves overbelast worden door de verzoeken.








Zoekmachines kunnen de server overbelasten en dan is het toevoegen van deze instructie verstandig. Uiteindelijk zul je toch een beter hosting platform moeten zoeken voor je website, want de crawl-delay instructie is slechts een tijdelijke oplossing.
nl
Wat is crawling?
Alle zoekmachines bezoeken je website op dagelijkse, wekelijkse of maandelijkse basis. Dit wordt ook wel crawlen genoemd.








Door crawling wordt je opgenomen in de zoekresultaten. Het crawl proces start bij het robots.txt bestand.
nl
Wat is een robots.txt bestand?
Een robots.txt bestand is een tekstbestand die instructies bevat voor zoekmachines. Aan de hand van deze instructies in het robots.txt bestand weet de crawler van een zoekmachine hoe het moet om gaan met de website.








De instructies in het robots.txt bestand geven aan welke pagina's zoekmachines wel of niet mogen crawlen. Het robots.txt bestand is te zien als de handleiding van je website voor alle zoekmachines.
nl
Wat is het crawlbudget?
Het crawlbudget is de tijd die een crawler neemt voor het bezoeken van je website. Hoe meer crawlbudget, een crawler voor jouw website heeft, hoe meer pagina's deze bezoekt.
nl
Welke zoekmachines maken gebruik van de robots.txt?
Vrijwel alle grote zoekmachines maken gebruik van de robots.txt. Dit zijn onder meer Google, Bing, Yahoo, DuckDuckGo, Yandex en Baidu. Een robots.txt bestand is dus ook een belangrijk onderdeel van internationale SEO.
nl