Voorkomt een robots.txt dat bepaalde URL's in de zoekresultaten belanden?
Wanneer een pagina de tag <meta name="robots" content="index, follow"> bevat, maar de crawler geen toegang krijgt via de robots.txt, wordt de URL alsnog geïndexeerd.








Een robots.txt geeft geen garantie dat de pagina's niet in de zoekresultaten belanden. Toch zijn instructies in de robots.txt wel belangrijke richtlijnen waar zoekmachines zich in de meeste gevallen aan houden.