Co chyby a varování znamenají?
Při testování souboru robots.txt můžete narazit na celou řadu chyb a upozornění týkajících se „osvědčených postupů“. Nejdříve tu jsou faktory ovlivňující SEO, kterým byste se měli věnovat přednostně. Upozornění nejsou až tak důležitá a slouží spíše jako doporučení, jak soubor robots.txt vylepšit.
 
 Mezi potenciální chyby patří:
 
 Neplatná URL adresa – Na tuto chybu narazíte, pokud na svém webu soubor robots.txt vůbec nemáte.
 
 Potenciální chyba zástupných znaků – Technicky jde spíše o varování než o chybu. Pokud narazíte na tuto zprávu, obvykle to znamená, že váš soubor robots.txt má zástupný znak (*) v poli „Disallow“ (např. Disallow: /*.rss). Jde o chybu v postupu – Google sice zástupné znaky v poli disallow povoluje, ale nedoporučuje se to.
 
 Obecný a specifický user-agent ve stejné části kódu – v tomto případě jde o chybu v syntaxu vašeho souboru robots.txt, kterou byste měli opravit, aby nedocházelo k problémům s procházením vašeho webu.
 
 Mezi potenciální upozornění patří:
 
 Allow: / – Použití příkazu „allow“ sice negativně neovlivní váš web ani ranking, ale běžně se nepoužívá. Většina robotu, včetně Googlu a Bingu, si s touto direktivou poradí, ale neplatí to pro všechny crawlery – a vždycky platí, že je lepší svůj soubor robots.txt přizpůsobit pro všechny crawlery, nejen ty velké.
 
 Název polí velkými písmeny – Názvy polí nejsou nutně case sensitive. Někteří crawleři však velká písmena vyžadují, a proto je vhodné pro konkrétní user-agenty psát názvy polí velkými písmeny.
 
 Sitemap součástí – Mnoho souborů robots.txt obsahuje informace o sitemap (mapa stránek) webových stránek, ale nejedná se o osvědčený postup. Google a Bing však tuto funkci podporují.