Što znače greške i upozorenja?
Postoji čitav niz grešaka koje mogu imati utjecaj na robots.txt datoteku, kao i upozorenja i savjeti za poboljšanja koja se mogu uočiti prilikom provjere datoteke. To su stvari koje mogu utjecati na SEO i treba ih ispraviti. Upozorenja su manje važna i funkcioniraju kao savjet o tome kako poboljšati robots.txt datoteku. Greške koje možete primijetiti: Invalid URL – ovu pogrešku ćete vidjeti ako vam u potpunosti nedostaje robots.txt datoteka. Potential wildcard error – Iako je ovo tehnički upozorenje, a ne greška, ako vidite ovu poruku, to je obično zato što robots.txt datoteka sadrži zamjensku oznaku (*) u polju Disallow (npr. Disallow: /*.rss). Ovo je više savjet za ispravljanje – Google dopušta zamjenske znakove u polju Disallow, ali ne preporučuje se to i implementirati. Generic and specific user-agents in the same block of code – Ovdje se radi o sintaksi u vašoj robots.txt datoteci i treba je ispraviti kako bi se izbjegli problemi s indeksiranjem vaše web stranice. Upozorenja koje možete vidjeti: Allow: / – Korištenje allow naredbe neće naškoditi vašim pozicijama ili utjecati na vašu web stranicu, ali nije uobičajena praksa. Većina botova, uključujući Google i Bing, prihvatit će ovu direktivu, no neće i ostali – i općenito govoreći, najbolje je da svoju robots.txt datoteku učinite kompatibilnom za sve botove koji indeksiraju sadržaj, ne samo one najpopularnije. Field name capitalization – Iako nazivi polja nisu nužno osjetljivi na mala i velika slova, neki alati za indeksiranje mogu zahtijevati da prepoznajete razliku između velikih i malih slova, stoga je dobra ideja iskoristiti velika slova za određene naredbe. Sitemap support – Mnoge robots.txt datoteke sadrže detalje o sitemapu web stranice, ali ni ovo nije uobičajena praksa. Google i Bing, međutim, podržavaju ovu značajku.