Hva betyr feilmeldingene og advarslene?
Det er en rekke feil som kan påvirke din robots.txt fil, samt noen ‘beste praksis’ advarsler som du kan se når du sjekker filen. Dette er ting som kan påvirke din SEO og som bør fikses. Advarsler er mindre viktige og fungerer som råd om hvordan du kan forbedre din robots.txt fil. Feil du kan se inkluderer: Ugyldig URL – Du vil se denne feilen dersom robots.txt filen din mangler helt. Potensiell wildcard feil – Dette er teknisk sett en advarsel i motsetning til en feil, men dersom du ser denne beskjeden er det vanligvis på grunn av at din robots.txt fil inneholder et wildcard (*) i Disallow feltet (f.eks Disallow: /*.rss). Dette er et best praksis problem – Google tillater wildcards i Disallow feltet, men det er ikke en anbefalt praksis. Generiske og spesifikke brukeragenter i samme kodeblokk – Dette er en syntaksfeil i din robots.txt fil og bør korrigeres for å unngå problemer med crawling av ditt nettsted. Advarsler du kan se er blant annet: Allow: / – Bruk av tillat ordren vil ikke skade rangeringen din eller påvirke nettstedet ditt, men det er ikke standard praksis. Store roboter som Google og Bing vil akseptere dette direktivet, men ikke alle crawlere gjør det – og generelt sett, er det best å gjøre din robots.txt fil kompatibel med alle crawlere, ikke bare de største. Bruk av store bokstaver i feltnavn – Selv om feltnavn ikke nødvendigvis er sensitiv for om det bruke stor eller liten bokstav, kan enkelte crawlere kreve at det brukes store bokstaver, derfor er det en god idé å bruke store bokstaver i feltnavn for spesifikke brukeragenter. Sitemap support – Mange robots.txt filer inkluderer detaljene til sitemapen for nettstedet, men dette er ikke ansett som best praksis. Google og Bing derimot, støtter begge denne funksjonen.