Vad betyder felen och varningarna?
Det finns en mängd olika fel som kan påverka din robots.txt-fil, såväl som några varningar om ”bästa praxis” som du kan se när du kontrollerar filen. Detta är saker som kan påverka din SEO och bör fixas. Varningar är inte lika viktiga och fungerar som råd om hur du kan förbättra din robots.txt-fil.
 
 Exempel på olika fel som du kan se:
 
 Ogiltig URL – Du får det här felet om din robots.txt-fil saknas helt och hållet.
 
 Potentiellt jokerteckenfel – även om det tekniskt sett är en varning snarare än ett fel, beror det här meddelandet vanligtvis på att din robots.txt-fil innehåller ett jokertecken (*) i fältet Disallow (till exempel Disallow: /*.rss). Det här är en fråga om bästa praxis - Google tillåter jokertecken i fältet Disallow, men det är inte rekommenderat.
 
 Generiska och specifika användaragenter i samma kodblock – Detta är ett syntaxfel i din robots.txt-fil som bör korrigeras för att undvika problem med genomsökningen av din hemsida.
 
 Exempel på olika varningar som du kan se:
 
 Allow: / – Att använda Allow kommer inte att skada din rankning eller påverka din hemsida, men det är inte standardpraxis. Större robotar som Google och Bing kommer att acceptera det, men inte alla sökrobotar gör det - och i allmänhet är det bäst att göra din robots.txt-fil kompatibel med alla sökrobotar, inte bara de stora.
 
 Stora bokstäver i fältnamn – Även om fältnamn inte nödvändigtvis är skiftlägeskänsliga, kan vissa sökrobotar kräva stora bokstäver, och det är därför en bra idé att använda fältnamn för specifika användaragenter.
 
 Sitemap-stöd – Många robots.txt-filer innehåller information om hemsidans webbplatskarta, men detta anses inte vara bästa praxis. Både Google och Bing stöder dock den här funktionen.