Cosa significano gli errori e gli avvisi?
Esistono diversi errori che possono influenzare il tuo file robots.txt, nonché alcuni avvisi sulle “best practice” che potresti visualizzare durante il controllo del tuo file. Questi sono elementi che possono avere un impatto sulla tua SEO, e che dovrebbero essere sistemati. Gli avvisi sono meno importanti, e sono fondamentalmente dei consigli su come migliorare il tuo file robots.txt. Tra gli errori che potresti visualizzare sono compresi: URL invalida – Vedrai questo errore se il tuo file robots.txt è completamente mancante; Potenziale errore wildcard – Anche se questo è più un avvertimento che un errore, se vedrai questo messaggio probabilmente sarà perché il tuo file robots.txt contiene una wildcard (*) nel campo Disallow (es. Disallow: /*.rss). Questa è una problematica di best practice: Google consente le wildcard nel campo Disallow, ma non è una pratica raccomandata. User-agent generali e specifici nello stesso blocco di codice – Questo è un errore di sintassi nel tuo file robots.txt, e dovrebbe essere corretto per evitare relativi all’analisi del tuo sito web. Gli avvisi che potresti visualizzare includono: Allow: / – Utilizzare l’ordine “allow” (permetti) non danneggerà il tuo posizionamento o il tuo sito web, ma non è una pratica standard. I robot più utilizzati, come Google e Bing, accetteranno questa direttiva; ma non tutti gli strumenti di analisi lo fanno. A livello generale, sarebbe meglio se tu rendessi il tuo file robots.txt compatibile con tutti gli strumenti di analisi, e non solo i più famosi. Lettere maiscole nel campo del nome – I campi del nome non sono necessariamente sensibili alle differenze tra lettere maiuscole e minuscole, ed alcuni analizzatori potrebbero anche richiedere la differenziazione, quindi è una buona idea inserire le lettere maiuscole nei campi del nome per degli utenti-agente specifici; Supporto della mappa del sito – Molti file robots.txt includono i dettagli della mappa del sito, ma questa non è considerata una best practice. Google e Bing, invece, supportano entrambi questa funzionalità.