Hva er Robots.txt verktøyet for test og validering?
Robots.txt testverktøyet er designet for å sjekke at din robots.txt fil er nøyaktig og fri for feil. Robots.txt er en fil som er en del av ditt nettsted, og som står for indekseringsregler for søkemotor-roboter, for å sørge for at ditt nettsted gjennomgås (og indekseres) på korrekt måte og at den viktigste dataen på ditt nettsted indekseres først. Dette verktøyet er enkelt å bruke og gir deg en rapport på sekunder – bare fyll inn ditt nettsteds fullstendige URL, etterfulgt av /robots.txt (f.eks dittnettsted.no/robots.txt) og klikk på ‘check’ knappen. Vår robots.txt sjekk vil finne feil (som skrivefeil, syntaks og ‘logiske’ feil) og gir deg tips for å optimalisere din robots.txt fil.