Hatalar ve Uyarılar Ne Anlama Gelir?
Robots.txt dosyanızı etkileyebilecek çeşitli hataların yanı sıra, dosyanızı kontrol ettiğinizde görebileceğiniz bazı "en iyi uygulama"uyarıları da vardır. Bunlar SEO'nuza etki eden şeylerdir ve düzeltilmeleri gerekir. Uyarılar daha az önemlidir ve robots.txt dosyanızın nasıl geliştirileceği konusunda tavsiye görevi görürler.
 
 Görebileceğiniz hatalar şunlardır:
 
 Geçersiz URL – Robots.txt dosyanız hiç yoksa bu hatayı görürsünüz.
 
 Potansiyel özel sembol hatası – Teknik olarak bir hata değil de bir uyarı olsa da, bu mesajı görmenizin nedeni genellikle robots.txt dosyanızın izin vermeme alanında bir özel sembol (*) içermesidir (örn. İzin vermeme: /*.rss). Bu en iyi uygulama sorunudur. Google, izin vermeme alanında joker karakterlere izin verir ancak bu önerilen bir uygulama değildir.
 
 Aynı kod bloğunda bulunan genel ve belirli kullanıcı temsilcileri – Bu, robots.txt dosyanızda bulunan bir söz dizimi hatasıdır ve web sitenizin taranması ile ilgili sorunları önlemek için düzeltilmelidir.
 
 Görebileceğiniz uyarılar şunlardır:
 
 İzinr ver: / – İzin ver talimatının kullanılması sıralamanızı etkilemez veya sitenizi etkilemez, ancak standart uygulama değildir. Google ve Bing dahil olmak üzere büyük robotlar bu talimatı kabul etse de tüm arama motorları kabul etmemektedir. Genel olarak konuşmak gerekirse, robots.txt dosyanızı sadece en büyüklere değil tüm arama motorlarına uyumlu yapmak iyi bir fikirdir.
 
 Alan adında büyük harf – Alan adları büyük/küçük harfe duyarlı olmayabilir. Ancak bazı arama motorları büyük harf kullanılmasını gerektirebileceği için belirli kullanıcı temsilcileri için alan adlarının büyük harf olarak kullanılması iyi bir fikirdir.
 
 Site haritası desteği – Çoğu robots.txt dosyası, web sitesinin site haritasının ayrıntılarını içerir ancak bu en iyi uygulama olarak kabul edilmez. Ancak Google ve Bing bu özelliği destekler.