Robots.txt, arama motoru tarayıcılarına web sitenizi nasıl taramalarını istediğiniz konusunda talimat vermek için kullanışlı ve nispeten güçlü bir araçtır. Çok güçlü değildir ( Google’ın kendi sözleriyle “bir web sayfasını Google’ın dışında tutmak için bir mekanizma değildir”) ancak sitenizin veya sunucunuzun tarayıcı istekleri tarafından aşırı yüklenmesini önlemeye yardımcı olabilir. Sitenizde bu tarama bloğu varsa, doğru kullanıldığından emin olmanız…