Google’nin indexleme ve sıralama faktörleri hakkında sel verip sır vermediğini hepimiz artık biliyoruz. Ancak öyle konular var ki bu konularda ciddi ciddi dedikodular gerçek bilgi gibi çok daha hızlı bir biçimde yayılabiliyor. Durum böyle olunca da gerek blog yazıları ile, gerek tweetler ile ya da youtube yayınları ile Google bazı açıklamalar yapmak kaydı ile yanlışa yönlenen bilgiyi toparlama yoluna gitmekte.
İzin verilmeyen URL’ler konusu da bu durumlara bir örnek. Kısaca yanlış algı şu şekilde: bir kaç gereksiz sayfanın izinlerini düzenleyerek ön planda tutulan sayfaların daha sık index alacağı algısı. Bu görünen o ki baya bir inanan bulmuş kendisine ve haliyle bir açıklama ile konuya açıklık getirmek gerekmiş.
Google’dan Gary Illyes, tarama potansiyeli ile ilgili orijinal yanıtı ile izin verilmeyen URL’ler hakkında netleştirecek bilgiler verdi..
Soru ve yanıt şu şekilde:
“S: robots.txt dosyasına izin verilmeyen URL’ler, tarama hacmini herhangi bir şekilde etkiliyor mu?
Y: Hayır, izin verilmeyen URL’ler tarama hacmini etkilemez. ”
Soru, web tarayıcılarını engelleyen robots.txt dosyasındaki “User-agent: * Disallow: /” protokolüne atıfta bulunuyor.
Tüm bir sitenin taranmasını engellemek için kullanılabilir veya belirli URL’lerin taranmasını engellemek için kullanılabilir.
Illyes’ten yapılan açıklamaya göre, belirli URL’leri engellemek sitenin geri kalanı boyunca tarama hacmini etkilemeyecek.
Sitedeki diğer sayfaların taramasına izin verilmemesi nedeniyle sayfalar daha sık taranmayacak.
Potansiyel tarama söz konusu olduğunda, URL’lerin yasaklanmasının dezavantajı da yoktur.
Güncellenen bilgiler , 2017’den bir Webmaster Central blog yazısı olan bu makalenin alt kısmında görülmektedir.
Illyes Twitter’da blog postasını resmi bir yardım merkezi makalesine dönüştürmenin planladıklarını söyledi.
Özetle: bir ya da bir kaç sayfanızı izin verilmeyen URL’ler arasında listelemeniz diğer sayfalarınızın daha sık indexleneceği anlamına gelmiyor. Sitenizin potansiyeli ne ise Google o düzende indexleme işlemine devam ediyor.