Google, robots.txt dosyalarının konusunu ve bunları makul bir boyutta tutmanın iyi bir SEO uygulaması olup olmadığını ele alır. Bu konu, 14 Ocak’ta kaydedilen Google Arama Merkezi SEO ofis saatleri hangout’unda Google’ın Arama Avukatı John Mueller tarafından tartışıldı. Almanya’daki büyük bir haber yayıncısının SEO yöneticisi olan David Zieger, “dev” ve “karmaşık” bir robots.txt dosyasıyla ilgili endişelerle canlı yayına katılıyor. Burada ne kadar büyük konuşuyoruz? Zieger, yıllar içinde büyümeye devam eden “çok sayıda” izin verilmeyen 1.500’den fazla satır olduğunu söylüyor.
İzin verilmeyenler, Google’ın AJAX çağrılarının kullanıldığı HTML parçalarını ve URL’leri dizine eklemesini engeller. Zieger, parçaları ve URL’leri Google dizininin dışında tutmanın başka bir yolu olan bir noindex ayarlamanın mümkün olmadığını söylüyor, bu nedenle sitenin robots.txt dosyasını izin verilmeyen öğelerle doldurmaya başladı. Büyük bir robots.txt dosyasından kaynaklanabilecek olumsuz SEO etkileri var mı?
Büyük Robots.txt Dosyaları İçin SEO Konuları
Büyük bir robots.txt dosyası, bir sitenin SEO’su üzerinde doğrudan herhangi bir olumsuz etkiye neden olmaz. Ancak, büyük bir dosyanın bakımı daha zordur ve bu da yolda kazara sorunlara yol açabilir. Mueller’in açıklaması şu şekilde:
“Bununla ilgili doğrudan olumsuz SEO sorunu yok, ancak bakımını çok daha zorlaştırıyor. Ve sorunlara neden olan bir şeyi yanlışlıkla itmeyi çok daha kolay hale getirir. Bu nedenle, dosyanın büyük olması sorun olduğu anlamına gelmez, ancak sorun yaratmanızı kolaylaştırır.”
Zieger, robots.txt dosyasına bir site haritası eklememeyle ilgili herhangi bir sorun olup olmadığını sorarak devam eder. Mueller bunun bir sorun olmadığını söylüyor:
“Numara. Bir site haritası göndermenin bu farklı yolları bizim için eşdeğerdir.”
Zieger daha sonra, bir sonraki bölümde inceleyeceğimiz birkaç takip sorusu daha açar.
Google, HTML Parçalarını Tanıyor mu?
Zieger, Mueller’e robots.txt dosyasını kökten kısaltmanın SEO etkisinin ne olacağını sorar. Örneğin, tüm izin verilmeyenleri kaldırmak gibi. Aşağıdaki sorular sorulur:
- Google, site ziyaretçileriyle alakalı olmayan HTML parçalarını tanıyor mu?
- Robots.txt dosyasında izin verilmemiş olsaydı, HTML parçaları Google‘ın arama dizininde yer alır mıydı?
- Google, AJAX çağrılarının kullanıldığı sayfalarla nasıl başa çıkıyor? (Üstbilgi veya altbilgi öğesi gibi)
Robots.txt dosyasında izin verilmeyen öğelerin çoğunun kullanıcı için ilginç olmayan üstbilgi ve altbilgi öğeleri olduğunu belirterek sorularını özetliyor. Mueller, bu parçaların aniden indekslenmesine izin verilirse tam olarak ne olacağını bilmenin zor olduğunu söylüyor. Mueller, bunu çözmenin en iyi yolunun bir deneme yanılma yaklaşımı olabileceğini açıklıyor:
“Bu parçalarla ilgili olarak ne demek istediğini söylemek zor. Benim düşüncem, bu parça URL’lerin nasıl kullanıldığını anlamaya çalışmak olurdu. Ve emin değilseniz, belki bu parça URL’lerden birini alıp taramasına izin verin ve bu parça URL’nin içeriğine bakın ve ardından aramada ne olduğunu kontrol edin. Sitenizdeki dizine eklenen içerikle ilgili herhangi bir şeyi etkiler mi? Bu içeriğin bir kısmı aniden sitenizde bulunabilir mi? Bu bir sorun mu yoksa değil mi? Ve buna dayanarak çalışmayı deneyin, çünkü robots.txt tarafından aslında indeksleme için kullanılmayan şeyleri engellemek çok kolaydır ve sonra bu büyük robots.txt dosyasını korumak için çok zaman harcarsınız, ancak aslında olmaz web siteniz için bu kadarını değiştirin.”
Robots.txt Dosyası Oluşturmak İçin Diğer Hususlar
Zieger, robots.txt dosyalarıyla ilgili olarak, bir tane oluştururken izlenecek herhangi bir özel yönerge olup olmadığını soran son bir takibe sahiptir. Mueller, izlenecek belirli bir format olmadığını söylüyor:
“Hayır, esasen sana bağlı. Bazı sitelerin büyük dosyaları olduğu gibi, bazı sitelerin küçük dosyaları vardır, hepsinin çalışması gerekir. Kullandığımız robots.txt ayrıştırıcısının açık kaynak koduna sahibiz. Bu nedenle, geliştiricilerinizin sizin için bu ayrıştırıcıyı çalıştırmasını sağlamak veya test edebilmeniz için bir tür ayarlamak ve ardından hangi URL’lerin gerçekten engelleneceğini görmek için web sitenizdeki URL’leri bu ayrıştırıcı ile kontrol etmek ve bu neyi değiştirirdi. Ve bu şekilde, bir şeyleri yaşamadan önce test edebilirsiniz.”
