Bu Yazıyı Sizin için Okuyalım mı ? Tıklayın Google sizin için okusun.
Oynatma Hızı:
Önceki yazımızda nasıl robot.txt dosyası oluşturulur ve test edilir bundan bahsettik. Şimdi robots.txt dosyasının, robotların sitenizle nasıl etkileşime gireceğini kontrol etmesini sağlayabilirsiniz. Bunu iki temel komutla yaparsınız:
- User-agent – belirli botları hedeflemenizi sağlar. Örneğin Bing için geçerli olan, ancak Google için geçerli olmayan bir kural oluşturabilirsiniz.
- Disallow- robotlara sitenizin belirli alanlarına erişmemelerini söyler.
Ayrıca niş durumlarda kullanacağınız bir Allow komutu da var. Örneğin, bir klasöre ve alt klasörlere erişime izin vermemek, ancak belirli bir alt klasöre erişime izin vermek istediğinizde kullanışlı olur. Crawl-delay ve Sitemap gibi başka komutlar da vardır, ancak bunlar ya çoğu büyük tarayıcı tarafından yok sayılır veya çok farklı şekillerde yorumlanır.
Tüm Siteye Erişimi Engellemek için Robots.txt Komutu
User-agent: * Disallow: /
Tek Bir Botun Siteye Erişmesini Engellemek Robots.txt Komutu
Örneğin, yalnızca Bing’in sitenizi taramasını engellemek için *yıldız işaretini Bingbot ile değiştirirsiniz:
User-agent: Bingbot Disallow: /
Belirli bir Klasöre veya Dosyaya Erişimi Engellemek İçin Robots.txt Komutu
User-agent: * Disallow: /wp-admin/ Disallow: /wp-login.php
Bu kod ile tüm wp-admin klasörünü ve wp-login.php’yi engelledik.
İzin Verilmeyen Bir Klasördeki Belirli Bir Dosyaya Erişime İzin Vermek
User-agent: * Disallow: /wp-admin/ Allow: /wordpress/istekler.php
Bu ayar ile /wordpress/istekler.php dosyası hariç tüm /wp-admin/ klasörüne erişimi engelledik.
Robotların WordPress Arama Sonuçlarını Taramalarını Durdurmak
User-agent: * Disallow: /?s= Disallow: /search/
Eğer soft 404 hataları alıyorsanız durdurmanın etkili yollarından biridir.
Robots.txt Dosyasında Farklı Botlar için Farklı Kurallar Oluşturmak
Farklı botlara farklı kurallar uygulamak isterseniz her bot için User-agent eklemeniz yeterlidir. Örneğin, tüm botlar için geçerli olan bir kural ve de yalnızca Bingbot için geçerli olan başka bir kural eklemek istiyorsanız, bunu şu şekilde yapabilirsiniz:
User-agent: * Disallow: /wp-admin/ User-agent: Bingbot Disallow: /
Bu örnekte, tüm botların /wp-admin/ öğesine erişimi engellenir, ancak Bingbot’un sitenizin tamamına erişmesi engellenir.