WordPress Robots.txt Ayarları Hakkında

Önceki yazımızda nasıl robot.txt dosyası oluşturulur ve test edilir bundan bahsettik. Şimdi robots.txt dosyasının, robotların sitenizle nasıl etkileşime gireceğini kontrol etmesini sağlayabilirsiniz. Bunu iki temel komutla yaparsınız:

• User-agent – belirli botları hedeflemenizi sağlar. Örneğin Bing için geçerli olan, ancak Google için geçerli olmayan bir kural oluşturabilirsiniz.
• Disallow– robotlara sitenizin belirli alanlarına erişmemelerini söyler.

Ayrıca niş durumlarda kullanacağınız bir Allow komutu da var. Örneğin, bir klasöre ve alt klasörlere erişime izin vermemek, ancak belirli bir alt klasöre erişime izin vermek istediğinizde kullanışlı olur. Crawl-delay ve Sitemap gibi başka komutlar da vardır, ancak bunlar ya çoğu büyük tarayıcı tarafından yok sayılır veya çok farklı şekillerde yorumlanır.

Tüm Siteye Erişimi Engellemek için Robots.txt Komutu

User-agent: *
Disallow: /

Tek Bir Botun Siteye Erişmesini Engellemek Robots.txt Komutu

Örneğin, yalnızca Bing’in sitenizi taramasını engellemek için *yıldız işaretini Bingbot ile değiştirirsiniz:

User-agent: Bingbot
Disallow: /

Belirli bir Klasöre veya Dosyaya Erişimi Engellemek İçin Robots.txt Komutu

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php

Bu kod ile tüm wp-admin klasörünü ve wp-login.php’yi engelledik.

İzin Verilmeyen Bir Klasördeki Belirli Bir Dosyaya Erişime İzin Vermek

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Bu ayar ile /wp-admin/admin-ajax.php dosyası hariç tüm /wp-admin/ klasörüne erişimi engelledik.

Robotların WordPress Arama Sonuçlarını Taramalarını Durdurmak

User-agent: *
Disallow: /?s=
Disallow: /search/

Eğer soft 404 hataları alıyorsanız durdurmanın etkili yollarından biridir.

Robots.txt Dosyasında Farklı Botlar için Farklı Kurallar Oluşturmak

Farklı botlara farklı kurallar uygulamak isterseniz her bot için User-agent eklemeniz yeterlidir. Örneğin, tüm botlar için geçerli olan bir kural ve de yalnızca Bingbot için geçerli olan başka bir kural eklemek istiyorsanız, bunu şu şekilde yapabilirsiniz:

User-agent: *
Disallow: /wp-admin/
User-agent: Bingbot
Disallow: /

Bu örnekte, tüm botların /wp-admin/ öğesine erişimi engellenir, ancak Bingbot’un sitenizin tamamına erişmesi engellenir.