WordPress’te Robots.txt Nedir ve Nasıl Oluşturulur?

Robots.txt dosyası Google arama motorundan ya da diğer motorlardan gelen botların sitenizle nasıl etkileşime gireceğini belirlemenizi sağlar. Robotların tüm sitenizi veya belirli sayfaları taramasını engelleyebilirsiniz.

Robots.txt Neden Önemlidir?

Çoğu web yöneticisi, iyi yapılandırılmış bir robots.txt dosyasının avantajlarını iki kategoriye ayırır:

• Arama motorlarına, dizine alınmasını istemediğiniz sayfalarda zaman kaybetmemelerini söyleyerek tarama kaynaklarını optimize etmenize yarar.
• Arama motorlarının en çok önem verdiğiniz sayfaları taramaya odaklanmasını sağlar.
• Kaynaklarınızı israf eden botları engelleyerek sunucu kullanımınızı optimize edersiniz.

WordPress’te Robots.txt Dosyası Nasıl Oluşturulur?

WordPress’te bir robots.txt dosyası oluşturmanın iki yolu vardır. Kendiniz için en uygun yöntemi seçebilirsiniz.

Yöntem 1: Yoast SEO ile Robots.txt Dosyasını Düzenleme

Yoast SEO eklentisine sahipseniz kendisi robots.txt dosya oluşturucusu ile geliyor.

WordPress yönetici panelinize girerek robots.txt dosyası oluşturabilir ve de düzenleyebilirsiniz.

• WordPress panelinde SEO » Araçlar bölümüne gidin ve Dosya Düzenleyici başlığına basın.
• Ardından Yoast SEO sayfasında mevcut robots.txt dosyanızı göreceksiniz.
• Eğer göremiyorsanız Yoast SEO sizin için bir robots.txt dosyası oluşturur.

Yoast SEO’nun robots.txt dosya oluşturucusu robots.txt dosyanıza varsayılan olarak aşağıdaki kuralları ekliyor:

User-agent: *
Disallow: /

Bu komut bütün arama motorlarının sitenizi taramasını engeller. Bu yüzden metni silin.

Metni kaldırdıktan sonra şimdi kendi robots.txt komutlarınızı yazabilirsiniz. Aşağıdaki ideal robots.txt biçimini kullanabilirsiniz.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/

Sitemap: https://www.bymeoman.com/post-sitemap.xml
Sitemap: https://www.bymeoman.com/page-sitemap.xml

Yazdıktan sonra robots.txt dosyasını kaydet düğmesini tıklayın. bymeoman.com yazan yerleri kendi sitenizle değiştirmeyi unutmayın.

Yöntem 2. Robots.txt Dosyasını FTP Kullanarak Düzenleme

Bu adımda robots.txt dosyasını düzenlemek için FTP istemcisini kullanacağız.

• FTP aracı ile WordPress hosting hesabınıza bağlanarak başlayın.
• Bağlandıktan sonra web sitenizin kök klasöründe robots.txt dosyası olacak.
• Eğer yoksa muhtemelen robots.txt dosyanız bulunmuyor. O halde yeni bir tane oluşturun.

Robots.txt düz metin dosyası olduğundan bilgisayarınıza indirebilir ve Not Defteri ya da TextEdit gibi araçlarla düzenleyebilirsiniz.

Düzenledikten sonra Robots.txt’yi web sitenizin kök klasörüne sürükleyerek geri yükleyin.

Robots.txt Dosyası Nasıl Test Edilir?

Robots.txt dosyanızı oluşturduktan sonra bir de test edebilirsiniz.

Birçok robots.txt test aracı bulunuyor, ancak Google Arama Konsolu’nun içindeki aracı kullanmanızı öneririz.

Google Search Console hesabınıza giriş yapın ve ardından eski Google arama konsolu arayüzüne geçin.

Eski Google Search Console arayüzünü göreceksiniz. Şimdi “Tara” menüsünün altındaki robots.txt test aracına tıklayın.

Araç web sitenizdeki robots.txt dosyasını bulacak ve varsa hatalar ve uyarılar gösterecek.