Robots.txt WordPress için Nasıl SEO Uyumlu Yapılır ?

Okurlarımızdan biri, kısa süre önce robots.txt dosyasını optimize ederek SEO ‘nun nasıl optimize edileceği konusunda tavsiye istedi. Robots.txt dosyası, arama motorlarına web sitenizi nasıl tarayacakları konusunda talimat vererek onu son derece etkili bir SEO aracı haline getirir.

Bu yazıda size SEO için nasıl harika bir robots.txt dosyası oluşturacağınızı göstereceğiz.

Robots.txt dosyasının amacı nedir?

Robots.txt, web sitesi sahiplerinin arama motoru botlarına sitelerini nasıl tarayacakları ve dizine ekleyecekleri konusunda talimat vermelerine olanak tanıyan bir metin dosyasıdır.

Genellikle web sitenizin ana klasör olarak da bilinen kök dizininde tutulur. Bir robots.txt dosyası için temel biçim şu şekildedir:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
 
User-agent: [user-agent name]
Allow: [URL string to be crawled]
 

Sitemap: [URL of your XML Sitemap]

Benzersiz URL‘leri etkinleştirmek veya engellemek için birkaç site haritası ekleyebilirsiniz ve birden çok talimat satırına sahip olabilirsiniz. Bir URL’nin taranmasına izin verilip verilmediğini belirtmezseniz, arama motoru botları öyle olduğunu varsayacaktır.

Aşağıda bir robots.txt dosyası örneği verilmiştir:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
 
Sitemap: https://example.com/sitemap_index.xml

Arama motorlarının, yukarıdaki robots örneğini kullanarak WordPress uploads klasörümüzdeki dosyaları taramasına ve dizine eklemesine izin verdik. Bundan sonra, arama botlarının artık eklentileri ve WordPress Yönetici Klasörlerini taramasına ve dizine eklemesine izin verilmiyor.

Son olarak, XML site haritamızın konumunu ekledik.

WordPress İçin Bir Robots.txt Dosyası Gerekli mi?

Bir robots dosyanız yoksa, arama motorları yine de web sitenizi tarar ve dizine ekler. Yine de, arama motorlarına hangi sayfaları veya dizinleri taramamaları gerektiğini söyleyemezsiniz. Bir bloga ilk başladığınızda ve fazla materyaliniz olmadığında, bunun pek bir etkisi olmayacaktır.

Ancak, web siteniz genişledikçe ve siz daha fazla içerik ekledikçe, muhtemelen sitenizin nasıl taranacağı ve dizine eklendiği konusunda daha fazla kontrole sahip olmak isteyeceksiniz. Bu nedenle, her web sitesinde, arama botlarının uyması gereken bir tarama kotası vardır.

Bu nedenle, bir tarama oturumu sırasında belirli sayıda sayfayı tarayabilecekleri anlamına gelir. Eğer ki, tüm sayfalarınızı tek bir oturumda taramayı bitirmezlerse, bir sonrakinde geri dönecek ve taramaya başlayacaklardır. Bu, web sitenizin endekslenmesinde bir gecikmeyi tetikleyecektir.

Taramayı devre dışı bırakarak arama botlarının WordPress yönetici sayfalarınız, eklenti dosyalarınız ve temalar klasörünüz gibi istenmeyen sayfaları taramasını önleyebilirsiniz.

Gereksiz sayfalara izin vermeyerek tarama kotasından tasarruf edebilirsiniz. Bu sayede, arama motorlarının web sitenizdeki daha fazla sayfayı olabildiğince kolay bir şekilde taramasına ve dizine eklemesine olanak tanır.

Arama motorlarının web sitenizdeki bir gönderiyi veya sayfayı dizine eklemesini önlemek istediğinizde robots.txt dosyasını kullanabilirsiniz.
İçeriği genel ziyaretçilerden gizlemenin en iyi yolu bu değildir, ancak içeriği arama sonuçlarının dışında tutacaktır.

Mükemmel Robots.txt Dosyası Nasıl Görünür?

Basit bir robots.txt dosyası, birçok önde gelen blog tarafından kullanılır. Belirli sitenin ihtiyaçlarına bağlı olarak içerikleri değişebilir:

User-agent: *
Disallow:
  
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Bu robots dosyası, web sitesinin XML site haritalarına bağlantı sağlar ve tüm botların tüm içeriği dizine eklemesine olanak tanır. Dosyada bulunan aşağıdaki kurallar WordPress siteleri için önerilir:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Bu, arama botlarına WordPress’teki tüm fotoğrafları ve dosyaları dizine eklemesini söyler. Arama botlarının eklenti dosyalarını, WordPress yönetici bölümünü, WordPress beni oku dosyasını ve WordPress ‘teki bağlı kuruluş bağlantılarını endekslemesini engeller.

Robots.txt dosyanızdaki site haritalarını kullanarak Google botlarının tüm sayfalarınızı bulmasını kolaylaştırırsınız.

Şimdi ideal bir robots.txt dosyasının neye benzediğini bildiğinize göre, WordPress ‘te bir robots dosyasının nasıl oluşturulacağına bakalım.

WordPress’te Robots.txt dosyası nasıl oluşturulur?

WordPress’te robots.txt dosyası oluşturmanın iki yolu vardır. İhtiyaçlarınıza en uygun formu seçmelisiniz.

1. Robots.txt dosyasını düzenlemek için All in One SEO Kullanmak

AIOSEO olarak da bilinen All in One SEO, kullanan 2 milyondan fazla web sitesi ile en yaygın WordPress SEO eklentisidir. Kullanımı kolaydır ve bir robots.txt oluşturucu içerir.

Bu işlev, AIOSEO’nun ücretsiz sürümünde de yer almaktadır. Eklentiyi robots dosyanızı, etkinleştirilip etkinleştirildikten sonra doğrudan WordPress yönetici alanınızdan oluşturmak ve güncellemek için kullanabilirsiniz.

Robots dosyanızı düzenlemek için All in One SEO »Araçlar ‘a gidin.
Başlamak ve düzenleme seçeneğini etkinleştirmek için “Özel Robots.txt’yi Etkinleştir” düğmesini maviye çevirin.

Bu seçenek etkinleştirildiğinde, WordPress için Robot.txt dosyasını oluşturabilirsiniz.

Ekranınızın altındaki “Robots.txt Ön izleme” bölümünde, All in One SEO, mevcut robots dosyanızı gösterecektir.

Varsayılan WordPress kuralları bu sürümde gösterilecektir. Bu varsayılan kurallar, arama motorlarına temel WordPress dosyalarınızı taramamalarını söyler. Ancak tüm içeriği dizine ekleyebilir ve sitenizin XML site haritalarına erişebilirler.

Artık kendi özel kurallarınızı ekleyerek SEO için dosyanızı geliştirebilirsiniz.

“User Agent” kategorisinde, kural eklemek için bir kullanıcı kuralı yazın. Bir * kullandığınızda, kural tüm kullanıcı kurallarına uygulanacaktır.

Ardından arama motorlarının “Allow” veya “DisAllow” seçeneğini taramasını isteyip istemediğinizi seçin. Ardından, “Dizin Yolu” alanına dosya adını veya dizin yolunu yazın.

Kural, robots.txt dosyanıza otomatik olarak eklenecektir. Yeni bir kural eklemek için “Madde Ekle” düğmesi kullanmalısınız. Bitirdiğinizde, değişikliklerinizi kaydetmek için ‘Değişiklikleri Kaydet‘ düğmesine basmayı unutmayın.

2. FTP kullanarak Robots.txt dosyasını düzenleyin

Dosyayı el ile düzenlemek için bir FTP programına ihtiyacınız olacak.

Bir FTP programı kullanarak, WordPress hosting hesabınıza bağlanın.
İçeri girdikten sonra, web sitenizin kök klasöründe robots.txt dosyasını arayın. Göremiyorsanız, dosyanız büyük olasılıkla eksiktir.
Bu durumda devam etmeli ve bir tane yapmalısınız.

Robots bir düz metin dosyası olduğundan, makinenize kaydedebilirsiniz. Not Defteri veya TextEdit gibi herhangi bir düz metin düzenleyiciyle düzenleyebilirsiniz. Değişikliklerinizi kaydettikten sonra bunu web sitenizin kök klasörüne geri yükleyebilirsiniz.

Robots.txt Dosyanızı Test Etmenin En İyi Yolu Nedir?

Dosyanızı bitirdikten sonra test etmek her zaman iyi bir fikirdir.
Kullanabileceğiniz çok sayıda test aracı vardır, ancak Google Search Console ‘da bulunanları kullanmanızı öneririz.

Başlamak için web sitenizi Google Arama Konsoluna bağlamanız gerekir.
Google Search Console Robot Test Aracı daha sonra kullanabilirsiniz.
Açılır menüden mülkünüzü seçmeniz gerekiyor.

Herhangi bir hata veya uyarı tespit edilirse, araç web sitenizin robots.txt dosyasını otomatik olarak alır ve vurgular.

Son Düşünceler – Robots.txt

Robots.txt dosyanızı optimize etmenin amacı, arama motorlarının herkese açık olmayan sayfaları taramasını önlemektir. Örneğin; wp-eklentiler klasörünüzdeki sayfalar veya WordPress yönetici klasörünüzdeki sayfalar.

SEO uzmanlarına göre WordPress kategorisini, etiketini ve arşiv sitelerini engellemek, tarama oranını artırarak daha hızlı indeksleme ve daha yüksek sıralamalar sağlar. Bu doğru değil. Ayrıca, Google‘ın web yöneticisi kurallarını da ihlal ediyor.

Web siteniz için bir robots.txt dosyası oluşturmak için yukarıdaki örnekte ki biçimini kullanmanızı öneririz.

SEO için WordPress’teki robots.txt dosyasını nasıl özelleştireceğinizi öğrenmede bu makaleyi yararlı bulduğunuzu umuyoruz. Web sitenizi genişletmenize yardımcı olmak için, nihai WordPress SEO rehberimize ve en iyi WordPress SEO eklentilerine göz atın.