Robots.txt dosyasi nasil yazilir ve optimize edilir

Robots.txt nedir ve neden önemlidir?

Web sitenizin arama motorları tarafından nasıl taranacağını kontrol etmek istiyorsanız, robots.txt dosyası en kritik araçlardan biridir. Bu basit metin dosyası, Google gibi botlara hangi sayfaları indeksleyip indekslemeyeceklerini söyler. 2023 verilerine göre, %42’si yanlış yapılandırılmış robots.txt nedeniyle trafik kaybı yaşıyor.

Örneğin, bir e-ticaret sitesinde stokta olmayan ürünlerin sayfalarını botlardan gizlemek, arama motoru sıralamalarınızı korumanıza yardımcı olur. Ancak hatalı bir kural eklemek (örneğin, Disallow: /), tüm sitenizin indekslenmesini engelleyebilir.

Robots.txt temel sözdizimi ve kuralları

Bir robots.txt dosyası oluşturmak için 3 temel komutu bilmelisiniz:

• User-agent: Hangi botlara hitap ettiğinizi belirtir (* tüm botlar anlamına gelir).
• Disallow: Botların erişemeyeceği dizin veya sayfaları tanımlar.
• Allow: Disallow ile engellenen bir dizindeki belirli içeriğe izin verir.

Örnek bir yapı:

  
User-agent: *  
Disallow: /gecici/  
Allow: /gecici/urun-detay.html  

Robots.txt nasıl oluşturulur? Adım adım kılavuz

1. Adım: Dosyayı oluşturun. Bir metin editörü (Notepad++, VS Code) kullanarak robots.txt adında bir dosya açın.

2. Adım: Kuralları yazın. Örneğin, WordPress kullanıyorsanız admin panelini korumak için:

  
User-agent: *  
Disallow: /wp-admin/  

3. Adım: Dosyayı sunucunuzun kök dizinine (public_html, www) yükleyin. Doğru konum: https://orneksite.com/robots.txt

Yaygın robots.txt hataları ve çözümleri

Hata 1: Büyük/küçük harf duyarsızlığı. Linux sunucularında /Gizli/ ve /gizli/ farklı dizinler olarak algılanır.

Çözüm: Tüm kurallarda küçük harf kullanın.

Hata 2: Site haritası (sitemap) eklemeyi unutmak. 2022’de yapılan bir araştırma, %68 robots.txt dosyasının sitemap bildirmediğini gösterdi.

Çözüm: En alta şu satırı ekleyin: Sitemap: https://orneksite.com/sitemap.xml

Robots.txt ve SEO optimizasyonu ilişkisi

Google’ın crawl bütçesi kavramı, botların sitenizi ne sıklıkta tarayacağını belirler. Robots.txt ile gereksiz sayfaları (oturum açma sayfaları, filtre URL’leri) engelleyerek bu bütçeyi verimli kullanabilirsiniz.

Örneğin, 10.000 sayfalık bir haber sitesinde:

• Yazar profillerini (Disallow: /yazar/) engellemek, botların yeni makalelere odaklanmasını sağlar.
• Arama sonu sayfalarını (Disallow: /?s=) kapatmak yinelenen içeriği azaltır.

Gelişmiş robots.txt teknikleri

1. Dinamik kurallar: JavaScript ile bot türüne göre farklı kurallar sunabilirsiniz. Örneğin, sosyal medya botlarına özel izinler:

  
User-agent: Twitterbot  
Allow: /paylasim-gorselleri/  

2. Yorum satırları: Karmaşık kuralları açıklamak için # işareti kullanın:

  
# 15.04.2024 tarihinde bakım sayfası eklendi  
Disallow: /bakim-modu/  

İlgili Yazılar

• Ücretsiz AI Video Oluşturucu ile Stok Videolara Veda Edin: Metinden Video Yaratmanın Kolay Yolu
• Sosyal Medya ve SEO İlişkisi: Nasıl Entegre Edilir?
• Meta description nedir nasil yazilir