Robots.txt nedir ve neden önemlidir?
Web sitenizin arama motorları tarafından nasıl taranacağını kontrol etmek istiyorsanız, robots.txt dosyası en kritik araçlardan biridir. Bu basit metin dosyası, Google gibi botlara hangi sayfaları indeksleyip indekslemeyeceklerini söyler. 2023 verilerine göre, %42’si yanlış yapılandırılmış robots.txt nedeniyle trafik kaybı yaşıyor.
Örneğin, bir e-ticaret sitesinde stokta olmayan ürünlerin sayfalarını botlardan gizlemek, arama motoru sıralamalarınızı korumanıza yardımcı olur. Ancak hatalı bir kural eklemek (örneğin, Disallow: /), tüm sitenizin indekslenmesini engelleyebilir.
Robots.txt temel sözdizimi ve kuralları
Bir robots.txt dosyası oluşturmak için 3 temel komutu bilmelisiniz:
- User-agent: Hangi botlara hitap ettiğinizi belirtir (* tüm botlar anlamına gelir).
- Disallow: Botların erişemeyeceği dizin veya sayfaları tanımlar.
- Allow: Disallow ile engellenen bir dizindeki belirli içeriğe izin verir.
Örnek bir yapı:
User-agent: * Disallow: /gecici/ Allow: /gecici/urun-detay.html
Robots.txt nasıl oluşturulur? Adım adım kılavuz
1. Adım: Dosyayı oluşturun. Bir metin editörü (Notepad++, VS Code) kullanarak robots.txt adında bir dosya açın.
2. Adım: Kuralları yazın. Örneğin, WordPress kullanıyorsanız admin panelini korumak için:
User-agent: * Disallow: /wp-admin/
3. Adım: Dosyayı sunucunuzun kök dizinine (public_html, www) yükleyin. Doğru konum: https://orneksite.com/robots.txt
Yaygın robots.txt hataları ve çözümleri
Hata 1: Büyük/küçük harf duyarsızlığı. Linux sunucularında /Gizli/ ve /gizli/ farklı dizinler olarak algılanır.
Çözüm: Tüm kurallarda küçük harf kullanın.
Hata 2: Site haritası (sitemap) eklemeyi unutmak. 2022’de yapılan bir araştırma, %68 robots.txt dosyasının sitemap bildirmediğini gösterdi.
Çözüm: En alta şu satırı ekleyin: Sitemap: https://orneksite.com/sitemap.xml
Robots.txt ve SEO optimizasyonu ilişkisi
Google’ın crawl bütçesi kavramı, botların sitenizi ne sıklıkta tarayacağını belirler. Robots.txt ile gereksiz sayfaları (oturum açma sayfaları, filtre URL’leri) engelleyerek bu bütçeyi verimli kullanabilirsiniz.
Örneğin, 10.000 sayfalık bir haber sitesinde:
- Yazar profillerini (Disallow: /yazar/) engellemek, botların yeni makalelere odaklanmasını sağlar.
- Arama sonu sayfalarını (Disallow: /?s=) kapatmak yinelenen içeriği azaltır.
Gelişmiş robots.txt teknikleri
1. Dinamik kurallar: JavaScript ile bot türüne göre farklı kurallar sunabilirsiniz. Örneğin, sosyal medya botlarına özel izinler:
User-agent: Twitterbot Allow: /paylasim-gorselleri/
2. Yorum satırları: Karmaşık kuralları açıklamak için # işareti kullanın:
# 15.04.2024 tarihinde bakım sayfası eklendi Disallow: /bakim-modu/
