Arama motoru optimizasyonu süreçlerinde, web sitenizin performansını artırmak için kullanılan analiz araçları çoğu zaman yüzeysel veya simüle edilmiş veriler sunar. Google Search Console veya üçüncü taraf SEO araçları tarama davranışları hakkında fikir verse de, arama motoru botlarının web sitenizle kurduğu etkileşimi %100 doğrulukla görmenizi sağlamaz. İşte bu noktada SEO log analizi, teknik SEO çalışmalarının en somut ve güvenilir kaynaklarından biri olarak öne çıkar. Sunucu logları, arama motoru botlarının (Googlebot, Bingbot vb.) sitenize gerçekleştirdiği her bir ziyareti, talep ettiği her bir kaynağı ve bu kaynaklara verilen sunucu yanıtlarını saniyesi saniyesine kaydeder.

Bu rehberde, sunucu log dosyalarının ne anlama geldiğini, log analiziyle tarama bütçesi (crawl budget) israfının nasıl önleneceğini, yetim sayfaların ve sunucu hatalarının nasıl tespit edileceğini teknik bir derinlikle inceleyeceğiz.

SEO Log Analizi Nedir ve Neden Gereklidir?

SEO log analizi, bir web sunucusunun (Nginx, Apache, IIS vb.) tuttuğu erişim kayıtlarının (access logs) arama motoru optimizasyonu perspektifiyle ayıklanması, işlenmesi ve anlamlandırılması sürecidir. Standart web analitik araçları (örneğin Google Analytics), kullanıcıların tarayıcılarında çalıştırılan JavaScript kodlarına dayanır. Ancak arama motoru botları çoğu zaman JavaScript çalıştırmadan veya farklı bir tarama mimarisiyle doğrudan kaynak talebinde bulunur. Bu nedenle analitik araçları bot trafiğini doğru şekilde ölçümleyemez.

Sunucu log verileri ise hamdır, dördüncü taraf manipülasyonu içermez ve örnekleme (sampling) yapılmaksızın tüm trafiği kaydeder. Gerçekleştireceğiniz kapsamlı bir SEO log analizi sayesinde şu kritik sorulara net ve veriye dayalı yanıtlar bulabilirsiniz:

Googlebot web sitemi ne sıklıkla ziyaret ediyor ve hangi saatlerde yoğunlaşıyor?
Tarama bütçesi en çok hangi dizinlerde ve URL tiplerinde harcanıyor?
Arama motorları, indeksletmek istemediğimiz değersiz URL’lere ne kadar kaynak ayırıyor?
Sunucumuz arama motoru botlarının isteklerine ne kadar hızlı yanıt veriyor?
Hangi sayfalarımız arama motorları tarafından tamamen görmezden geliniyor?

Access Log Dosyalarında Bulunan Kritik Veri Alanları

Arama motoru botlarının bıraktığı izleri doğru okuyabilmek için bir erişim log satırının hangi ögelerden oluştuğunu bilmek gerekir. Standart bir W3C veya Nginx/Apache log satırında teknik SEO açısından incelenmesi gereken temel parametreler şunlardır:

IP Adresi: İstekte bulunan istemcinin IP adresidir. Botun gerçekten iddia edilen arama motoruna ait olup olmadığını doğrulamada kullanılır.
Tarih ve Zaman (Timestamp): Botun sunucuya ulaştığı tam anı milisaniye hassasiyetinde gösterir. Tarama yoğunluğunun günün hangi periyotlarında gerçekleştiğini ortaya koyar.
HTTP İstek Yöntemi (GET/POST): Botun kaynağı nasıl talep ettiğini belirtir. Arama motoru botları neredeyse her zaman GET yöntemini kullanır.
İstenen URL (Request URI): Botun taradığı tam sayfa, resim, CSS, JS veya doküman yoludur.
HTTP Durum Kodu (Status Code): Sunucunun yapılan isteğe verdiği yanıttır (200, 301, 404, 500 vb.).
User Agent (Kullanıcı Aracısı): İstemcinin kendini tanıtma biçimidir. Googlebot-Desktop, Googlebot-Smartphone gibi tanımlamaları içerir.
Yanıt Süresi (Response Time / TTFB): Sunucunun isteği alıp ilk baytı dönmeye başladığı an arasındaki süredir. Performans optimizasyonunda hayati rol oynar.

Arama Motoru Botlarının Gerçekliğini Doğrulama (Reverse DNS)

User Agent bilgisi istemci tarafından kolayca taklit edilebilir. Kötü niyetli tarayıcılar veya veri kazıma (scraping) botları kendilerini Googlebot gibi göstererek sunucuya yük bindirebilir. Bu durumu engellemek ve analizin doğruluğunu sağlamak adına log verilerindeki IP adreslerine ters DNS (Reverse DNS) sorgusu uygulanmalıdır. Gerçek bir Googlebot IP adresi, hostname sorgusunda *.googlebot.com veya *.google.com uzantılı resmi bir alan adına çözümlenmelidir. Sahte botların elenmesi, SEO log analizinin sağlıklı sonuç vermesi için zorunlu bir ilk adımdır.

Googlebot Tarama Davranışı ve Crawl Budget Sorunlarının Tespiti

Tarama bütçesi (crawl budget), Google’ın bir web sitesini taranabilir kılmak için ayırdığı zaman ve kaynak miktarını ifade eder. Bu bütçe sınırsız değildir. Özellikle yüz binlerce sayfaya sahip e-ticaret siteleri, haber portalları veya geniş dizin yapısına sahip platformlarda tarama bütçesinin yanlış harcanması, yeni veya güncellenmiş sayfaların indekslenmemesine yol açar.

Log analizi, Googlebot’un sitenizde geçirdiği zamanı ve harcadığı istek sayısını alan bazlı (directory breakdown) incelemenize olanak tanır. Örneğin, cironuzun büyük kısmını oluşturan ana ürün kategorileriniz Googlebot trafiğinin yalnızca %10’unu alırken, önemsiz bir arşiv dizini %50’sini tüketiyorsa, ortada ciddi bir tarama mimarisi ve iç bağlantı sorunu var demektir.

Gereksiz Parametreli URL’ler ve Filtre Sayfalarının Tarama Maliyeti

E-ticaret platformlarında kullanılan renk, beden, sıralama ve fiyat filtreleri, kombinasyonlar nedeniyle milyonu aşan benzersiz URL üretebilir. Bu sayfalar canonical etiketi ile ana kategoriye işaret etse dahi, arama motoru botları canonical etiketini okuyabilmek için önce o sayfayı indirmek (fetch etmek) zorundadır. Log dosyalarını incelediğinizde, Googlebot’un değerli içerikler yerine sıralama ve filtre parametrelerine (örneğin ?sort=price_asc&color=red) binlerce istek attığını görebilirsiniz. Bu durum tarama bütçesinin boşa harcanmasının en yaygın teknik nedenidir.

Log Verilerinde HTTP Durum Kodlarının Teknik SEO Analizi

HTTP yanıt kodları, sunucunuz ile arama motoru botları arasındaki iletişimin durumunu gösterir. Log analizi sırasında durum kodlarının oransal dağılımı teknik SEO sağlığı hakkında doğrudan bilgi sunar:

200 OK: Başarılı istekleri gösterir. Ancak log analizinde, taranmaması gereken (değersiz, taranması gereksiz) sayfaların 200 yanıtı vererek bütçe tüketip tüketmediği kontrol edilmelidir.
301 Moved Permanently ve 302 Found: Yönlendirmeleri ifade eder. Loglarda aşırı miktarda 301 görülmesi, yönlendirme zincirlerinin (redirect chains) varlığına işaret eder. Googlebot yönlendirme zincirlerini takip ederken tarama hakkından harcar.
404 Not Found ve 410 Gone: Bulunamayan sayfaları ifade eder. Sitenizdeki kırık iç bağlantılardan veya dış backlinklerden kaynaklı olarak sürekli 404 alan URL’lere Googlebot tekrar tekrar geliyorsa, ciddi bir tarama kaynağı israfı yaşanıyor demektir.
5xx Sunucu Hataları (500, 502, 503): Sunucu tarafındaki aksaklıklardır. Googlebot bir sitede yüksek oranda 5xx hatasıyla karşılaştığında, sunucuyu çökertmemek adına tarama hızını (crawl rate limit) otomatik olarak düşürür. Bu durum tüm sitenin indekslenme hızını olumsuz etkiler.

Yetim Sayfalar ve XML Sitemap Karşılaştırmalı Log Analizi

Yetim sayfalar (orphan pages), web sitesi içindeki hiçbir iç bağlantıdan (internal link) ulaşılması mümkün olmayan, ancak sunucuda varlığını sürdüren sayfalardır. Yetim sayfalar genellikle eski kampanya sayfalarından, unutulmuş açılış sayfalarından veya veritabanı hatalarından kaynaklanır.

Log analizi yardımıyla yetim sayfaları ve sitemap uyumsuzluklarını tespit etmek için üç temel veri seti karşılaştırılır:

Loglarda Var, Site Tarayıcısında (Crawl) Yok: Bu sayfalar kesinleşmiş yetim sayfalardır. Site içi navigasyonda bağlantısı olmamasına rağmen Googlebot eski indeksler veya dış backlinkler üzerinden bu sayfaları taramaktadır.
XML Sitemap’te Var, Loglarda Yok: Arama motorlarına indeksletmek istediğiniz fakat Googlebot’un belirli bir süredir hiç ziyaret etmediği sayfaları temsil eder. Bu durum iç bağlantı yetersizliğini veya tarama engellerini gösterir.
Loglarda Var, XML Sitemap’te Yok: Googlebot’un sürekli taradığı ancak sitemap dosyanızda yer almayan sayfaları gösterir. Eğer bu sayfalar değerliyse sitemap’e eklenmeli, değersizse taranması engellenmelidir.

Sunucu Performansı ve Bot Tarama Sıklığı Arasındaki İlişki

Arama motorları kullanıcı deneyimine olduğu kadar kendi tarama altyapılarının verimliliğine de önem verir. Yavaş yanıt veren bir web sitesi, Googlebot için ek işlem maliyeti demektir. Googlebot, sunucunuza aşırı yük bindirmemek için tarama hızını sunucunuzun yanıt süresine (TTFB – Time to First Byte) göre dinamik olarak ayarlar.

Log analizinde her bir isteğin yanıt süresi (milisaniye cinsinden) detaylıca incelenebilir. Eğer belirli saatlerde veya belirli dinamik URL gruplarında yanıt süreleri yükseliyorsa (örneğin 800 ms üzerine çıkıyorsa), Googlebot’un o periyottaki toplam istek sayısının düştüğü net bir şekilde gözlemlenir. Sunucu yanıt sürelerinin düşürülmesi, Googlebot’un aynı süre zarfında daha fazla sayfayı taramasını sağlar.

Log Analizinden Sonra Uygulanabilecek Güvenli Teknik SEO Aksiyonları

Log analizinden elde edilen veriler ışığında uygulanabilecek güvenli ve etkili teknik optimizasyon adımları şunlardır:

Robots.txt Kurallarını Güncelleme: Değer üretmeyen, dizine eklenmesi istenmeyen ve tarama bütçesi tüketen parametreli sayfaları veya arama/filtre URL’lerini robots.txt dosyası üzerinden taramaya kapatın.
Yönlendirme Zincirlerini Temizleme: Loglarda tespit edilen zincirleme yönlendirmeleri (A -> B -> C) doğrudan son hedefe (A -> C) yönlendirecek şekilde güncelleyin.
İç Bağlantı Mimarisini Güçlendirme: Loglarda taranma sıklığı düşük kalan kritik sayfalarınıza ana sayfadan veya yüksek otoriteli kategorilerden doğrudan iç bağlantılar verin.
404 Hatalarını Yönetme: Sürekli taranan kırık bağlantıları tespit ederek ilgili yeni sayfalara yönlendirin. Karşılığı olmayan ve tamamen kaldırılmış içerikler için sunucunun 410 Gone yanıtı vermesini sağlayın.
Sunucu Tarafı Önbellekleme (Caching): Botların sıklıkla ziyaret ettiği dinamik sayfaları statikleştirerek sunucu yükünü azaltın ve yanıt sürelerini optimize edin.

Sıkça Sorulan Sorular (SSS)

SEO log analizi ne sıklıkla yapılmalıdır?

Büyük ölçekli e-ticaret ve haber siteleri için aylık veya haftalık log analizi yapılması önerilir. Daha küçük ölçekli web siteleri için ise 3 ile 6 ayda bir veya büyük bir site mimarisi değişikliği (migration) öncesi ve sonrasında log analizi yapmak yeterlidir.

Google Search Console varken log analizi yapmak gerekli midir?

Evet, gereklidir. Google Search Console verileri gecikmeli ve örneklenmiş verilerdir. Ayrıca Search Console, sunucu hatalarının tamamını veya botların sitenizde harcadığı milisaniye bazlı yanıt sürelerini eksiksiz sunmaz. Log analizi %100 kesin ham veri sağlar.

Log analizi yapmak için hangi araçlar kullanılır?

Küçük boyutlu log dosyaları için Screaming Frog Log File Analyser veya Excel/Google Sheets kullanılabilir. Milyonlarca satırdan oluşan büyük log dosyaları için ELK Stack (Elasticsearch, Logstash, Kibana), Python betikleri veya Botify, OnCrawl gibi enterprise SEO platformları tercih edilir.

Sonuç: Veriye Dayalı Teknik SEO Süreçleri

Teknik SEO çalışmalarında varsayımlarla hareket etmek, zaman ve kaynak kaybına yol açar. SEO log analizi, arama motoru botlarının sitenizdeki gerçek hareketlerini görünür kılarak en doğru teknik kararları almanızı sağlar. Tarama bütçesini optimize etmek, sunucu performansını iyileştirmek, yetim sayfaları tespit etmek ve HTTP hatalarını gidermek suretiyle web sitenizin arama motorları gözündeki değerini ve taranabilirliğini maksimum seviyeye çıkarabilirsiniz. Gerçek sunucu verilerine dayanan bu yaklaşım, rekabetin yüksek olduğu dijital pazarda sürdürülebilir bir organik görünürlük elde etmenin anahtarıdır.

İlgili İçerikler