Googlebot Log Dosyası Analizi ile Tarama Bütçesi Optimizasyonu

Sunucu Log Analizi (Server Log Analysis) Nedir?

SEO profesyonellerinin karanlıkta el yordamıyla ilerlemekten çıkıp, gerçek kanıtlara dayalı "kriminolog" gibi veri incelediği yer sunucu kayıtlarıdır (Server Logs). Googlebot, sitenizi ziyaret ettiğinde (CSS, Görsel, HTML fark etmeksizin) iz bırakır. Bu izleri yani sunucunuza gelen erişim (access) txt formatındaki log dosyalarını inceleyerek Google'ın sitenizi TAM OLARAK nasıl taradığını görebilirsiniz.

Neden Log Analizine İhtiyacınız Var? Çözdüğü 3 Büyük Problem

Küçük veya az içerikli siteler log analizi yapmak zorunda değildir, ancak binlerce ürünü, milyonlarca haberi olan bir yapınız varsa bu zorunluluktur.

• 1. Crawl Budget (Tarama Bütçesi) Sızıntılarını Bulmak: Arama motorları bir siteye ayırdığı Crawl Budget miktarını akıllıca tüketmek zorundadır. Sitenizdeki gereksiz, kalitesiz URL varyasyonları (örneğin e-ticaret sitelerindeki fiyat sıralama veya renk filtre parametreleri) taranırken, asıl para kazandıran ürünleriniz aylarca indekslenmeyebilir.
• 2. Orphan Page'lerin Ziyaret Edilmemesi Gerçeği: Orphan Page Tarayıcı bulguları ile logları çarpıştırdığınızda, Google'ın sitenizin varlığından bile haberdar olmadığı o koca URL yığınını gözle görebilirsiniz.
• 3. HTTP Status Zincirlerinin Ziyanı: Gereksiz yere atılmış yönlendirme zincirleri (Redirect Chain), arama motorlarını sunucuyla oyun oynamaya teşvik eder ve bir noktada bot taramayı kesip gider.

Googlebot'u Tespit Etmek ve Loglarda Aramak

Herhangi bir aracın "Googlebot" User-Agent ismiyle (sahte bot) sitenize girmesini engellemek veya gerçek ile sahteyi ayırt etmek için IP Doğrulaması (Reverse DNS lookup) yapılır. Log dosyasındaki satır genellikle şöyle görünür:

66.249.66.1 - - [07/Mar/2026:10:15:22 +0200] "GET /kategori/laptop HTTP/1.1" 200 4523 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Bu satır Google'ın 200 (Başarılı) yanıt aldığını ispatlar.

Tarama Tuzakları (Crawl Traps) Tespitinde Adımlar

Screaming Frog'un Log Analyzer sürümü veya Splunk/Kibana/ELK stack ile milyonlarca satırı işlersiniz. Eğer bir URL'ye Googlebot günde 10.000 kere saldırırken statüs kodu 404 (Not Found) veya 500 Status Code hatası dönüyorsa, arama motorunun tüm bütçesini çöp bir sayfaya ayırıyorsunuz demektir. Çözüm gayet basittir: Hemen Robots.txt kurallarını güncelleyin ve botun o dizine girmesini yasaklayın (Disallow).

Sıkça Sorulan Sorular