SEO'da Crawl Trap (Tarama Tuzağı) Tespiti: Parametreler ve Sonsuz URL Döngüleri

Crawl Trap Nedir? Botları Labirente Sokan Mimari Hatalar

Crawl Trap (Tarama Tuzağı), arama motoru botlarını sonsuz sayıda URL üretecek şekilde döngüye sokan teknik yapılardır. Bot her yeni linki takip ettiğinde aslında aynı içeriğin farklı bir URL varyasyonuna ulaşır ve bu döngü milyonlarca gereksiz istek doğurarak tarama bütçenizi tamamen tüketir. Sonuçta gerçekten indekslenmesi gereken stratejik sayfalarınız keşfedilmeden kalır.

En Yaygın Crawl Trap Kaynakları

1. Sonsuz URL Parametreleri

E-ticaret sitelerinde filtre ve sıralama parametreleri (?renk=kirmizi&beden=m&siralama=fiyat&sayfa=3) her kombinasyonda yeni bir URL üretir. 5 renk × 4 beden × 3 sıralama × 100 sayfa = 6.000 URL; tek bir kategori için bile devasa bir çöplük yaratır. Botun tamamını taraması imkânsızdır ve asıl ana kategori sayfası arka plana itilir.

2. Takvim ve Tarih Modülleri

Otel veya etkinlik sitelerindeki takvim widget'ları, "Sonraki Ay" linkini sınırsız şekilde ileriye taşıyabilir. Bot Ocak 2026'dan Aralık 2099'a kadar her ayın sayfasını ayrı ayrı taramaya çalışır ve hiçbir zaman asıl otel detay sayfasına ulaşmadan bütçeyi bitirir.

3. Session ID ve Tracking Parametreleri

URL'lere eklenen ?sessionid=abc123 veya ?utm_source=... parametreleri her ziyaretçi için benzersiz URL oluşturur. Bot aynı içeriği milyonlarca farklı adresle gördüğünde duplicate content uyarıları da tetiklenir.

Crawl Trap Tespit Yöntemleri

• Log Analizi: Sunucu loglarında Googlebot isteklerini URL uzunluğuna göre sıralayın. Anormal derecede uzun veya parametre yığını içeren URL'ler tuzak adayıdır.
• Site Tarama Araçları: Screaming Frog gibi crawler'larla tarama yapın ve "Discovered URLs" sayısı beklenen sayfa sayısının 10 katını aşıyorsa alarm durumuna geçin.
• Search Console Kapsam Raporu: "Taranan - Şu anda dizine eklenmedi" kategorisindeki URL sayısında ani artış, tuzak belirtisidir.

Çözüm Stratejileri

İlk savunma hattı robots.txt dosyasında parametre içeren dizinleri engellemektir: Disallow: /*?siralama= gibi kurallar bot erişimini keser. İkinci katman olarak canonical etiketleri ile tüm parametre varyasyonlarının ana (temiz URL) sayfaya işaret etmesini sağlayın. Üçüncü olarak takvim modüllerindeki "ileri/geri" linklerine rel="nofollow" ekleyerek botun sonsuz döngüye girmesini engelleyin. Bu üç adımı uygulayan siteler tarama bütçesinde %40-60 tasarruf elde etmektedir.