SEO Crawl Trap (Tarama Tuzağı) Tespiti ve Parametre Yönetimi

Tarama Tuzağı (Crawl Trap) Nedir? Nasıl Oluşur?

Bir Spider (Tarayıcı Bot) web sitenize geldiğinde her linkte bulduğu yeni sayfalara atlayarak derinleşir. Ancak sitenizin yazılım mimarisi hatalıysa bot kapana kısılabilir ve sonsuz adet (infinite) anlamsız sayfayı taramaya çalışırken Crawl Budget israfına sebep olur. İşte buna **Tarama Tuzağı** (`Crawl Trap`) denir.

En Yaygın 3 Crawl Trap Senaryosu

1. Faceted Navigation (E-ticaret Filtreleri)

E-ticaret sitelerinde kullanıcılar ürünleri ucuzdan pahalıya, veya kırmızı, mavi, yeşil diye filtrelediğinde her seçim URL'ye yeni bir parametre (?color=red&sort=low vb.) ekler. Eğer bu linkler botlara açıksa Google her kombinasyonu apayrı bir sayfa zannederek milyonlarca URL'yi dizine sokmaya çalışır.

2. Takvim (Calendar) Eklentileri

İçinde sonsuz bir şekilde "Sonraki Ay" butonuna basabildiğiniz dinamik takvim modülleri, botların `2055 Yılı Mayıs Ayı Etkinlikleri` sayfasına kadar gereksizce tarama yapmasına neden olur.

3. Yanlış Yönlendirmeler ve Göreceli Bağlantılar (Relative Links)

Slashtan (/) dolayı veya eksik kodlamadan dolayı, sitenizin iç sayfasında URL sonuna eklenerek çoğalan ve uzayan zincirleme kırık döngülerdir.

Crawl Trap'leri Önleme ve Çözme Yolları

Bu büyük sorunu SEO mimarinizde kökten çözmek için birkaç sağlam savunma hattınız (Line of Defense) olmalıdır.

• 1. Güçlü Bir Robots.txt Kurulumu: Botların asla indekslemeyeceği veya görmemesi gereken sepet, hesap, üyelik veya parametre sayfalarını Robots.txt dosyasında Disallow: /*?sort= gibi `wildcard` desenleriyle engelleyin.
• 2. Canonical Meta Etiketler: Eğer bir filtre sayfası mutlaka oluşuyorsa, bu parametreli sayfada "Asıl kaynak şudur" diyebilmek için doğru kategoriye işaret eden bir Canonical URL (`rel=canonical`) kullanmalısınız. Böylece Duplicate Content (kopya içerik) cezasından kurtulursunuz.
• 3. PRG (Post-Redirect-Get) Pattern: Form veya filtre aramalarını doğrudan URL değiştiren `A href` kodlarıyla değil, Form POST ve ardından asıl URL'ye yönlendirme yapan arka plan istekleriyle işleyin.

Kendi Sitenizin Tuzağa Düşüp Düşmediğini Tespit Edin

Google Search Console hesabınızdaki Kapsam (Coverage) veya Sayfalar raporunda `Alternatif sayfada uygun standart etiket var` (Alternate page with proper canonical tag) rakamınız toplam URL sayınızdan 10-100 kat fazlaysa, sitenizde muhtemelen bir parametre kaosu yaşanıyordur. Bunu engellemek ve düzene sokmak için Crawl Budget Optimizasyonu stratejisi uygulayıp Dahili Kırık ve Yetim Linkleri sisteminizden temizlemeniz elzemdir.