robots.txt ve x-robots-tag Arasındaki Kritik Farklar

## Googlebot'a Kim Dur Diyecek? SEO dünyasında kontrolsüz güç, güç değildir. Devasa sitenizdeki özel fatura PDF'leri, kişisel müşteri panelleri, yönetici klasörleri (wp-admin) veya dinamik arama sayfası (Search Query) sonuçlarının Google tarafından taranarak (Crawl) ve dizine eklenerek (Indexing) dış dünyaya yayılmasını önlemek en temel görevlerdendir. Web sokağınızdaki trafiği ve kapıları iki ana polis memuru kontrol eder: Standart dosya mimarisi olan **"robots.txt"** direktifleri ile direkt sunucu bazlı yanıt veren sofistike **"X-Robots-Tag" (HTTP Yönergeleri)**. Maalesef birçok SEO uzmanı bile bu iki farklı amir arasındaki çalışma prensibini birbirine karıştırabilmektedir. ## Robots.txt: Dış Kapının Fiziki Bekçisi * **Çalışma Mantığı (Crawl Budget Dostu):** "robots.txt" sitenizin ana kök dizininde (site.com/robots.txt) bulunan basit yasal uyarı metin tablosudur. Googlebot sitenize girdiğinde ilk oraya koşar, "Bana nereye gitmemi 'Yasaklıyorsun (Disallow)'? Nereye 'Serbestim (Allow)'" diye izne bakar. * **En Büyük Özelliği ve Yanılgı:** Robots.txt örümceklere "O kapıdan (URL klasöründen) içeri adımını dahi atma (Taramaya kapalı)" deyişidir. Fakat! Bu sistem sayfanın Google'dan "İndekslenmesini ve Sıralamaya Girmesini" KESİN ve %100 BİR ŞEKİLDE ENGELLEMEZ! Nasıl mı? Eski bir backlink üzerinden gizli bir "fatura.html" sayfanıza gelen Bot, robots.txt uyarısını atlayarak dış linklerden aldığı referanslarla o gizli dosyanızın başlığını Google Index'e sızdırabilir ve bir gün "İlgili sayfa hakkında hiçbir bilgi yok (Robots Tarafından Çekilemiyor)" ibaresiyle arama sonuçlarına meze edilebilir. ## X-Robots-Tag: Güvenlik Duvarının Görünmez Ajitörü Tıpkı makale içi HTML'de kullanılan uyarı etiketleri (Meta name="robots" content="noindex") gibi, **X-Robots-Tag** bu işin en teknik ama engellenemez hali olan "Yazılım Başlığı (HTTP Response Headers)" yöntemidir. * **Çalışma Mantığı:** HTML dışı dosyalara, yani bir **".PDF", "bir yüksek çözünürlüklü .PNG fotoğrafı"** veya sunucudaki Excel listesine meta etiketi basamazsınız. İşte bu tür dosyaların asla ve asla sızmasını istemiyorsanız, sunucunuza Nginx, Apache veya PHP bazlı bir header kodu döşersiniz. * **Örnek Konfigürasyon:** PDF dosyalarınızı Nginx sunucusunda `add_header X-Robots-Tag "noindex, nofollow";` kodlamasıyla örttüğünüz an Googlebot PDF uzantılı belgenize denk geldiğinde, o belgenin içini açıp taramaya kalksa dahi sunucuya toslar ve veritabanı yasal korumayla asla endekse inmez. (Kesin çözümdür). ## Hangisi Nerede Kullanılmalı? - Çok fazla parametreli önemsiz zayıf aramaların olduğu e-ticaret sayfalarının botları sitenizde saatlerce oyalatmasını ve **Tarama (Crawl) Bütçesini sömürmesini istemiyorsanız** çözüm: Robots.txt üzerinden `Disallow: /*?sort=` kuralıdır. - Mutlak "Sirru" sır (Gizli Mahremiyet) niteliğindeki Word dosyalarınızın, makbuzlarınızın Google Index sayfalarına ifşa olmamasını istiyorsanız ve dosyalar HTML barındırmıyorsa tek çözüm: X-Robots-Tag yönergeleridir.