Robots.txt Checker
Web sitenizin arama botlarına verdiği yönlendirmeleri inceleyin, yanlışlıkla engellenen kritik rotaları bulun.
Ne Öğrenebilirsiniz?
Erişilebilirlik
Sayfanın gerçekten /robots.txt yanıtı verip vermediği kontrolü.
Directif (Kural) Ayrıştırma
User-agent bazlı dosya içi ruleset (kurallar) ayrıştırması.
Sitemap Haritaları
Arama motoru için bırakılan otomatik site haritası bağlantıları.
İçerik Görüntüleme
Ham dosya içeriğini renkli biçimde görüntüleme.
Sık Sorulan Sorular
Robots.txt dosyası nedir?
Arama motoru tarayıcılarına (botlara) sitenizde hangi yolları ziyaret edebileceklerini veya edemeyeceklerini bildiren bir metin dosyasıdır.
Neden kontrol etmeliyim?
Yanlış bir kural site geneli index düşüşlerine neden olabilir. Önemli sayfaların engellenmediğinden emin olmalısınız.
Robots.txt Denetleyici Nedir?
Robots.txt Denetleyici, bir sitenin robots.txt dosyasını indirerek sözdizimini doğrular, belirli URL'lerin taranabilirliğini test eder ve yaygın konfigürasyon hatalarını raporlar. Araç, Googlebot, Bingbot ve diğer popüler botların hangi sayfalara erişebildiğini görselleştirir.
Neden Önemlidir?
- Yanlışlıkla engelleme: Robots.txt dosyasındaki tek bir hata, tüm sitenin veya kritik sayfaların taranmasını engelleyebilir — bu durum anında sıralama kayıplarına neden olur.
- CSS/JS erişimi: Googlebot, sayfaları render etmek için CSS ve JavaScript dosyalarına erişmek zorundadır; bu dosyaların engellenmesi indeksleme sorunlarına yol açar.
- Sitemap referansı: Robots.txt içinde sitemap URL'sinin belirtilmesi Googlebot'un sitemapı daha kolay bulmasını sağlar.
- AI/GEO bot yönetimi: GPTBot, ClaudeBot, PerplexityBot gibi AI botlarına izin veya engel kuralları eklemek, 2025+ SEO stratejisinin parçasıdır.
Nasıl Kullanılır?
Domain adınızı ya da robots.txt dosyanızın tam URL'sini girin. Araç dosyayı indirir, tüm kuralları listeler ve özellikle test etmek istediğiniz URL'nin belirli bir bot tarafından taranıp taranamayacağını simüle eder. Sözdizimi hatası olan satırlar kırmızı ile işaretlenir.
SSS
Robots.txt ile noindex aynı şey midir? Hayır; robots.txt taramayı, noindex ise indekslemeyi engeller. Bir sayfa robots.txt ile engellenmişse Google onu indeksleyemez; ancak taranmayı engellenmiş bir sayfanın noindex direktifini de göremez.
Robots.txt ne kadar sürede etkili olur? Googlebot robots.txt dosyasını genellikle saatler-günler içinde yeniden okur; değişiklikler hemen geçerli olmayabilir.