Robots.txt Test Araci
Robots.txt dosyanizin belirli URL'lere Googlebot erisimini engelleyip engellemedigini test edin.
Ilgili Araclar
Sık Sorulan Sorular
Robots.txt testi ne işe yarar?
Robots.txt test aracı, web sitenizin robots.txt dosyasının belirli bir URL'ye Googlebot veya diğer arama motoru botlarının erişimini engelleyip engellemediğini simüle eder. Böylece hangi sayfaların taranıp taranamayacağını gerçek bir bot gibi kontrol edebilirsiniz.
Robots.txt kuralı URL'yi engelliyor ama sayfa hâlâ indekslenmiş, neden?
Robots.txt yalnızca taramayı engeller, indekslemeyi değil. Google bir URL'yi daha önce taramışsa veya başka sitelerden bu URL'ye gelen bağlantılar varsa, içeriğe erişemese bile URL'yi indekslenmiş tutabilir. İndekslemeyi tamamen durdurmak için sayfaya noindex meta etiketi eklemeniz gerekir.
Hangi User-Agent değerlerini test etmeliyim?
En önemli User-Agent değerleri Googlebot (genel web tarayıcısı), Googlebot-Image (görseller), Googlebot-News (haberler) ve AdsBot-Google'dır. Farklı botlar için farklı kurallar tanımlıyorsanız her birini ayrı ayrı test etmenizi öneririz. Çoğu site için Googlebot yeterlidir.
What is Robots.txt Tester?
The Robots.txt Tester checks whether your robots.txt file blocks Googlebot access to a specific URL. Paste the URL and robots.txt content to get instant results.
Why Should You Test Robots.txt?
- Detect Wrong Blocks: Misconfiguration can accidentally block important pages (product pages, blog posts). This can lead to significant organic traffic losses.
- Crawl Budget Optimization: Block unnecessary pages (admin panel, filtered URLs) to use your crawl budget efficiently.
- Security: Ensure sensitive directories (wp-admin, API endpoints) are not open to bots.
How to Use?
Paste the robots.txt content into the text area, enter the URL you want to test, and click 'Test'.
FAQ
Question: Does robots.txt Disallow prevent Google from indexing a page? Answer: No. Disallow only blocks crawling, not indexing. Even if a page is Disallowed, Google can still index it if it receives links from other sites. Use the noindex meta tag or X-Robots-Tag to prevent indexing.