Robots.txt

Web sitesinin kök dizininde (/robots.txt) bulunan, Googlebot dahil tüm bot'lara hangi sayfaların veya dizinlerin taranmaması gerektiğini söyleyen düz metin dosyası. Yanlış yapılandırılmış robots.txt tüm sitenin indekslenmemesine neden olabilir. Önemli: robots.txt ile engellenen URL'ler indekslenemez ancak görünür olmaya devam edebilir; tam gizlilik için noindex kullanın.