Definiție extinsă
Fișier text pe site-ul tău (la /robots.txt) care spune crawler-elor ce paginii pot accesa și ce să sare. Crawlerele „cuminți" îl respectă; nu blochează indexarea efectivă, doar accesul crawler-ului.
Context și aplicare
Confuzia clasică: oamenii cred că Disallow: în robots.txt blochează indexarea. NU. Robots.txt blochează doar crawl-ul. Dacă o pagină a fost deja indexată sau linkată extern, Google o poate păstra în index chiar dacă nu mai poate să o crawl-uiască. Pentru deindexare reală, ai nevoie de tag-ul noindex ÎN pagină — ceea ce înseamnă că pagina trebuie să rămână crawl-uibilă pentru ca Google să citească tag-ul. Sună paradoxal, dar așa funcționează.
În practică
dacă vrei ca o pagină să nu fie indexată, folosești tag-ul noindex, NU robots.txt.
Cum ajută SEO Master PRO MAX
Pentru Robots.txt, modulul relevant din aplicație este Modul Audit. Vezi pagina dedicată pentru cum funcționează concret pe site-ul tău.
Vezi Modul Audit →Termeni înrudiți
Sitemap, Noindex, Indexare.