Hva er robots.txt?

Robots.txt er en tekstfil som ligger i roten av et nettsted og brukes til å instruere søkemotorroboter (også kjent som crawlers eller bots) om hvordan de skal navigere og indeksere innholdet på nettstedet. Filen er en del av "Robots Exclusion Protocol" og brukes til å gi spesifikke retningslinjer for hva som kan og ikke kan indekseres.