instruktioner om att vissa (eller alla) webbadresser på en webbplats inte ska kartläggas av sökmotorer. – Robots exclusion protocol kallas ofta för robots.txt efter den textfil som innehåller instruktionerna, och som sökmotorernas spindlar, här kallade robotar, ska kunna läsa och följa. – Tillämpning av Robots exclusion protocol är frivilligt, och det finns ingen garanti för att alla besökande spindlar rättar sig efter instruktionerna i robots.txt. Protokollet är inte enbart avsett för sökmotorer, utan även för andra som automatiskt samlar in information på webbsidor. – Protokollet ger möjlighet att ange att en del sidor får kartläggas, men inte andra. Det kan också specifikt utestänga vissa spindlar, men släppa in andra, och det kan ange att besöken inte får ske för ofta. Kallas också för Robots exclusion standard. – Läs mer på robotstxt.org. – Se också ACAP och nofollow. – Sitemaps är komplementet: instruktioner om vilka sidor som finns att kartlägga.
[sökmotorer] [webbpublicering] [ändrad 9 februari 2020]