Robots exclusion protocol

instruktioner om att vissa (eller alla) webbadresser på en webbplats inte ska kart­läggas av sök­­motorer. Kallas ofta för robots.txt efter den textfil som innehåller instruktionerna, och som sökmotorernas spindlar, här kallade robotar, ska kunna läsa och följa. – Tillämpning av Robots exclusion protocol är frivilligt, och det finns ingen garanti för att alla besök­ande spindlar rättar sig efter instruktion­erna i robots.txt. Protokollet är inte enbart avsett för sökmotorer, utan även för andra som automat­iskt samlar in informa­tion på webb­sidor. – Proto­kollet ger möjlighet att ange att en del sidor får kartläggas, men inte andra. Det kan också speci­fikt utestänga vissa spindlar, men släppa in andra, och det kan ange att besöken inte får ske för ofta. Kallas också för Robots exclusion standard. – Läs mer på robotstxt.org. – Se också ACAP och nofollow. – Sitemaps är komplementet: instruk­tioner om vilka sidor som finns att kartlägga.

[sökmotorer] [webbpublicering] [ändrad 9 februari 2020]

Dagens ord: 2015-12-18