Robots exclusion protocol

instruktioner om att vissa (eller alla) webbadresser på en webb­plats inte ska kart­läggas av sök­­motorer. Kallas ofta för robots.txt efter den textfil som innehåller instruktion­erna, och som sök­motor­ernas spindlar, här kallade robotar,  ska kunna läsa och följa. – Tillämpning av Robots exclusion protocol är frivilligt, och det finns ingen garanti för att alla besök­ande spindlar rättar sig efter instruktion­erna i robots.txt. Pro­to­kollet är inte enbart avsett för sökmotorer, utan även för andra som auto­mat­iskt samlar in in­forma­tion på webb­sidor. – Proto­kollet ger möjlighet att ange att en del sidor får kartläggas, men inte andra. Det kan också speci­fikt ute­stänga vissa spindlar, men släppa in andra, och det kan ange att besöken inte får ske för ofta. Kallas också för Robots exclusion standard. – Läs mer på robotstxt.org. – Se också ACAP och nofollow. – Sitemaps är kom­ple­mentet: in­struk­tioner om vilka sidor som finns att kartlägga.

[sökmotorer] [webbpublicering] [ändrad 9 februari 2020]

Dagens ord: 2015-12-18