Robots exclusion protocol

instruktioner om att vissa (eller alla) webbadresser på en webb­plats inte ska kart­läggas av sök­­motorer. Kallas ofta för robots.txt efter den textfil som innehåller in­struk­tion­erna, och som sök­motor­ernas spindlar ska kunna läsa och följa. – Tillämpning av Robots exclusion protocol är fri­villigt, och det finns ingen garanti för att alla besök­ande spindlar rättar sig efter instruktion­erna i robots.txt. Pro­to­kollet är inte enbart avsett för sök­motorer, utan även för andra som auto­mat­iskt samlar in in­forma­tion på webb­sidor. – Proto­kollet kan ange att en del sidor får kart­läggas, men inte andra. Det kan också speci­fikt ute­stänga vissa spindlar, men släppa in andra, och det kan ange att besöken inte får ske för ofta. Kallas också för Robots exclusion standard. – Läs mer på robotstxt.org. – Se också ACAP och nofollow. – Sitemaps är kom­ple­mentet: in­struk­tioner om vilka sidor som finns att kartlägga.

[sökmotorer] [webbpublicering] [ändrad 6 november 2018]

Dagens ord: 2015-12-18