(spider) – program som samlar in information från webbsidor till sökmotorer. – Spindeln besöker webbsidor och sammanställer listor över alla ord (ibland också bilder) på varje webbsida tillsammans med sidans webbadress (URL), ofta även ordens plats på sidan. Sökmotorn sammanställer sedan informationen till ett index. Spindeln hittar hela tiden nya webbsidor att besöka genom att den följer alla länkar på webbsidorna. Spindlar gör också återbesök på sidor som de redan har besökt för att se ifall de har ändrats: hur ofta det blir återbesök styrs ofta av regler som utgår från hur ofta en sida förändras. – Spindlar kallas även för krypare och robotar, på engelska crawlers och robots, ofta förkortat till bot (som också har andra betydelser, se bot). Benämningen spindel anspelar på the web.
[sökmotorer] [ändrad 13 oktober 2018]