Spider (Zoekmachine)

Een spider is een andere naam voor een robot of crawler. De spider is eigenlijk niets anders dan een relatief simpel programmaatje dat door mensen is geprogrammeerd om het web te Indexeren. De meeste spiders hebben als doel om pagina's aan de zoekmachines toe te voegen of up te daten.

De spider (spin in het web) bezoekt link na link en plaatst de pagina's die zij tegenkomt in een database. Nu het web inmiddels zo groot is, is deze spider zo slim gemaakt dat zij alleen nieuwe of gewijzigde websites opnieuw opneemt in de database en de rest over kan slaan.

World Wide Web Wanderer, de eerste spider


De World Wide Web Wanderer was de allereerste spider in de geschiedenis. Een zekere Matthew Gray van het MIT wilde in juni 1993 in kaart brengen hoe groot het Internet nu eigenlijk zou zijn. Om dat te bepalen schreef hij een simpel programmaatje dat link naar link volgde en zo alle gevonden pagina's opsloeg in een database. Lees verder bij World Wide Web Wanderer.

Gerelateerde woorden

Thema & categorieën