SPIDER

Programa que recorre la WWW y recoge páginas web, visitando los enlaces que tiene de forma automática. Suelen utilizarlo los grandes buscadores para dar de alta (indexar) las páginas y luego poder buscar en ellas.
Otros nombres: Robot-Web, araña, bot, web crawler
Es un tipo de agente de software; cada spider provee su propio user-agent.
Algunos nombres (user-agent) de spiders populares son:
• Scooter (de Altavista)
• Slurp (de AOL)
• ArchitextSpider (de Excite)
• Googlebot (de Google)
• Lycos (de Lycos)
• Yahoo Slurp (de Yahoo!)
• MSNBot (de MSN)
Existen spider con propósitos ilegales como los spambots.