domingo, 5 de enero de 2014

SPIDER





Programa que recorre la WWW y recoge páginas web, visitando los enlaces que tiene de forma automática. Suelen utilizarlo los grandes buscadores para dar de alta (indexar) las páginas y luego poder buscar en ellas.
Otros nombres: Robot-Web, araña, bot, web crawler

Es un tipo de agente de software; cada spider provee su propio user-agent.

Algunos nombres (user-agent) de spiders populares son:

• Scooter (de Altavista)

• Slurp (de AOL)

• ArchitextSpider (de Excite)

• Googlebot (de Google)

• Lycos (de Lycos)

• Yahoo Slurp (de Yahoo!)

• MSNBot (de MSN)

Existen spider con propósitos ilegales como los spambots.