Los crawlers o mejor conocidos como arañas rastreadoras, son pequeños bots que exploran y analizan los sitios web en Internet. Son parte de un algoritmo de un motor de búsqueda como Google, por lo que integran sistemas para ofrecer mejores resultados en el posicionamiento web.
📌 ¿Qué es?
Es un programa informático que se encarga de la recopilación de datos en Internet, para analizarlos y clasificarlos. Los crawlers tienen la tarea de verificar que los sitios web cuenten con todos los estándares para el posicionamiento web, los que mejor cumplan con esos estándares estarán en los primeros lugares de la página de resultados de búsqueda.
Los motores de búsqueda como Google han dejado de dar a conocer cuáles son esos estándares exactos, pero aseguran que los parámetros de la optimización SEO se acercan mucho a ellos.
📌 Origen
Los crawlers fueron desarrollados por la idea de Brian Pinkerton, quien los diseñó en la Universidad de Washington y mostró su creación el 20 de abril de 1994. Empezaron a utilizarse al ser comprados por AOL en 1995. Actualmente, también reciben el nombre de rastreadores, arañas, bots y algoritmos.
📌 ¿Para qué sirven los Crawlers?
Su función principal es extraer la información de los sitios web, pero esto dependerá del tipo de rastreador. Estos suelen clasificarse según la información que van a recopilar, por ejemplo, en Google existen bots diferentes para el posicionamiento de noticias, vídeos, imágenes y localizaciones.
Cada uno recibe “ordenes” diferentes de cómo clasificar un sitio web. Por ejemplo, los bots que rastrean medios de comunicación para posicionarlos en Google News van a posicionar mejor los sitios que cuenten con una versión en el centro de editores de Google, porque así lo dice su configuración.
📌 ¿Cómo funciona?
Básicamente la función que tienen los crawlers de Google es actuar rápida y automáticamente cada vez que se publica una nueva página web, para proceder a leer el código de cada una y posicionarla de forma correcta. Este procedimiento se realiza cada cierto tiempo, a veces de forma diaria, dependiendo del presupuesto del Crawl Budget. Básicamente, persiguen las siguientes fases.
- Enlaces para rastrear: Para empezar, verifican si hay enlaces nuevos en un sitio web.
- Enlaces visitados: Seguidamente evalúan los enlaces que ya han sido indexados anteriormente, pero vuelven a hacerlo porque cuentan con nuevas modificaciones.
- Búsqueda: Aquí comparan e indexan las palabras clave utilizadas en el contenido, la URL y otros enlaces.
- Extracción: Almacena los enlaces rastreados.
- Filtración: Filtra y elimina los enlaces o códigos que no deben ser rastreados (indicados por el propietario en el mismo código)