≡En resumen
- Una araña web descarga páginas, extrae sus enlaces y los añade a una cola para seguir rastreando.
- Rastrear no es indexar: la araña descarga la página y después el buscador decide si la incluye en su índice.
- Googlebot rastrea sobre todo con su versión para smartphones y, de media, no accede a un sitio más de una vez cada pocos segundos.
- El robots.txt indica qué puede rastrear cada araña; para impedir la indexación se usa noindex, no el robots.txt.
- Los buscadores con IA tienen sus propias arañas, como GPTBot y OAI-SearchBot de OpenAI, que se gestionan por separado.
01 ¿Qué es una araña web?
El nombre es una metáfora: si la World Wide Web es una telaraña de páginas unidas por enlaces, el programa que la recorre saltando de hilo en hilo es la araña. En inglés se dice spider o, más a menudo, crawler (de to crawl, «arrastrarse»). En español también se usan rastreador, bot o robot, y en nuestro diccionario tienes la entrada específica sobre rastreadores o crawlers.
02 Cómo funciona una araña web
-
1
Lista de partida
La araña empieza con URLs conocidas: páginas ya rastreadas, sitemaps enviados por los propietarios y enlaces descubiertos en otras webs.
-
2
Consulta el robots.txt
Antes de rastrear un dominio lee su archivo robots.txt para saber qué rutas tiene permitidas.
-
3
Descarga la página
Hace una petición HTTP al servidor, como un navegador, y guarda el HTML y, si hace falta, los CSS, JavaScript e imágenes para renderizarla.
-
4
Extrae enlaces y datos
Analiza el contenido, detecta enlaces nuevos y los añade a la cola, priorizando según importancia y frecuencia de cambios.
-
5
Entrega el contenido
Envía lo descargado a los sistemas de indexación, que deciden si la página entra en el índice y cómo se entiende.
-
6
Vuelve más tarde
Programa nuevas visitas: las páginas que cambian a menudo o son más importantes se rastrean con más frecuencia.
03 Ejemplos de arañas web
| Araña | Empresa | Para qué rastrea |
|---|---|---|
| Googlebot (smartphone y ordenador) | Índice de la Búsqueda de Google | |
| Bingbot | Microsoft | Índice de Bing, que también alimenta a otros buscadores y asistentes |
| Applebot | Apple | Siri y Spotlight |
| OAI-SearchBot | OpenAI | Resultados de búsqueda de ChatGPT |
| GPTBot | OpenAI | Contenido que puede usarse para entrenar sus modelos |
| AhrefsBot, SemrushBot | Ahrefs, Semrush | Bases de datos de enlaces y palabras clave de herramientas SEO |
Google explica que Googlebot es el nombre genérico de dos rastreadores, uno que simula un móvil y otro un ordenador, y que la mayoría de las peticiones llegan desde el de móvil. OpenAI, por su parte, separa la araña que alimenta las búsquedas de ChatGPT de la que recoge datos de entrenamiento, y permite bloquear una sin bloquear la otra. Si te interesa esta parte, lo contamos en la guía para aparecer en ChatGPT.
04 Por qué la araña web es clave para el SEO
Sin rastreo no hay indexación, y sin indexación no hay tráfico orgánico. Por eso la primera fase de cualquier estrategia para posicionar tu web es comprobar que las arañas pueden llegar a todas las páginas importantes, leerlas completas y entender cuáles son prioritarias.
2 MB
Máximo que Googlebot lee de cada archivo HTML o de texto compatible
Fuente: Google Search Central, documentación de Googlebot
64 MB
Máximo que Googlebot lee de un archivo PDF
Fuente: Google Search Central, documentación de Googlebot
500 KiB
Tamaño mínimo de robots.txt que un rastreador debe ser capaz de procesar
Fuente: IETF, RFC 9309
Enlazado interno
Las arañas descubren páginas siguiendo enlaces. Una página sin enlaces que apunten a ella (huérfana) es difícil de encontrar.
Presupuesto de rastreo
En webs grandes, las arañas no rastrean todo cada día. Las URLs inútiles (filtros, parámetros) consumen visitas que necesitan las importantes.
Velocidad y errores
Un servidor lento o con errores 5xx hace que Google reduzca la frecuencia de rastreo.
JavaScript
Si el contenido solo aparece tras ejecutar JavaScript, la araña debe renderizarlo, lo que puede retrasar o impedir su indexación.
En sitios con miles de URLs, el presupuesto de rastreo se convierte en un factor decisivo. Si quieres una visión de fondo sobre cómo razonan estos robots, este reportaje de La Vanguardia lo explica para todos los públicos: La araña web: ¿cómo funciona Google?
05 Cómo controlar lo que rastrean las arañas
| Herramienta | Qué hace | Cuándo usarla |
|---|---|---|
| robots.txt | Permite o bloquea el rastreo de rutas por user-agent | Evitar que las arañas pierdan tiempo en zonas sin valor (carrito, búsquedas internas) |
| Meta robots noindex | Pide que la página no se indexe | Páginas que deben existir pero no aparecer en Google |
| X-Robots-Tag | Lo mismo que la metaetiqueta, en la cabecera HTTP | PDF, imágenes y archivos que no son HTML |
| Sitemap XML | Lista las URLs que quieres que se rastreen | Webs grandes o con páginas poco enlazadas |
| Search Console | Muestra estadísticas de rastreo y errores de Googlebot | Supervisar y detectar problemas |
User-agent: GPTBotDisallow: /User-agent: *Disallow: /carrito/Disallow: /buscarSitemap: https://www.tudominio.es/sitemap.xml
GPTBot no podrá rastrear nada; el resto de arañas, incluidas Googlebot y OAI-SearchBot, rastrean todo salvo el carrito y el buscador interno.
06 Araña web vs scraper y bots maliciosos
| Aspecto | Araña de buscador | Scraper | Bot malicioso |
|---|---|---|---|
| Objetivo | Descubrir e indexar páginas | Extraer datos concretos (precios, contactos) | Spam, fuerza bruta, fraude |
| Respeta robots.txt | Sí | Depende de quien lo programe | No |
| Se identifica | Con un user-agent y rangos de IP verificables | A veces | Suele suplantar a otros |
07 Cómo facilitar el trabajo a las arañas
- ✓Enlaza cada página importante desde el menú, categorías o contenidos relacionados.
- ✓Usa enlaces HTML normales con href; los enlaces que solo funcionan con JavaScript pueden no seguirse.
- ✓Mantén un sitemap XML actualizado y envíalo en Search Console.
- ✓Devuelve códigos HTTP correctos: 200, 301 para redirecciones y 404 o 410 para lo que ya no existe.
- ✓No bloquees en robots.txt los CSS y JavaScript necesarios para ver la página.
- ✓Evita cadenas de redirecciones y URLs infinitas generadas por filtros o calendarios.
- ✓Revisa el informe de estadísticas de rastreo para detectar picos de errores o de tiempo de respuesta.
Muchos problemas de visibilidad son, en realidad, problemas de rastreo que no se ven a simple vista. Una auditoría SEO técnica analiza los logs del servidor y el comportamiento de las arañas para encontrar qué páginas no se visitan y por qué.
Preguntas frecuentes sobre Araña web
Es un programa automático que recorre Internet visitando páginas y siguiendo sus enlaces para descargar su contenido, normalmente para que un buscador lo indexe.
Porque la web se concibe como una telaraña de páginas conectadas por enlaces, y el programa la recorre saltando de un enlace a otro.
Araña web y crawler son sinónimos. Bot es un término más amplio que incluye cualquier programa automático, también los que no rastrean páginas.
Googlebot, que funciona en dos versiones: una que simula un smartphone, responsable de la mayor parte del rastreo, y otra que simula un ordenador.
Con reglas Disallow en el archivo robots.txt para su user-agent. Las arañas legítimas lo respetan; los bots maliciosos hay que bloquearlos en el servidor o en el firewall.
Depende de su tamaño, popularidad y frecuencia de cambios. Google indica que, de media, no accede a la mayoría de sitios más de una vez cada pocos segundos, y Search Console muestra tus estadísticas de rastreo.
Sí. Empresas como OpenAI tienen arañas propias, como OAI-SearchBot para búsquedas y GPTBot para entrenamiento, que se permiten o bloquean por separado en robots.txt.
Fuentes consultadas
Sobre el autor
Raúl Aránega Segura
CEO y especialista SEO en appyweb
Fundador de appyweb. Más de una década posicionando webs y tiendas online en Google y, ahora, en las respuestas de la IA.
Ver perfil en LinkedIn ↗