≡En resumen
- La meta robots decide qué pasa con una página en el índice; robots.txt decide qué se rastrea.
- noindex saca una página de los resultados, nofollow pide no seguir sus enlaces y none equivale a ambas.
- X-Robots-Tag aplica las mismas reglas desde la cabecera HTTP, ideal para PDF, imágenes o grupos de archivos.
- Si una URL está bloqueada en robots.txt, Google no puede ver su noindex y la URL puede seguir apareciendo.
- Cuando dos reglas chocan, Google aplica la más restrictiva.
01 ¿Qué es la etiqueta robots?
Se llama «robots» porque se dirige a los robots o arañas de los buscadores. El nombre genérico robots vale para todos; también puedes dirigirte solo a uno, por ejemplo googlebot para los resultados de texto de Google o googlebot-news para Google Noticias. Bing y otros buscadores respetan la misma sintaxis básica.
La etiqueta forma parte del día a día del SEO técnico porque es la forma fina de controlar la indexación: página a página, sin tocar el rastreo del resto del sitio.
02 Reglas de la meta robots: noindex, nofollow, nosnippet y más
El atributo content admite una o varias reglas separadas por comas, sin distinguir mayúsculas. Estas son las que Google documenta en Search Central:
| Regla | Qué hace | Uso típico |
|---|---|---|
| all | Sin restricciones (es el valor por defecto) | No hace falta declararla |
| noindex | No muestra la página en los resultados | Carrito, gracias, resultados de búsqueda interna, páginas de prueba |
| nofollow | No sigue los enlaces de la página | Páginas con enlaces que no controlas |
| none | Equivale a noindex, nofollow | Entornos de staging o contenido privado |
| nosnippet | No muestra fragmento de texto ni vista previa de vídeo | Contenido que no quieres resumido en resultados |
| max-snippet:[número] | Limita los caracteres del fragmento | Medios que quieren controlar la extensión |
| max-image-preview:[none, standard, large] | Fija el tamaño de la vista previa de imágenes | Webs de noticias y blogs (large) |
| max-video-preview:[número] | Limita en segundos la vista previa de vídeo | Plataformas de vídeo |
| noimageindex | No indexa las imágenes de la página | Imágenes con derechos restringidos |
| notranslate | No ofrece traducir la página en resultados | Textos donde la traducción automática confunde |
| indexifembedded | Permite indexar el contenido insertado en iframes pese a un noindex | Widgets y reproductores embebidos |
| unavailable_after:[fecha] | Deja de mostrar la página después de esa fecha | Ofertas, eventos y promociones con caducidad |
03 Cómo se usa la etiqueta meta robots: ejemplos de código
No indexar una página:<meta name="robots" content="noindex">
No indexar ni seguir enlaces:<meta name="robots" content="noindex, nofollow">
Indexar, pero con vistas previas de imagen grandes y fragmento de hasta 160 caracteres:<meta name="robots" content="max-image-preview:large, max-snippet:160">
Solo para Google Noticias:<meta name="googlebot-news" content="noindex">
Ocultar un párrafo concreto de los fragmentos:<span data-nosnippet>texto que no quieres en el fragmento</span>
-
1
Decide qué páginas no deben salir en Google
Páginas de gracias, búsqueda interna, filtros sin demanda, zonas privadas, entornos de prueba o contenido duplicado sin valor.
-
2
Aplica la regla desde el CMS
En WordPress, Yoast SEO o Rank Math permiten marcar noindex por contenido o por tipo; en webs a medida, añádela en la plantilla.
-
3
No bloquees esas URL en robots.txt
Google tiene que rastrearlas para leer el noindex y retirarlas del índice.
-
4
Sácalas del sitemap
Un sitemap que incluye URL con noindex envía señales contradictorias.
-
5
Verifica con Search Console
La inspección de URL muestra si la página tiene noindex y el informe de indexación agrupa las «Excluidas por la etiqueta noindex».
04 X-Robots-Tag: la etiqueta robots en la cabecera HTTP
Un PDF, una imagen o un archivo de Excel no tienen head donde colocar una etiqueta meta. Para ellos existe la cabecera HTTP X-Robots-Tag, que admite exactamente las mismas reglas y se configura en el servidor. Además permite aplicar una regla a muchos archivos a la vez, por ejemplo a todos los PDF de una carpeta.
Respuesta del servidor:X-Robots-Tag: noindex
Apache (.htaccess, con mod_headers): todos los PDF sin indexar<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow"</Files>
Nginx:location ~* \.pdf$ { add_header X-Robots-Tag "noindex, nofollow";}
| Meta robots | X-Robots-Tag | |
|---|---|---|
| Dónde va | head del HTML | Cabecera de la respuesta HTTP |
| Tipos de archivo | Solo páginas HTML | Cualquiera: PDF, imágenes, vídeo, documentos |
| Quién la configura | Plantilla o CMS | Servidor o aplicación |
| Reglas | Las mismas | Las mismas |
| Aplicación masiva | Página a página o por plantilla | Por patrón de archivos o directorios |
05 Etiqueta robots vs. robots.txt: no son lo mismo
Es la confusión más cara del SEO técnico. El archivo robots.txt controla el rastreo: qué URL puede visitar el robot. La etiqueta robots controla la indexación y la presentación: qué hace el buscador con una página que ya ha leído. Por eso bloquear una URL en robots.txt no la saca de Google; puede seguir apareciendo, sin descripción, si otras webs la enlazan.
| robots.txt | Meta robots / X-Robots-Tag | |
|---|---|---|
| Controla | Rastreo | Indexación y fragmentos |
| Ámbito | Directorios y patrones de URL de todo el sitio | Una página o un archivo |
| Saca una URL de Google | No garantizado | Sí, con noindex |
| Ahorra rastreo | Sí | No: la página debe rastrearse para leer la regla |
| Admite noindex | No: Google dejó de aceptarlo el 1 de septiembre de 2019 | Sí |
06 Errores frecuentes con la etiqueta robots
- ✓Publicar la web nueva con el noindex del entorno de pruebas todavía activo (en WordPress, la casilla «Disuadir a los motores de búsqueda»).
- ✓Marcar con noindex categorías o fichas que sí generan tráfico por un ajuste global del plugin.
- ✓Usar nofollow en la meta robots creyendo que evita la indexación: solo afecta a los enlaces.
- ✓Combinar noindex con una canonical hacia otra URL: son señales contradictorias.
- ✓Dejar URL con noindex dentro del sitemap XML.
- ✓Añadir la regla con JavaScript sin comprobar que Google la ve en el HTML renderizado.
Si trabajas con duplicados, recuerda que la herramienta adecuada suele ser la etiqueta canonical, no el noindex. Y si tu sitio tiene miles de URL, reservar el rastreo para lo importante tiene más que ver con el presupuesto de rastreo que con la meta robots. Un noindex olvidado es, además, una de las primeras causas que hay que descartar cuando analizas por qué una web deja de aparecer en Google.
07 Etiqueta robots y SEO: qué páginas indexar
Indexar
Home, servicios, categorías con demanda, fichas de producto, artículos y páginas de contacto.
noindex
Carrito, checkout, gracias, área de cliente, búsqueda interna y filtros sin búsquedas propias.
noindex, nofollow
Entornos de staging protegidos solo con la etiqueta (mejor aún, con contraseña).
max-image-preview:large
Blogs y medios que quieren imágenes grandes en Discover y en los resultados.
Decidir qué se indexa es una parte de la estrategia, no un ajuste técnico aislado: cada página indexable debe responder a una búsqueda real. Revisarlo es uno de los puntos fijos de nuestro servicio de auditoría SEO, y mantenerlo coherente con el contenido que publicas es trabajo continuo de una agencia SEO. Si quieres entender cómo encaja todo esto en el funcionamiento del algoritmo de Google, este artículo plantea si es posible vencer al algoritmo de Google.
Preguntas frecuentes sobre Etiqueta robots
Es una etiqueta meta del head de una página que indica a los buscadores si pueden indexarla, seguir sus enlaces o mostrar fragmentos. La más usada es noindex.
Para que una página no aparezca en los resultados de búsqueda aunque el buscador la rastree. Se usa en carritos, páginas de gracias, búsquedas internas o entornos de prueba.
robots.txt controla qué URL se rastrean; la meta robots controla si una página rastreada se indexa. Para sacar una página de Google usa noindex, no un Disallow.
Es la cabecera HTTP que aplica las mismas reglas que la meta robots. Sirve para archivos sin HTML, como PDF o imágenes, y para aplicar reglas a muchos archivos a la vez.
No. En la meta robots afecta a todos los enlaces de la página; el atributo rel="nofollow" solo afecta al enlace donde lo pones.
Depende de cuándo vuelva a rastrearla. Puedes acelerarlo pidiendo la indexación desde la inspección de URL de Search Console.
No. Es el comportamiento por defecto; declararlo no cambia nada. Solo necesitas la etiqueta cuando quieres restringir algo.
Fuentes consultadas
Sobre el autor
Raúl Aránega Segura
CEO y especialista SEO en appyweb
Fundador de appyweb. Más de una década posicionando webs y tiendas online en Google y, ahora, en las respuestas de la IA.
Ver perfil en LinkedIn ↗