Índice de contenidos
Es una modificación que se inserta en la cabecera del HTML para cambiar ajustes que pueden mejorar el posicionamiento de una URL o página web. La etiqueta robots tiene una influencia importante en los rastreadores de los buscadores que se encargan de posicionar el contenido en la página de resultados.
¿Qué es la etiqueta robots?
Son metaetiquetas que permiten que se controle de manera voluntaria cuáles páginas se deben indexar Google y cuáles no. Permite que los bots lean una serie de códigos, que le indican que el enlace está preparado para posicionar. De esta forma, también se puede evitar que rastreen o posicionen páginas que no deberían estar disponibles para los usuarios.
En este sentido, esta modificación impacta positivamente en el posicionamiento web ya que de esta forma se busca que sólo las páginas indicadas por el propietario puedan ser indexadas, aprovechando todas beneficios de las estrategias de SEO.
¿Para qué sirve?
Permite indicar cuáles son las páginas que serán indexadas a profundidad y cuáles no, aunque todas estarán disponibles para los usuarios, en realidad tendrán un nivel de prioridad diferente para los buscadores.
Este tipo de herramientas se pueden utilizar, en el caso de estar desarrollando una página web de prueba. Se añade la etiqueta y permite que no esté visible en el buscador, ya que es posible que se está implementando cambios que no estén a favor de la optimización orgánica y que por el contrario pueden afectar significativamente el posicionamiento.
¿Cómo se utiliza la etiqueta robots?
Como se mencionó anteriormente, esta se debe incluir en la cabecera HTML también conocida como head. De la siguiente forma.
<html><head>
<meta name=»robots» content=»noindex» />
(…)
</head>
<body>(…)</body>
</html>
Es importante señalar que una vez llevadas a cabo las modificaciones para el posicionamiento, se debe retirar la etiqueta para garantizar que los rastreadores puedan analizarla y darle una buena posición en la página de resultados.
Tipos de rastreadores de Google
Los rastreadores o los robots de los buscadores suelen estar separados por categorías, por ejemplo, Google utiliza un algoritmo para posicionar una lista de resultados orgánicos general, pero también puede organizar resultados indicado por imágenes, noticias, vídeos y mapas.
Por ejemplo, para indicar que un sitio web no debe ser indexado para la página de resultados de Google News se debe utilizar la meta etiqueta googlebot-news en el código mostrado anteriormente.
En este sentido, también vale la pena mencionar otras variaciones para evitar que las páginas sean indexadas, como la etiqueta no follow, aunque también se puede denominar como no index o none. Sin embargo, con estas últimas el algoritmo lo toma como una referencia y puede indexar la página simplemente para tenerlo en cuenta durante la evaluación.
Más información sobre la etiqueta robots
Al principio puede parecer difícil aprender cómo trabaja el algoritmo de Google, de hecho, muchos expertos en SEO todavía no han podido revelar algunos secretos de estos robots. Sin embargo, es necesario que entiendas algunas pautas básicas, en estos enlaces podrá conseguir más información al respecto.