Google, Yahoo, la directiva X-Robot y el ranking de tus páginas

La semana pasada, Yahoo anunció que ahora admitían la Etiqueta – X – Robots en la cabecera HTTP como tiempo atrás había hecho ya Google. Esta nueva etiqueta te permite influir en la manera en que Google y Yahoo indexan las páginas de tu sitio web, logrando así un mayor control.

¿Que es la etiqueta X-Robot?

Google presentó la directiva de la Etiqueta – X – Robots en 2007 permitiendo a los webmasters controlar el acceso a los documentos de la página Web, como los archivos Adobe PDF, archivos de vídeo y audio. La Etiqueta – X – Robots (X-Robot-Tag) está incluida en la cabecera de un documento (Header).

La cabecera es la primera respuesta de un servidor a una consulta. Contiene información sobre el documento que sigue (la propia página en si), incluyendo el tipo de contenido, fecha de creación, el conjunto de caracteres, codificaciones, etc

La Nueva Etiqueta – X – Robots permite a los webmasters añadir información acerca de la indexación en los motores de búsqueda en la cabecera HTTP, junto con el resto de etiquetas.

¿Que comandos soporta la etiqueta X – Robot?

En este momento, la Etiqueta – X – Robots soporta los siguientes comandos:

• X – Robots – Tag: NOINDEX (Usa esta etiqueta si no quieres mostrar la URL en los resultados de búsqueda de Google)
• X – Robots – Tag: NOARCHIVE (Usa esta etiqueta si no quieres ver un enlace en la caché de las páginas de resultados de búsqueda por el documento)
• X – Robots – Tag: NOSNIPPET (Usa esta etiqueta si no deseas mostrar un resumen en las páginas de resultados de búsqueda.)
• X – Robots – Tag: NOFOLLOW (Usa esta etiqueta si no quieres que Googe y Yahoo indexen los enlaces de la página.)

La Etiqueta – X – Robots está soportada en la actualidad solamente por Google y Yahoo. Otros motores de búsqueda no soportan la etiqueta todavía, aunque están estudiando su implementación.

Cómo agregar el X – Robots – Tag a tus documentos

Depende de tu servidor y del método que utilizas para crear tus páginas web como añadir etiquetas adicionales para la cabecera HTTP. Si utilizas un servidor web Apache, puedes utilizar el .htaccess para modificar sus cabeceras HTTP.

En general, no deberías tocar la cabecera HTTP si no estás 100% seguro de lo que estás haciendo, hace falta un mínimo conocimiento del código de esta cabecera para modificarla. Una cabecera de  HTTP rota o incorrecta puede hacer que los motores de búsqueda no te indexen ni exploren tu sitio web.

En lugar de usar la Etiqueta -X-Robots, se pueden agregar etiquetas meta con la misma funcionalidad a tus páginas web, y con menos riesgo:

<meta name="robots" content="noarchive">
<meta name="robots" content="nosnippet">

<meta name="robots" content="nofollow">
<meta name="robots" content="noindex">

Puedes editar estas etiquetas directamente en la cabecera de tus páginas web. Tienen el mismo efecto que las Etiquetas X – Robots. También las puedes activar con los principales plugins de SEO, como son Yoast Seo y Rank Math.

¿Necesita el X – Robots – Tag o las correspondientes etiquetas meta?

Si no quieres limitar el acceso a tus documentos o si sólo tienes páginas web en su sitio web, entonces no es necesario que utilices ni la Etiqueta –  X – Robots ni las etiquetas meta. Pero si tienes otros tipos de documentos te sera muy útil.

La Etiqueta – X – Robots ha sido diseñada para restringir el acceso a tus documentos. Eso significa que no contribuyen a aumentar los rankings en los motores de búsqueda. La nueva Etiqueta X – Robots – y las etiquetas meta robots te permiten restringir el acceso a tus documentos.

Si quieres asegurarte de que los motores de búsqueda indexen todas tus páginas web entonces deberías optimizar tus páginas web implementándolas. Los Robots (Spiders) de los Motores de búsqueda (Search Engines) deben ser capaces de analizar fácilmente tus páginas web y de encontrar los elementos adecuados en ellas.

Si optimizas correctamente los elementos de la página Web con las palabras clave adecuadas, tu página web aparecerá en las primeras posiciones de los motores de búsqueda de estas palabras clave.

Dejar un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Responsable: Javier Fuentes Izquierdo
Finalidad: Responder a tus comentarios.
Derechos: Podrás ejercer tus derechos de acceso, rectificación, limitación y suprimir los datos en este formulario, así como el derecho a presentar una reclamación ante una autoridad de control.
Información adicional: En la política de privacidad de CursEmOn, encontrarás información adicional sobre la recopilación y uso de tu información personal por parte de CursEmOn, incluida información sobre acceso, conservación, rectificación, eliminación, seguridad y otros temas.