Robots.txt y sitemap ¿Qué son y como configurarlos?

Hola!

Hoy vengo a resolver muchas dudas que generan los archivos robots.txt y el sitemap.xml.

Seguro que más de una vez te has preguntado si lo estabas haciendo todo bien, ya que tienes la sensación de que algo falla en tus técnicas de SEO. Esto puede estar pasándote por una mala configuración de estos archivos robots.txt o incluso del sitemap.xml!

Yo mismo después de revisar el robots.txt del blog he comprobado que funciona mejor la indexación de mis posts.

¿Por qué tengo que saber configurar el robots.txt?

• Centrar el rastreo de los buscadores solo en los contenidos que nos interesan.
• Mejorar el posicionamiento SEO de la página web o blog.
• Evitar contenido duplicado.
• Evitar penalización.

El archivo robots.txt es un archivo de texto que debes tener en la raíz de tu sitio para dar a los motores de búsqueda información sobre como indexar nuestra página web.
Está claro que aunque no hayas tocado nada de este archivo, Google ya se habrá pasado por tu página web y habrá indexado contenido. (Todo esto si has dado de alta tu web en Google Webmaster Tools, ahora «Search Console»)

Pero el problema viene cuando no quieres que Google indexe cierto contenido ¿verdad?
Pues para eso está este archivo robots.txt

¿Y qué puedo hacer con el archivo robots.txt?

• Prohibir la indexación de toda la página web (a no ser que estés loco dudo que sea tu opción.)
• Prohibir la indexación de un directorio (o sub-directorio)
• Prohibir la indexación de una URL (se utiliza frecuentemente para páginas privadas)
• Prohibir la indexación de tipos de archivos (pdf,png,xls,etc..)
• Prohibir el acceso según el robot
• Indicar al robot de Google la url del sitemap (por si se pierde ¡vaya!)
• Y mucho más!

Creando el archivo robots.txt perfecto!

Es algo tan sencillo como abrir un editor de texto y llamar al nuevo archivo robots.txt

Un archivo de robots.txt para WordPress debería de ser algo así:

[su_box title=»Ejemplo de mi archivo robots.txt» box_color=»#0961cf»]

User-agent: *

Disallow: /wp-content/plugins/

Disallow: /wp-includes/

Disallow: /wp-admin/

Disallow: /*? Disallow: /cgi-bin/

Disallow: /wp-content/cache/

Disallow: /tag/

User-agent: Mediapartners-Google*

Allow: /

User-agent: Mediapartners

Allow: /

User-agent: AdsBot-Google

Allow: /

User-agent: Googlebot

Allow: /

User-agent: Googlebot-Mobile

Allow: /

User-agent: Googlebot-Image

Allow: /wp-content/uploads/

Sitemap: https://masqueunaweb.com/sitemap_index.xml

Sitemap: https://masqueunaweb.com/feed/[/su_box]

La verdad, hasta hace cosa de 2 semanas tenía el archivo robots.txt que viene por defecto. Notaba que en Feedly no se veían las imágenes de los posts.

Desde que he puesto todo estos comandos, ya no hay problema!

[bctt tweet=»Yo tampoco tenía ni idea de que eran los Robots.txt y Sitemap.xml de mi página web hasta que leí este post de Alex Sanchez!»]

Pero bueno voy a explicarte que quiere decir cada cosa para que te quede claro que vas a hacer con cada comando.

• User-agent: Con este comando, indicamos a qué tipo de robots van dirigidas las reglas posteriores. Si pones un asterisco, serán efectivas para todos ellos.
• Allow: Con este comando le indicamos que autorizamos a ese bot para que pueda acceder a nuestra página web.
• Disallow: Con esta etiqueta se indica lo que se quiere bloquear y que no sea indexado. Podemos bloquear todo el sitio, un directorio y su contenido, una página web, una imagen, etc., etc. Además se pueden utilizar “comodines” para realizar concordancia mediante patrones. Hay que tener en cuenta que se distingue entre mayúsculas y minúsculas.

Pero no es oro todo lo que reluce, y el archivo robots.txt no iba a ser menos.
La pega que tiene este archivo es que a la hora de bloquear una página para los buscadores, con el robots.txt no transmite la fuerza del SEO (PA) entre las páginas bloqueadas.

Pero para eso existe la etiqueta meta robots!

Vende más con tu web
Guía completa para tiendas online

+125 claves para aumentar tus conversiones

• Guía completa para mejorar tu tienda online
• Checklist con más de 125 puntos clave para optimizar tu ecommerce
• BONUS 1: Listado de herramientas clave para convertir y vender más
• BONUS 2: Mini guía de embudos de ventas que funcionan
• BONUS 3: Comunidad privada para compartir dudas e ideas

Comprar ya

¿Como uso la etiqueta meta robots?

Para activar la etiqueta meta robots para una página o enlace es tan fácil como añadir el código en HTML en la cabecera de tu página web (entre y )

El aspecto del código es este:

<name=”robots” content=”VALORES”>

Y estos serían los diferentes valores que se le podrían aplicar:

• Index / NoIndex: con este valor le indicamos al robot si tu página debe indexar o no esa página.
• Follow / NoFollow: con este otro le indicamos si queremos que los enlaces de tu página deben ser rastreados y pasar fuerza entre enlaces, o no.

Además, se pueden combinar. Aunque la más usada para ayudar al problema que ya he mencionado antes debería de ser NoIndex, Follow ya que evita la indexación pero mantiene la fuerza entre enlaces.

[su_box title=»Tip de Ayuda» box_color=»#0961cf»]Para usar estos comandos en WordPress puedes usar el Plugin SEO by Yoast o alguno similar. En la pestaña de Avanzado podrás encontrar estas opciones.[/su_box]

Como crear tu sitemap.xml

Con esto ya te puedes ir a desayunar tranquilo.
Supongo que usarás el plugin SEO by Yoast, si no es él caso deberías. 😛

Si usas este plugin en cuestión, te será fácilisimo crear tu sitemap con tan solo unos clicks!

Para ello solo tienes que ir hacia el menú del Plugin (SEO) > Sitemaps XML

Una vez allí lo único que tienes que hacer es activar el sitemap marcando la casilla de arriba.

¿Cómo saber que todo funciona correctamente?