Di a Google que existes: envíale tu sitemap y tu robots.txt

Si te dedicas a tu propio proyecto o tienes una empresa, sabrás lo difícil que es destacar en un mundo tan competitivo como el digital. Todo se resume en que cuando alguien teclee una palabra clave que active tu negocio, aparezcas entre los resultados de búsqueda que ofrece el buscador. Esto es SEO. Y para comenzar a trabajarlo, debes conocer dos archivos fundamentales: sitemap y robots.txt.

No hace falta que tengas conocimientos técnicos, ni que sepas SEO avanzado, tan solo que entiendas la importancia que tienen estos archivos para tu posicionamiento orgánico y comiences a darles la importancia que se merecen.

Entendiendo a Google

Más allá de las definiciones técnicas, el SEO consiste, fundamentalmente, en ejecutar una serie de técnicas para aumentar las visitas y la visibilidad de tu marca.

Es una tarea difícil y que requiere un trabajo constante. Pero para comenzar a trabajarlo, quizás debes saber primero cómo trabaja Google. Y menciono a Google porque en España es el motor de búsqueda por excelencia, pero lo que vas a leer en este post es aplicable también a Yahoo! y a Bing.

El principal objetivo de cualquier motor de búsqueda es ofrecernos los resultados más próximos a nuestras peticiones de búsqueda. Y esto lo hacen a través de tres fases: rastreo, indexación y «rankeo».

1. En la primera fase, los motores de búsqueda rastrean la web (es lo que se conoce como «crawleo») enviando programas para encontrar las páginas webs existentes y analizarlas. Estos programas son los llamados Googlebot en Google.
2. En la segunda fase, los motores de búsqueda indexan, es decir, incorporan nuestras webs o contenidos a su índice de resultados. Grosso modo, lo que debes tener claro es que, si tu web está indexada, estará en el índice de los motores de búsqueda para ofrecérsela después a los usuarios cuando hagan una búsqueda.
3. En la tercera fase, los motores de búsqueda asignan un ranking a nuestra web en función de determinados criterios. 

Hay muchísimos factores que determinan el posicionamiento orgánico de una página y, quizá, no puedas atender a todos ellos, pero sí al menos a dos muy importantes para la primera y segunda fase que hemos descrito y son el sitemap y robots.txt.

¿Qué es el sitemap y para qué sirve?

Un sitemap es un archivo XML que contiene una lista con todas las URL o páginas de nuestra web que queremos que indexen los motores de búsqueda.

Con un sitemap le estás comunicando a Google lo siguiente:

• Las actualizaciones que se han hecho en tu web: cada vez que actualizas tu blog con entradas nuevas, cada vez que subes nuevas categorías a tu tienda online, etc.
• Las páginas que quieres que los motores de búsqueda indexen y el valor de cada una de ellas con respecto a las demás. Es decir, valorar qué páginas dentro de tu web tienen más prioridad dentro del conjunto.
• Con qué frecuencia se actualiza tu web. Diariamente, semanalmente, mensualmente, etc.

Este archivo debe contemplar una estructura y un formato determinado. Te dejo el enlace de Google al respecto, por si quieres investigar un poco más sobre el tema. Pero como se trata de abreviar, aquí tienes un listado con las principales dudas que pueden surgirte:

• ¿Es obligatorio? No, tener un sitemap NO es obligatorio, pero sí muy recomendable para el SEO de tu marca.
• ¿Cómo lo creo? Con plugins o con herramientas que lo generan automáticamente.
  • Si optas por plugins, Yoast SEO o Google XML Sitemaps son los más comunes si tu web está en WordPress.
  • Si optas por herramientas, anota XML Sitemaps Generator
• ¿Dónde se coloca este archivo? En la carpeta raíz de tu servidor. Para ello, accede a tu CPanel o backend, busca una carpeta llamada “public html” y sube ahí el archivo. Debe aparecer como sitemap.xml
• ¿Cómo se lo envío a Google? A través de Google Search Console, ve al apartado Sitemap y envíaselo. Basta con que añadas a tu web la extensión sitemap.xml.

 

¿Qué es el fichero robots.txt?

El fichero robots.txt es un archivo de texto que mejora el rastreo de tu web de cara a los motores de búsqueda.

Con él estás indicando qué páginas de tu web deseas que no se visiten.  Normalmente, se utiliza para los siguientes casos:

• Indicar las partes de tu web que no quieres que se indexen, por ejemplo, aquellas que no aportan valor o son irrelevantes, como pueden ser las páginas de prueba o las páginas legales.
• Bloquear partes de tu web que generan contenido duplicado, por ejemplo, las categorías de tu sitio web.
• Evitar el acceso a directorios de tu web, por ejemplo, a archivos de descarga PDF.

Si quieres saber más sobre el tema, te dejo lo que dice Google, pero en este listado te resumo lo principal:

• ¿Es obligatorio? El archivo robots.txt tampoco es obligatorio, pero, igualmente, muy recomendable. Le estás diciendo a Google cómo rastrear tu web, es decir, le ayudas a que entienda mejor tu página.
• ¿Pueden ignorar los motores de búsqueda este archivo? Sí, estas instrucciones son sugerencias, no órdenes. Google o cualquier otro motor de búsqueda pueden “pasar” de ellas, aunque normalmente siguen las instrucciones que especificamos.
• ¿Cómo creo el archivo robots.txt? Puedes hacerlo manualmente o con herramientas. 
  • Si lo haces manualmente, asegúrate de cumplir con las directrices y sintaxis de Google.
  • Si lo haces con herramientas, anota: Generador de robots.txt
• ¿Dónde se pone en tu servidor? Siempre tiene que estar en la raíz del dominio. De hecho, si añades /robots.txt a tu dominio, aparecerá. 
• ¿Cómo compruebo que está correcto? Google Search Console te ofrece una herramienta de validación para comprobar que no contiene errores.

SEO para WordPress: La guía definitiva para ser el número uno en Google

Ahora que ya sabes para qué sirven estos archivos, verifica que los tienes subidos a tu web.

Por sí solos constituyen factores de posicionamiento, pero si además los envías a Google, contribuirás notablemente a mejorarlo.

Podrás consultar múltiples cosas: errores de rastreo, qué páginas de tu web están indexadas, si la URL está en Google, la usabilidad móvil, cuáles son las URL más lentas, cuáles más rápidas, etc.