Hazte amigo del archivo Robots.txt

01 Mar Hazte amigo del archivo Robots.txt

En este primer post os voy a hablar del archivo Robots.txt y de todo lo que puede hacer por ti en tu camino a conseguir un buen SEO. Qué es, para qué usarlo y sobretodo, cómo usarlo de forma correcta. ¿Empezamos?

Estoy segura de que a muchos de vosotros, en algún punto de este magnífico camino del Diseño Web, SEO…Marketing Online, algún listo de repente os nombró al famoso archivo Robots.txt y tu pensaste que te habías equivocado de carrera.

Yo, que soy de asustarme fácilmente como todo lo que tiene que ver con lenguaje informático, me puse a temblar. Y, estaréis conmigo en que, siempre hay alguien que te dice: “¡Cuidado! Que si tocas algo que no debes, o pones una coma donde no debes, SE ROMPE TODO!”. Os prometo que mis primeras semanas ayudando a diseñar webs me las pasaba rezando para no estropear nada…

De todas formas, aunque esta pequeña entradilla no ha sido muy alentadora, ¡tranquil@s!

El archivo Robots.txt es muy sencillito, intuitivo y si seguís los consejos que os voy a contar en este post, ¡enseguida le vais a coger cariño! y se convertirá en vuestra herramienta favorita para comunicaros con los GoogleBots.

1️⃣ En primer lugar, ¿qué es el archivo robots.txt?

La respuesta a esta pregunta es muy fácil: el robots.txt es un archivo de nuestra web en el que debemos indicar a Google (o a cualquier otro buscador) qué páginas queremos que indexe y cuáles no.

Como sabréis, el trabajo de los buscadores, cuando entran un sitio web, es rastrear toda la información posible de cada página web e indexarla para crear sus listados de resultados. No obstante, no siempre queremos que todas las secciones o páginas de nuestro sitio web sean indexadas; y ahí es cuando necesitamos que el archivo robots.txt nos ayude.

2️⃣ ¿Para qué podemos usarlo?

El archivo robots.txt nos va a permitir dar una serie de indicaciones a los buscadores para que no rastreen ni indexen ciertas partes de nuestro sitio web que no son importantes o que no van a ayudarnos en SEO (Muy ¡IMPORTANTE!, hablaremos de ello más adelante).

Para las que todavía os preguntéis cómo se generan los resultados en las búsquedas, os pongo al día: todos los buscadores de internet tienen unas arañas o robots de rastreo que navegan por internet buscando cada día nuevos sitios web y recogiendo información.

Lo primero que hacen cuando llegan a nuestro sitio web es visitar nuestro archivo robots.txt y, en función de lo que nosotros hayamos dejado indicado allí, las arañas rastrearán toda nuestra web, sólo algunas páginas o directamente se irán.

La función principal del archivo robots.txt es mantener escondidas de las arañas algunas secciones de tu página web, o tu sitio web al completo (si por ejemplo, acabas de darlo de alta y aún no lo tienes configurado ni con información de valor)

3️⃣ ¿Cuáles son las principales instrucciones que podemos dar a través del archivo Robots.txt?

1. Decirle a Google que no indexe alguna zona de tu web que no quieres que aparezca en los listados de resultados. Por ejemplo: la página de Empresa donde solo hablas de quieres eres y no has trabajado en SEO (y sabes que ningún usuario va a buscar)
2. Evitar que los buscadores indexen tu web si aún la estás creando hasta que la tengas terminada.
3. Impedir que Google indexe contenido duplicado como las páginas de Ley de Protección de Datos o Política de Cookies que pueden tener ciertos párrafos similares a otras webs.
4. Ocultar en las búsquedas un área privada o un área de clientes que sólo está disponible a clientes.
5. Indicarle a Google cuál es tu mapa del sitio o Sitemap para que pueda acceder más rápidamente a las páginas importantes de tu web y tenga un listado de url claro y especificado por ti.

Como veis, la idea principal es que seamos nosotros los que dirijamos ese viaje que realizan las arañas por nuestro sitio web, y como os podréis imaginar, ¡no hay mejor anfitrión que uno mismo!

A Google no le gusta perder el tiempo, así que premiará que creéis un Robots.txt completo con la información relevante y que no le hagáis revisar páginas que no son importantes.

No olvides que el archivo Robots.txt es público.

 

Si os soy sincera esta idea no se me había pasado por la cabeza hasta que leí el artículo de Javi Balcazar sobre Robots.txt (que si queréis ampliar información de un verdadero profesional, debéis leerlo).

Con esto quiere decir que cualquiera puede verlo. No os alarméis. Esto no tiene porque ser malo, pero sí es algo a tener en cuenta. Cualquier que ponga tudominio.com/robots.txt puede ver nuestro archivo Robots.txt y descubrir cómo lo tenemos configurado, qué páginas hemos querido bloquear…

4️⃣ ¿Cuáles son los comandos principales que se usan en el archivo Robots.txt y para qué usarlos?

✔User-agent.

Indica el buscador al que queremos afectar con indicaciones. Lo normal es darle las mismas indicaciones a todos:

⭕ User-agent: * → Para todos los robots.

⭕ User-agent: Googlebot → Para google robot.

⭕ User-agent: Bingbot → Para bing robot.

✔Disallow

Nos permite prohibir el acceso a ciertas páginas o directorios de nuestro sitio. ¿En qué casos debemos usarlo?

• • • • Si por ejemplo, nuestra web está aún en construcción y no queremos que los buscadores nos indexen hasta acabarla, deberemos usar el comando de esta manera:

⭕Disallow: /

• • • • Si lo que queremos es no indexar una página específica de nuestro sitio web, el comando lo usaremos así, incluyendo el final de la url

⭕Disallow: /pagina-ejemplo

• • • • Si queremos no indexar un directorio incluiremos este comando, cerrándolo entre barras:

⭕Disallow: /area-privada/

• • • • Si queremos no indexar las páginas que en su url contengan, por ejemplo la palabra categoría o tag, lo usaremos de la siguiente forma acabando con un asterico.

⭕Disallow: /category* o Disallow:/tag*

• • • • Y si, lo que queremos es evitar que algún tipo de archivo aparezca en buscadores (porque los tenéis destinados a clientes o a la zona privada), sólo tendréis que indicar en el Robots.txt que los archivos que finalicen con esa extensión no deben ser indexados. En este caso usaríamos el comando empezando con un asterisco y acabándolo con el símbolo del dollar:

 ⭕ Disallow: /*.pdf$  o Disallow:/*.docx$

✔Allow:

Como os podréis imaginar, este comando es el contrario a Disallow. Lo usaremos para dar acceso a alguna página que en algún momento anterior hubiéramos denegado con el comando Disallow.

Os pongo un ejemplo: denegamos el acceso a una página de nuestra web que hemos estado actualizando —> Disallow:/pagina-a-actualizar. Una semana después, la tenemos lista por fin, y queremos avisar a los robots que ya pueden indexarla así que —>

⭕Allow:/pagina-a-actualizar.

✔Sitemap:

Nuestro mapa del sitio. Sirve para indicarle a los buscadores de la forma más sencilla y rápida cómo está estructurada nuestra web. Con ello facilitamos la labor del rastreo y permitimos que las arañas realicen su trabajo de una forma más rápida y efectiva; recordad: ¡A Google no le gusta perder el tiempo!

⭕ Sitemap: https://www.tudominio.com/sitemap_index.xml

5️⃣ ¿Dónde se crea el archivo Robots.txt en WordPress?

Disculpadme que sea tan específica de centrarme sólo en el CMS de WordPress, pero al final la mayoría manda y…yo soy Pro-WordPress! 🙂

Tranquilos, generar un robots.txt es una tarea muy, muy, pero que MUY sencilla, ya que se trata de un simple archivo de texto, como os habréis dado cuenta por el .txt 😉 y en WordPress, además, se te genera de forma automática con diversos plugins.

Yo os recomiendo (por este tema y por otros miles) el Plugin 🔝 SEO YOAST 🔝 como ayuda vital para mejorar y optimizar el SEO de tu página.

Es gratuito y te genera un archivo Robots.txt de forma automática que puedes modificar directamente desde el propio plugin sin tener que andar subiendo el archivo en el hosting (que sería otra forma de hacerlo – crear un archivo en el Bloc de Notas con la extensión txt con tu Robots.txt y subirlo a tu web desde tu hosting contratado)

Una vez instalado el plugin, en el menú izquierdo de tu WordPress, ve al apartado Seo Yoast y elige Herramientas, y después:  Editor de archivos.

Aquí os aparecerán dos pequeños módulos: el editor de Robotx.txt y el Htaccess.

Si hasta ahora no habíais creado ningún archivo Robots.txt, veréis un botón con la frase mágica: “Crea un archivo Robots.txt”, para que luego digáis que los programadores lo tienen complicado! Y sencillamente se os creará un archivo básico válido para vuestra web.

A partir de ahí, ya tenéis que ser vosotros los que podéis modificarlo y optimizarlo teniendo en cuenta los consejos y los comandos que hemos visto durante este post.

Como último detalle, como os comenté al comienzo de este artículo, el archivo Robots.txt es un GRAN aliado en la lucha para trabajar correctamente el SEO de nuestra, y debéis aprender a trabajar con él para controlar qué tipo de contenido queréis que esté disponible en los buscadores.

Tened en cuenta que las webs (aunque cada vez menos) tienen muchísima información, y gran parte de ella no es información de interés al usuario, porque no es posible trabajarle el SEO, buscar una palabra clave para posicionarla, etc.

Ejemplos como las páginas de Política de Privacidad y Cookies, que ya habíamos dicho, y la típica página de Nuestros Miembros que tienen las páginas de empresa grandes, que están muy bien para completar tu web y permitir que si alguien, mientras navega tiene interés en conoceros y poneros cara, la visitará, pero reconozcámoslo; ¿quién va a buscarla en Google?

Y por supuesto, la gran razón, a Google le gusta y le ayuda…y a día de hoy,

¿Quién quiere llevar la contraria a Google? 

Espero que este artículo os haya servido y si tenéis algún consejo o alguna idea extra que no haya comentado, por favor dejádmela en comentarios!

¡Hasta la próxima!  👋