Tu estrategia SEO siempre debería empezar en el archivo robots.txt. Lo que no deberías es cometer errores ni luego olvidarlo por tratarse de algo básico, porque no solo es básico, es fundamental y afecta directamente a tus resutados.
La proliferación de robots que rastrean sitios que causan beneficio a sus creadores a costa de consumir tus recursos sin aportarte beneficio alguno, directo ni indirecto, es algo a tener muy en cuenta. Que un robot frene la velocidad de tu sitio o incrementar tu factura de alojamiento cloud no es algo a ignorar,
Cada sitio tiene sus peculiaridades y no hay una solución mágica para todos… o no la había, faltaba crearla ;). Los aspectos que determinan la decisión del tratamiento a darle a los diferentes robots suelen ser realmente pocos y el resto ya se basa en experiencia que hemos podido automatizar e incorporar en un plugin que hará la magia para ti.
El plugin verificará si tienes preparado WordPress para aparecer en los buscadores, tratará de descubrir si incoporas elementos de redes publicitarias; indícale si haces intercambio o venta de enlaces, publicaciones de invitado o similares para mantenerte visible en ese mercado y así podrá completar el criterio a seguir. Aplicando el resto de opciones detectadas o por defecto será suficiente para tomar las decisiones óptimas y crear el contenido de tu robots.txt. Así de simple.
Descarga
Descarga la más actualizada versión de desarrollo con las últimas novedades ya incorporadas o la versión estable desde wordpress.org.