Cómo escribir un archivo robots.txt

Un archivo robots.txt indica a los rastreadores qué rutas pueden solicitar. Se trata de una directiva de rastreo, no de un sistema de control de acceso, y no es un método fiable para eliminar una página que ya está indexada.

Estructura básica

User-agent: *
Allow: /
Disallow: /admin
Disallow: /api/
Sitemap: https://aibynow.com/sitemap.xml

• User-agent: * se aplica a todos los rastreadores.
• Allow: / permite el acceso al sitio público.
• Disallow enumera las rutas que no deben ser rastreadas.
• Sitemap apunta al sitemap XML.

Solo se necesita una línea Sitemap. Puede incluirse en un archivo robots.txt ubicado en la raíz del servidor.

Rastrear no es indexar

Si una página ya está indexada, añadir Disallow puede impedir que Google la rastree, pero la URL podría seguir apareciendo en los resultados sin un fragmento actualizado. Para eliminar una página de los resultados de búsqueda, usa una etiqueta meta noindex o la herramienta de eliminación de Search Console. No confíes en robots.txt para esta tarea.

Por otro lado, bloquear CSS, JavaScript o el sitemap puede impedir que Google entienda correctamente la página. Mantén esos recursos accesibles.

Qué deshabilitar

• Rutas privadas de administración, como /admin.
• APIs internas, como /api/.
• Páginas de cuentas y sesiones, como /account.
• Rutas temporales de entornos de pruebas (staging), si son accesibles públicamente.

No uses Disallow solo porque una ruta contenga parámetros de consulta. Usa etiquetas canonical y noindex cuando proceda.

Probar el archivo

1. Accede a https://tu-dominio.com/robots.txt y comprueba que devuelva código 200 y el tipo MIME text/plain.
2. Verifica que una página pública siga permitida.
3. Verifica que una ruta privada esté correctamente deshabilitada.
4. Envía la URL del sitemap en Search Console.
5. Vuelve a comprobarlo tras modificar cualquier regla; los rastreadores almacenan en caché robots.txt.

Generador de robots.txt crea el archivo a partir de tu lista de rutas permitidas y prohibidas y de la URL del sitemap. La salida generada requiere revisión humana antes de subirla.

Errores frecuentes

• Disallow: / por accidente. Esto bloquea todo el sitio.
• Bloquear CSS o JS. Google podría representar la página incorrectamente.
• Suponer que robots.txt oculta una página. No lo hace.
• Usar una URL relativa para el sitemap. Usa siempre la URL HTTPS completa.
• Definir reglas distintas para cada bot sin necesidad. Empieza con *; añade un agente de usuario específico solo cuando sea estrictamente necesario.

Para el control de indexación a nivel de página, la herramienta adecuada es el Generador de etiquetas meta. Para ver la lista de URLs canónicas, consulta el sitemap.

Versión resumida

Permite el contenido público, deshabilita las rutas privadas, apunta al sitemap y recuerda que robots.txt controla el rastreo — no la eliminación de los resultados de búsqueda.