# Webmaster24h — robots.txt
User-agent: *
Allow: /
# /preview/ y /demo/ no se bloquean aquí a propósito: llevan noindex y el buscador
# tiene que poder entrar para verlo y sacarlas del índice.
Disallow: /admin/
Disallow: /empleado/
Disallow: /cliente/
Disallow: /afiliados/
Disallow: /sistema/
Disallow: /api/
Disallow: /db/

# ── Buscadores y asistentes de IA permitidos ────────────────────────────────
# Pueden leer y citar el sitio público (precios, servicios, guías). Las vistas
# previas privadas de clientes (/preview/, /demo/) y el panel quedan fuera.
# La minería de textos y datos para otros fines está reservada (ver /aviso-legal).
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: anthropic-ai
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Amazonbot
User-agent: cohere-ai
User-agent: YouBot
User-agent: CCBot
Allow: /
Disallow: /admin/
Disallow: /empleado/
Disallow: /cliente/
Disallow: /afiliados/
Disallow: /sistema/
Disallow: /api/
Disallow: /db/
Disallow: /preview/
Disallow: /demo/

# ── Copiadores de sitios completos: no ─────────────────────────────────────
User-agent: HTTrack
User-agent: WebCopier
User-agent: WebZIP
User-agent: Offline Explorer
User-agent: SiteSnagger
User-agent: Teleport
User-agent: TeleportPro
User-agent: WebStripper
User-agent: WebReaper
User-agent: Wget
User-agent: larbin
User-agent: MJ12bot
User-agent: SemrushBot-BA
User-agent: DataForSeoBot
User-agent: PetalBot
User-agent: Bytespider
Disallow: /

Sitemap: https://webmaster24h.com/sitemap-index.xml
Sitemap: https://webmaster24h.com/sitemap.xml
# /p/sitemap-seo.xml eliminado (auditoría en vivo 2026-09-03): era un fichero
# ESTÁTICO con exactamente las mismas 244 URLs /p/{lang}/*.html que ya publica
# /sitemap.xml (comprobado: intersección 244/244, diferencia 0 en ambos sentidos),
# pero SIN <lastmod> y SIN hreflang. Además vive dentro de p/, que api/_deploy.php
# trata como PROTEGIDO ($PROTEGIDOS) y por tanto NUNCA se actualiza: el día que
# se añada o quite una landing, este fichero queda mintiendo para siempre.
# El sitemap vivo y auto-generado de esas URLs es /sitemap.xml (api/sitemap.php).
Sitemap: https://webmaster24h.com/sitemap-pseo.xml
Sitemap: https://webmaster24h.com/sitemap-vs.xml
Sitemap: https://webmaster24h.com/sitemap-blog.xml
# /blog/sitemap-blog.xml eliminado: era un fichero estático obsoleto con 87 URLs
# en el formato antiguo /blog/<slug> (hoy 404). El sitemap vivo es /sitemap-blog.xml.
Sitemap: https://webmaster24h.com/sitemap-planes.xml
# Previews (propuestas comerciales para un prospecto concreto). Van con noindex y
# en sitemap aparte para que la cobertura del sitemap principal sea legible en
# Search Console. Se mantiene listado a propósito: así el buscador vuelve a pasar
# por ellas y procesa el noindex. Se puede retirar cuando estén desindexadas.
Sitemap: https://webmaster24h.com/sitemap-ciudades.xml
Sitemap: https://webmaster24h.com/sitemap-paginas.xml