GEO

robots.txt para bots de IA: cuáles permitir y cuáles bloquear (2026)

Por , Head of Growth · Publicado el · Actualizado el

Si tu negocio B2B quiere aparecer en ChatGPT, Claude, Perplexity y Gemini, permite los bots de búsqueda (OAI-SearchBot, Claude-SearchBot, PerplexityBot) y los de fetch del usuario. Decide aparte si aceptas entrenamiento (GPTBot, ClaudeBot, Google-Extended). Bloquear todo por defecto te saca de las respuestas citadas.

Esta guía es la parte técnica del trabajo de GEO que casi nadie revisa. Puedes tener el mejor contenido answer-first y no aparecer en ninguna respuesta porque una regla de robots.txt o un firewall deja afuera al bot equivocado. Si necesitas el marco general, empieza por qué es GEO. Si ya tienes llms.txt y schema, esta pieza complementa la guía de llms.txt y schema para GEO.

¿Qué bots de IA existen y para qué sirve cada uno?

Los bots de IA se dividen en tres familias: los de entrenamiento (recogen contenido para entrenar modelos), los de búsqueda (indexan para mostrar y citar tu página en respuestas) y los de fetch del usuario (visitan una URL porque alguien lo pidió en el chat). Cada familia tiene un user-agent distinto y se controla por separado.

Esta tabla resume lo que documenta cada proveedor en sus páginas oficiales: OpenAI, Anthropic, Perplexity y Google.

Proveedor Entrenamiento Búsqueda y citas Fetch del usuario
OpenAI GPTBot OAI-SearchBot ChatGPT-User (puede no aplicar robots.txt)
Anthropic ClaudeBot Claude-SearchBot Claude-User
Perplexity Ninguno (su doc dice que PerplexityBot no se usa para entrenar modelos base) PerplexityBot Perplexity-User (en general ignora robots.txt)
Google Google-Extended (token de control, sin user-agent propio) Googlebot (Search, AI Overviews) No aplica

El punto que más confunde: en OpenAI y Anthropic, bloquear el bot de entrenamiento no te saca de la búsqueda. OpenAI lo dice explícito: cada ajuste es independiente, y puedes permitir OAI-SearchBot para salir en resultados de ChatGPT mientras bloqueas GPTBot para que tu contenido no se use en entrenamiento.

¿Qué bots debería permitir una empresa B2B que quiere ser citada?

Como mínimo, permite OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot y Googlebot. Son los que deciden si tu página entra al pool de fuentes que ChatGPT, Claude, Perplexity y Google usan para responder y citar. Sin ellos, tu contenido no existe para esas superficies.

OpenAI documenta que los sitios que bloquean OAI-SearchBot no se muestran en las respuestas de búsqueda de ChatGPT, aunque pueden seguir apareciendo como enlaces de navegación. Anthropic advierte que desactivar Claude-SearchBot o Claude-User puede reducir tu visibilidad en las búsquedas que hacen sus usuarios. Perplexity recomienda permitir PerplexityBot y publicar acceso a sus rangos de IP en el firewall.

Para una marca B2B que vive de ser encontrada, mi regla es simple: todo bot que alimenta una respuesta con cita es un canal de adquisición, no una amenaza. Lo trato igual que trataría a Googlebot en 2015.

¿Debo bloquear los bots de entrenamiento como GPTBot o ClaudeBot?

Depende de tu modelo de negocio. Si vendes contenido (medios, cursos, investigación paga), bloquear entrenamiento protege tu activo. Si eres B2B y tu contenido existe para generar demanda, permitirlo suele convenir: el modelo aprende tu categoría con tu vocabulario y tu marca aparece en respuestas sin búsqueda web.

Hay un matiz con Google. Según la documentación de crawlers comunes de Google, Google-Extended controla el uso de tu contenido para entrenar futuras generaciones de Gemini y también para grounding en Gemini Apps y en Vertex AI. Google-Extended no afecta tu inclusión en Google Search ni es señal de ranking. O sea: si lo bloqueas, sigues en Search y en AI Overviews, pero puedes perder presencia citada dentro de Gemini.

Mi recomendación para B2B que quiere demanda: permitir entrenamiento salvo que tengas un contenido con valor de venta directo. Si tienes ese contenido (por ejemplo un informe pago), protégelo por ruta, no bloqueando todo el dominio.

¿Qué cambia con la señal __usage_ai-training?

Es un token compartido en robots.txt para decir "sí" o "no" al entrenamiento con IA en un solo paso, para todos los proveedores que lo adopten. Nace de un borrador del grupo AIPREF de la IETF. Google anunció el 30 de octubre de 2026 que planea soportarlo en 2027 y Anthropic dice que ya empezó a reconocerlo.

El borrador de la IETF define el token __usage_ai-training. Se escribe como un grupo normal de robots.txt:

User-Agent: __usage_ai-training
Disallow: /
Allow: /recursos-publicos/

Tres detalles que importan, todos del propio documento:

  1. No es una regla de rastreo. Expresa una preferencia de uso del contenido. Para limitar el crawl sigues usando los grupos de cada bot.
  2. El comodín no cuenta. Un User-Agent: * no se interpreta como preferencia de entrenamiento. Si no escribes el token, no expresaste nada.
  3. Lo específico gana. Si nombras a un bot concreto, esa regla tiene prioridad sobre la señal general.

El anuncio de Google Search Central agrega que si usas el token para excluir entrenamiento y no mencionas Google-Extended, Google lo interpretará como si hubieras bloqueado Google-Extended. Los controles por empresa siguen funcionando. Anthropic, en su help center, confirma que si tu robots.txt nombra a ClaudeBot sigue esa regla aunque la señal general diga otra cosa.

Mi lectura: esto simplifica la decisión de entrenamiento, pero no toca la de búsqueda. El error que veo venir es que alguien agregue Disallow: / bajo el token creyendo que "se protege de la IA" y, en el mismo cambio, bloquee también OAI-SearchBot o PerplexityBot. Son decisiones distintas y conviene escribirlas en grupos distintos.

¿Cómo se ve un robots.txt recomendado para B2B en 2026?

Un robots.txt B2B orientado a citas tiene un grupo general abierto, grupos explícitos para los bots de búsqueda y fetch de cada proveedor, una decisión explícita sobre entrenamiento y la línea del sitemap. Escribir cada bot por nombre evita depender del comodín y deja la intención documentada.

Esta es la plantilla que uso como punto de partida. Este mismo sitio publica una versión equivalente en /robots.txt.

User-agent: *
Allow: /

# Búsqueda y citas
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

# Fetch iniciado por el usuario
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /

# Entrenamiento (cambia a Disallow si tu contenido se vende)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Allow: /

Sitemap: https://tudominio.com/sitemap.xml

Dos reglas técnicas del estándar RFC 9309 que conviene recordar: robots.txt no es una forma de autorización de acceso (no protege nada privado), y los crawlers deben leer al menos los primeros 500 KiB del archivo. Si lo que quieres es ocultar una página, usa autenticación o noindex, no robots.txt.

¿Cómo auditar en 10 minutos si los bots de IA pueden leer tu sitio?

Revisa cuatro capas en orden: el archivo robots.txt, el firewall o CDN, el HTML que recibe el bot y los logs del servidor. Con frecuencia el bloqueo no está en robots.txt sino en el WAF, que desafía o bloquea bots legítimos sin que nadie del equipo de marketing lo sepa.

Checklist de auditoría que uso:

  1. Lee tu robots.txt en producción (no el del repositorio) y busca Disallow: / bajo cualquier bot de búsqueda.
  2. Busca el comodín agresivo. Un User-agent: * con Disallow: / deja afuera a todos los bots que no nombraste.
  3. Revisa el WAF o CDN. Modos anti-bot pueden desafiar a OAI-SearchBot o PerplexityBot. Perplexity documenta que el Bot Fight Mode de Cloudflare no se puede saltar con una regla de excepción.
  4. Permite por IP oficial, no solo por user-agent. OpenAI, Anthropic y Perplexity publican sus rangos; el user-agent se puede falsificar.
  5. Prueba el HTML que recibe el bot. Un curl con el user-agent de OAI-SearchBot debe devolver 200 y el texto del artículo, no una cáscara de JavaScript.
  6. Mira los logs. Si en 30 días no ves visitas de OAI-SearchBot, Claude-SearchBot o PerplexityBot, algo los está frenando o no te han descubierto.
  7. Documenta la decisión de entrenamiento en un comentario dentro del archivo, para que nadie la cambie por accidente.
  8. Espera el ciclo de actualización. OpenAI y Perplexity indican que los cambios de robots.txt pueden tardar unas 24 horas en reflejarse.

Después de la auditoría técnica, el siguiente paso es medir si de verdad te citan. El método está en cómo medir si ChatGPT, Perplexity y Gemini citan tu marca.

Preguntas frecuentes

¿Bloquear GPTBot me saca de ChatGPT?

No de la búsqueda. OpenAI documenta que GPTBot y OAI-SearchBot son independientes: bloquear GPTBot solo indica que no quieres que tu contenido se use para entrenar. Para aparecer en las respuestas de búsqueda de ChatGPT, lo que debes permitir es OAI-SearchBot.

¿Bloquear Google-Extended me saca de AI Overviews?

No. Google indica que Google-Extended no afecta la inclusión en Google Search ni es señal de ranking. AI Overviews depende del índice de Googlebot. Lo que sí controla Google-Extended es el entrenamiento de Gemini y el grounding en Gemini Apps y Vertex AI.

¿Qué es __usage_ai-training y debo usarlo ya?

Es un token compartido de robots.txt, propuesto en un borrador de la IETF, para expresar tu preferencia sobre entrenamiento con IA ante varios proveedores a la vez. Google planea soportarlo en 2027 y Anthropic ya empezó a reconocerlo. Puedes agregarlo hoy, pero no reemplaza las reglas por bot.

¿Perplexity-User y ChatGPT-User respetan robots.txt?

No siempre. Perplexity dice que Perplexity-User en general ignora robots.txt porque el fetch lo pidió un usuario, y OpenAI dice que las reglas pueden no aplicar a ChatGPT-User. Anthropic, en cambio, sí permite controlar Claude-User desde robots.txt.

¿robots.txt sirve para proteger contenido privado?

No. El estándar RFC 9309 aclara que sus reglas no son una forma de autorización de acceso. Cualquier página privada debe ir detrás de login o autenticación. Robots.txt solo expresa preferencias a bots que deciden respetarlas.

¿Cada cuánto debo revisar mi robots.txt para IA?

Revísalo cada trimestre y cada vez que un proveedor anuncie un bot nuevo. Los proveedores ya separaron sus bots por función y en 2026 apareció el token de entrenamiento compartido. Un archivo de hace un año puede estar dejando afuera a un bot que hoy decide citas.

Si ya inviertes en pauta y quieres revisar tu embudo conmigo, escríbeme por LinkedIn y agendamos una llamada de diagnóstico.