Configurar el archivo robots.txt y el acceso de los rastreadores de IA

Qué cubre esta ayuda online:
Esta ayuda online explica cómo configurar el acceso de los rastreadores para motores de búsqueda y asistentes de IA en tu PWA. Descubre los 4 ajustes preestablecidos disponibles en tu back-office, la comparación entre el SEO tradicional y los rastreadores de IA, el procedimiento de configuración paso a paso y la lista completa de rastreadores compatibles.
Antes de empezar :

• Asegúrate de que tu PWA se haya publicado al menos una vez en Publicación > PWA > Publicar .
• Comprueba en Publicación > PWA > Referencia :: Parámetros generales que la opción Autoriza la indexación de los navegadores está activada.

Resultado esperado :
Tu archivo robots.txt se genera automáticamente con directivas de indexación adaptadas a tus objetivos de visibilidad y preferencias de protección de contenido para modelos de IA.

GoodBarber te permite controlar con precisión cómo acceden los motores de búsqueda y los asistentes de IA a tu Progressive Web App (PWA). El sistema clasifica las solicitudes de los rastreadores en 4 categorías distintas :

• Motores de búsqueda : Google, Bing y otros motores de búsqueda que incluyen tu sitio web en sus resultados.
• Respuestas de IA : ChatGPT, Claude o Perplexity cuando citan tu sitio en sus respuestas.
• entrenamiento de IA : Rastreadores que recopilan tu contenido para entrenar modelos de IA.
• Acceso bajo demanda : Cuando un usuario le pide a un asistente de IA que abra y lea una página específica de su sitio web.

Para simplificar la configuración, hay 4 ajustes preestablecidos disponibles en modo Guiado :

 

Ajuste preestablecido	Motores de búsqueda tradicionales (Google, Bing)	Respuestas de IA (ChatGPT, Claude, Perplexity etc.)	Entrenamiento de IA	Objetivo recomendado
Máxima visibilidad	✅ Permitido	✅ Permitido	✅ Permitido	Maximizar el alcance en todos los motores de búsqueda web y plataformas de IA.
Sin entrenamiento de IA	✅ Permitido	✅ Permitido	🚫 Bloqueado	Ser citado por asistentes de IA y recibir tráfico sin donar tus datos de entrenamiento.
SEO tradicional únicamente	✅ Permitido	🚫 Bloqueado	🚫 Bloqueado	Mantener el SEO tradicional en Google/Bing solicitando a los rastreadores de IA que no accedan a tu sitio.
Privacidad estricta	🚫 Bloqueado	🚫 Bloqueado	🚫 Bloqueado	Solicitar a los rastreadores que no indexen ni exploren el sitio (aplicaciones internas o entornos de prueba).

¿Cuál es la diferencia entre "Máxima visibilidad" y "Sin entrenamiento de IA"?
- Citas de IA en tiempo real (Respuestas de IA): Un asistente de IA (como ChatGPT) consulta tu PWA en directo para responder a un usuario, citando tu sitio y enviando tráfico a tu app.
- Entrenamiento de modelos de IA (Entrenamiento de IA): Los rastreadores recopilan tu contenido para entrenar futuros modelos de IA, sin generar visitas directas a tu sitio.
¿Cuál elegir?

• Elige Máxima visibilidad para una exposición completa en todos los motores de búsqueda y plataformas de IA.
• Elige Sin entrenamiento de IA para beneficiarte del tráfico de los asistentes de IA prohibiendo al mismo tiempo que utilicen tu contenido para entrenar sus modelos.

¿Cuál es la diferencia entre "SEO tradicional" y "Asistentes de IA"?
- SEO tradicional (Google, Bing): Los usuarios buscan mediante palabras clave. El ajuste SEO tradicional únicamente mantiene tu posicionamiento e indexación en Google 100 % activos y sin cambios.
- Asistentes de IA (ChatGPT, Claude, etc.): Los usuarios hacen preguntas a IA conversacionales. El ajuste SEO tradicional únicamente bloquea estos asistentes de IA para que no puedan leer ni citar tu app.

Si tu proyecto requiere reglas de exploración personalizadas o directivas específicas, puedes cambiar el editor al modo Manual :

1. Cambia el conmutador de la parte superior derecha a Manual.
2. Edita directamente el contenido sin formato del archivo robots.txt en el campo de texto.
3. Haz clic en Guardar.

Advertencia : El modo Manual está destinado a usuarios avanzados, desarrolladores y expertos en SEO familiarizados con la sintaxis de robots.txt. En modo Manual, la gestión automática de ajustes preestablecidos de GoodBarber se desactiva. Un error de sintaxis o una directiva incorrecta puede perjudicar gravemente la indexación de tu app o hacer que tu sitio sea invisible para los motores de búsqueda. En caso de duda, vuelve al modo Guiado, que garantiza una configuración segura y óptima.

A continuación se muestra la lista detallada de User-Agents identificados y gestionados por los ajustes preestablecidos de GoodBarber, categorizados por proveedor :

• Google : Googlebot, Google-Extended
• Microsoft : Bingbot
• DuckDuckGo : DuckDuckBot
• Yandex : YandexBot
• Apple : Applebot, Applebot-Extended
• OpenAI : GPTBot, OAI-SearchBot, ChatGPT-User
• Anthropic : ClaudeBot, Claude-SearchBot, Claude-User
• Perplexity : PerplexityBot, Perplexity-User
• Common Crawl : CCBot
• ByteDance : Bytespider
• Meta : Meta-ExternalAgent
• Amazon : Amazonbot
• Cohere : cohere-ai
• Diffbot : Diffbot
• Mistral : MistralAI-User