Leer, citar, entrenar: tú decides qué hacen las IA con tu contenido

Si has publicado tu PWA, ahora mismo está sirviendo un robots.txt: el primer archivo que lee un rastreador, y el que decide lo que viene después — qué partes de tu sitio se exploran, y quién puede hacerlo. El tuyo le dice que sí a todo el mundo.

Todo lo que sigue afecta a esa versión web de tu aplicación. Nadie rastrea tus apps de iOS y Android, y la pestaña solo aparece cuando tu PWA se ha publicado al menos una vez: antes no hay ningún archivo que configurar.

Era una respuesta defendible. Simplemente no era la tuya — y el público al que responde ha cambiado. Hace unos años, un rastreador sobre tu contenido era Google, Bing o un aspirador que te daba igual. Hoy una parte creciente de ese tráfico pertenece a empresas de IA, y no todas quieren lo mismo de tus páginas. Tratarlas en bloque es elegir entre todas o ninguna.

La nueva pestaña las reparte en cuatro familias: Search engines (Google, Bing y los demás buscadores que muestran tu sitio en sus resultados), AI answers (ChatGPT, Claude o Perplexity cuando citan tu sitio en sus respuestas), AI training (los robots que recopilan tu contenido para entrenar sus modelos) y On-demand reading (cuando alguien le pide a una IA que abra y lea una página concreta de tu sitio). Cuatro familias, porque son cuatro tratos distintos.

En la práctica: OpenAI envía GPTBot a recopilar datos de entrenamiento y OAI-SearchBot a responder en ChatGPT Search — este último sí te devuelve lectores. Anthropic hace lo mismo con ClaudeBot y Claude-SearchBot. Google separa Googlebot, que alimenta su buscador, de Google-Extended, que alimenta sus modelos. Apple separa Applebot de Applebot-Extended.

La misma empresa, dos rastreadores, dos intercambios completamente distintos. Uno te trae lectores. El otro se lleva el contenido y no devuelve nada. Un sí o un no global no sabe distinguirlos; un robots.txt que los nombra uno a uno, sí.

Eso es lo que codifican los cuatro preajustes:

• Max visibility — abierto a todos los robots, incluidos los de entrenamiento de IA. Maximiza el alcance. Es tu archivo actual, sin cambios.
• No AI training — permite los buscadores, clásicos y de IA, y bloquea los robots de entrenamiento de IA. Te quedas con el tráfico y rechazas el conjunto de entrenamiento.
• Classic SEO only — permite Google, Bing y compañía. Bloquea todos los asistentes de IA, tanto de búsqueda como de entrenamiento.
• Strict privacy — lo bloquea todo. Para una aplicación interna o un entorno de pruebas.

Solo se aplica uno cada vez, y puedes cambiarlo cuando quieras. La mayoría de los editores de contenido se quedan en el segundo, y ahí está el sentido de esta función: esa elección era imposible de expresar hasta ahora.

Un preajuste es una etiqueta, y las etiquetas se leen mal con facilidad. Por eso la pestaña enseña sus cartas.

Despliega Ver detalles de este ajuste preestablecido y obtienes dos cosas. Primero, un veredicto para cada una de las cuatro familias — Permitido o Bloqueado — para que el equilibrio esté en pantalla y no insinuado por un nombre. Después, una vista previa del archivo robots.txt generado, que se actualiza a medida que pasas de una tarjeta a otra. Validas un archivo, no una promesa.

Detrás de esas cuatro tarjetas hay un registro de 22 rastreadores de 15 editores — OpenAI, Anthropic, Google, Apple, Meta, Amazon, Perplexity, Common Crawl, ByteDance, Cohere y otros — con el papel de cada uno. Mantenerlo al día es nuestro trabajo, no el tuyo: cuando aparece un rastreador de IA nuevo, entra en la familia correcta y tu preajuste sigue significando lo que elegiste. La lista completa de robots está a un clic en la pestaña, para quien quiera ver exactamente quién está dentro.

Hay un segundo modo, y viene con una condición: es para quien ya ha escrito un robots.txt antes.

Cambia el interruptor a Manual y los preajustes se apartan: editas el archivo directamente, una directiva por línea. Se abre relleno con las reglas del preajuste que tenías seleccionado, así que no partes de una página en blanco; a partir de ahí nombras los rastreadores uno a uno — bloquear Common Crawl y conservar GPTBot, frenar a uno concreto con un Crawl-delay, abrir una ruta que en otro caso dejarías cerrada. Lo que escribas se conserva en cada republicación, y la línea Sitemap se mantiene sola.

Lo que se comprueba es la forma del archivo, no su acierto. El contenido está limitado a 10 KB, se aceptan cuatro directivas — User-agent, Disallow, Allow y Crawl-delay — y todo lo demás se rechaza indicando el número de línea. Eso es un control de sintaxis, no una red de seguridad. Disallow: / es una línea perfectamente válida, y saca todo tu sitio de Google. El editor no te detendrá, porque no puede distinguir eso de una decisión deliberada. La interfaz te avisa al cambiar de modo, y lo dice en serio.

Así que, claramente: si no estás seguro de lo que hace una línea, no la escribas. Los cuatro preajustes son reversibles, te enseñan el archivo antes de que lo confirmes y cubren lo que necesita casi todo el mundo. El modo Manual está para los casos que de verdad no saben expresar — y si tienes uno de esos, ya lo sabes.

Un robots.txt es una declaración, no un cortafuegos. Es una petición pública que los rastreadores educados respetan — y la parte honesta de esta función es que no todos lo hacen. ChatGPT-User y Perplexity-User, que van a buscar una página porque alguien se lo ha pedido a una IA, declaran que no la siguen. Bytespider tampoco. Common Crawl solo la respeta en parte. Seguimos ese estado rastreador por rastreador en lugar de vender el archivo como un candado: lee tu elección como «a quién he avisado, y de qué», no como «a quién he detenido».

Dos cosas sí funcionan de forma fiable. Que tu aplicación aparezca o no en los resultados de búsqueda no se decide aquí: eso es el ajuste de indexación de tus ajustes generales, y cuando la indexación está desactivada la pestaña se aparta y te lo dice, en vez de dejarte configurar algo sin efecto. Y cuando guardas, la copia en caché que se sirve en tu dominio se purga de inmediato: tus reglas nuevas se aplican en segundos, sin esperar a que la caché expire por su cuenta.

Entra en tu back office, ve a SEO → ROBOTS.TXT, elige el preajuste que encaje con tu estrategia de contenido y guarda: tu archivo estará en línea unos segundos después.