Cómo crear un archivo robots.txt para impedir que los rastreadores de IA raspen tu sitio

Muchos sistemas de IA rastrean sitios web públicos para recopilar texto, imágenes y otros datos con los que entrenar modelos de lenguaje. Aunque no todos los rastreadores respetan las preferencias de quien posee el sitio, muchas empresas legítimas sí honran las reglas de exclusión cuando están bien configuradas.

Uno de los pasos más sencillos que puedes dar es crear un archivo robots.txt. No va a detener a todos los raspadores de internet, pero le dice a los rastreadores de IA y a los bots de buscadores que sí cumplen las reglas a qué partes de tu sitio no deberían acceder.

Si tienes un portafolio, un blog, una tienda en línea o el sitio de tu negocio, configurar un robots.txt es una forma simple de añadir otra capa de protección.

¿Qué es un archivo robots.txt?

Un robots.txt es un documento de texto plano que se coloca en el directorio raíz de tu sitio web.

Su propósito es dar instrucciones a los bots automatizados sobre qué páginas o carpetas pueden, o no pueden, rastrear.

Los buscadores llevan décadas usando este estándar, y ahora muchas empresas de IA publican los nombres de sus rastreadores para que quienes tienen un sitio puedan decidir si permiten el acceso.

Aunque robots.txt no es una medida de seguridad, sigue siendo una parte importante de la publicación web responsable y de la gestión de rastreadores.

¿Robots.txt impide que la IA robe contenido?

La respuesta corta es no del todo.

Un archivo robots.txt es un estándar voluntario. Las empresas éticas generalmente lo respetan, mientras que los raspadores maliciosos suelen ignorarlo.

Piénsalo como poner un cartel de “prohibido el paso” en tu propiedad. Los visitantes honestos lo van a respetar, pero quien esté decidido a entrar quizá no.

Por eso robots.txt debería considerarse un componente de una estrategia de protección de contenido más amplia, y no una solución completa.

Cómo crear un archivo robots.txt

Crearlo toma solo unos minutos.

Paso 1. Abre un editor de texto

Puedes usar:

• Bloc de notas (Windows)
• TextEdit (macOS)
• VS Code
• Sublime Text
• Cualquier editor de texto plano

Paso 2. Crea un archivo nuevo

Crea un archivo llamado exactamente:

robots.txt

El nombre debe ir en minúsculas y sin ninguna extensión adicional.

Correcto:

robots.txt

Incorrecto:

robots.txt.txt
Robots.txt
robots.doc

Paso 3. Añade reglas para los rastreadores de IA

Muchas empresas de IA publican los nombres de sus rastreadores.

Aquí tienes un ejemplo que bloquea varios rastreadores de IA documentados habitualmente:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /

Estas reglas le dicen a cada rastreador que no acceda a ninguna página de tu sitio.

A medida que las empresas de IA lancen rastreadores nuevos, puedes actualizar este archivo con más entradas.

Paso 4. Sube el archivo

Coloca robots.txt en el directorio raíz de tu sitio web.

Por ejemplo:

https://tusitio.com/robots.txt

Si alguien puede abrir esa URL en su navegador, el archivo suele estar en el lugar correcto.

Cómo comprobar que funciona

Después de subir el archivo:

• Visita tusitio.com/robots.txt.
• Confirma que el archivo carga correctamente.
• Revisa que no haya errores de formato.
• Vuelve a probarlo cada vez que hagas cambios.

La mayoría de los proveedores de hosting también te dejan ver los archivos directamente desde su gestor de archivos o por FTP.

¿Puedes bloquear buscadores sin afectar tu SEO?

Sí.

Si tu objetivo es solo desalentar el entrenamiento de IA, evita bloquear a los buscadores que ayudan a la gente a descubrir tu sitio.

Muchas empresas ofrecen nombres de rastreador específicos para sus servicios relacionados con IA, lo que te permite limitar la recolección de datos para IA sin sacar tus páginas de los resultados de búsqueda.

Esto te da un control mucho más fino que bloquear todos los bots indiscriminadamente.

Otras formas de proteger tu contenido

Un archivo robots.txt funciona mejor combinado con otras medidas de protección.

Considera también:

• Usar avisos de copyright en tu sitio web.
• Incrustar metadatos IPTC en tus imágenes.
• Publicar versiones de menor resolución de tus ilustraciones.
• Firmar archivos digitalmente con Adobe Content Authenticity.
• Añadir marcas de agua visibles o sutiles cuando sea apropiado.
• Revisar las políticas de entrenamiento de IA de cada plataforma antes de subir tu trabajo.

Ninguna técnica por sí sola puede impedir del todo el raspado no autorizado, pero combinar varios métodos aumenta significativamente el esfuerzo necesario para reutilizar tu trabajo.

¿Es esta la solución definitiva?

A medida que la IA sigue evolucionando, proteger el trabajo creativo requiere más que simplemente publicarlo en línea. Aunque robots.txt no es una solución mágica, sigue siendo una de las formas más fáciles y con más soporte para comunicar tus preferencias de rastreo.

Combinado con metadatos, información de copyright, credenciales de autenticidad de contenido y una elección cuidadosa de plataformas, se convierte en parte de una estrategia más sólida para salvaguardar tus textos, ilustraciones, fotografías y demás creaciones originales.

Al final, tener tu propio sitio web te da el mayor nivel de control. A diferencia de las redes sociales, tú decides cómo se aloja, se indexa y se accede a tu contenido, lo que lo convierte en una de las mejores inversiones a largo plazo para proteger tu trabajo en internet.