Por Canuto  

Google, OpenAI, Anthropic y Microsoft se comprometieron a respetar una nueva directiva de robots.txt que permitiría a los editores expresar con una señal común si autorizan el uso de sus páginas para entrenar IA generativa. La medida simplificaría los controles actuales, aunque no bloqueará el rastreo para búsquedas ni revertirá la extracción de datos que ya ocurrió.
***

  • La propuesta ante la IETF incorpora el user agent __usage_ai-training para que los sitios establezcan reglas comunes sobre el entrenamiento de IA.
  • Anthropic ya comenzó a admitir la directiva; Microsoft, Google y OpenAI anunciaron plazos distintos para implementarla.
  • La señal no impide que el contenido aparezca en Google Search ni puede retirar datos que las empresas hayan recopilado previamente.

Google se suma a OpenAI y Anthropic con una señal común contra el scraping para IA

Google, OpenAI, Anthropic y Microsoft acordaron respetar una nueva directiva de robots.txt que permitiría a los sitios web expresar sus preferencias sobre el uso de su contenido para entrenar modelos de inteligencia artificial generativa. La propuesta, presentada ante la organización de estándares de internet IETF, busca reemplazar la necesidad de configurar reglas distintas para cada empresa con una señal compartida por varios proveedores.

El cambio apunta a un problema práctico para editores y operadores de páginas: identificar los rastreadores de cada compañía y añadir instrucciones específicas para ellos puede resultar engorroso. Sin embargo, la nueva regla no elimina el rastreo web en general, no excluye por sí sola los contenidos de los resultados de búsqueda y tampoco revierte las copias que las empresas hayan obtenido antes de su entrada en vigor.

Una señal compartida para los rastreadores de IA

La propuesta fue redactada por Kevin Kelley, líder técnico de estándares de Anthropic, y permanece en consideración ante la IETF; por tanto, el anuncio describe un compromiso de adopción de las empresas, no una norma ya aprobada por esa organización. Engadget informó que los cuatro proveedores respaldarán la directiva para que los propietarios de sitios puedan indicar sus preferencias con una regla común en el archivo robots.txt.

Hasta ahora, un operador que quisiera impedir que una empresa concreta recopile sus páginas para entrenar modelos debía identificar el user agent utilizado por esa compañía y establecer instrucciones para ese rastreador. Si buscaba aplicar la misma política a varios proveedores, tenía que repetir el proceso con cada uno. El planteamiento de Kelley pretende reducir esa fragmentación mediante una señal que las empresas participantes reconozcan y respeten.

La instrucción propuesta utiliza el user agent __usage_ai-training. Un sitio podría añadirlo a robots.txt y declarar que no permite el acceso a ninguna ruta, o combinar esa restricción con una excepción para páginas determinadas, como un kit de prensa que sí quiera ofrecer para entrenamiento.

El ejemplo de configuración incluido en la propuesta reúne las líneas User-Agent: __usage_ai-training, Disallow: / y Allow: /press-kit/. En ese caso, la primera regla expresa una prohibición general para el rastreador identificado con ese user agent, mientras que la excepción permite el acceso a la ruta indicada. La intención es que los editores puedan definir una política selectiva en lugar de tratar todo su sitio como un bloque único.

Qué cambia y qué queda fuera del control

La señal se refiere específicamente a la recopilación de contenido para entrenar inteligencia artificial generativa, y no equivale a una orden para detener cualquier visita automatizada a un sitio. Tampoco impide que una página aparezca en los resultados de búsqueda de Google, una distinción importante para los editores que quieran limitar el uso de sus materiales en modelos sin renunciar a su presencia en el buscador.

En el caso de Google, la compañía indicó que interpretará la nueva regla como una señal de alto para Google-Extended, el user agent que rastrea sitios en busca de materiales utilizados para entrenar los modelos Gemini. Esa interpretación delimita el alcance de la instrucción: no significa que todo rastreador de Google dejará de acceder a una página ni que la dirección desaparecerá de Google Search.

La directiva tampoco borra ni recupera el contenido que una empresa haya extraído anteriormente. Si un proveedor ya recopiló una página antes de que el editor añadiera la regla, la señal no puede deshacer esa acción ni retirar automáticamente el material de los datos que ya posee. Su efecto previsto es limitar el rastreo futuro de las páginas o sitios que configuren la instrucción.

Además, robots.txt funciona como una señal de instrucciones para los rastreadores, no como una barrera técnica que vuelva inaccesible una página por sí sola. La utilidad de esta propuesta depende, por ello, de que los proveedores identifiquen el user agent común y cumplan el compromiso anunciado. Los editores obtendrían una forma más sencilla de expresar su preferencia, pero no un mecanismo que impida materialmente cualquier acceso no autorizado.

Calendario de adopción y próximos pasos

Anthropic ya comenzó a admitir la directiva, según la información publicada junto con su anuncio. Microsoft, por su parte, dijo que empezará a respaldarla el 1 de febrero de 2027. Estos plazos reflejan implementaciones escalonadas, por lo que la existencia de una propuesta común no implica que todos los rastreadores participantes la respeten desde el mismo momento.

Google señaló que prevé admitir la señal a principios de 2027, mientras que OpenAI se comprometió a incorporarla durante los próximos meses. La formulación de esos anuncios ofrece referencias generales para el despliegue, pero no precisa una fecha exacta para la implementación de Google ni para la de OpenAI.

Para los propietarios de sitios, el siguiente paso será decidir si bloquearán por completo el uso de sus páginas para entrenamiento o si dejarán algunas rutas disponibles. La posibilidad de crear excepciones, como la de un kit de prensa, permite distinguir entre materiales que el editor quiere ofrecer y otros que prefiere excluir, aunque la directiva no determina por sí misma qué contenido corresponde a cada categoría.

El acuerdo entre Google, OpenAI, Anthropic y Microsoft podría simplificar la administración de preferencias al reducir la necesidad de mantener listas separadas para cada rastreador. Su alcance real dependerá de la implementación de cada compañía y de que los sitios configuren correctamente la regla. También deja intacta una limitación central: el control mira hacia el rastreo futuro, no hacia las copias que ya se hayan obtenido.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados