Demanda acusa a xAI de usar material de abuso infantil para entrenar a Grok

Una demanda colectiva presentada en Estados Unidos acusa a xAI, la empresa de Elon Musk, de haber utilizado material de abuso sexual infantil para entrenar a Grok y de permitir que el sistema genere nuevas imágenes relacionadas con víctimas reales. El caso también cuestiona si los resultados públicos del chatbot pueden regresar al ciclo de entrenamiento, mientras una sobreviviente pide destruir los archivos y bloquear cualquier generación de CSAM.
***

• Una demandante conocida como Jane Doe sostiene que Grok generó imágenes de abuso sexual infantil basadas en material de su infancia.
• La demanda afirma que publicaciones públicas y resultados de Grok podrían utilizarse por defecto para entrenar y mejorar los modelos.
• Doe busca representar a otras víctimas y exige que xAI destruya el material almacenado y bloquee la generación de CSAM.

Una demanda colectiva propuesta acusa a xAI, la empresa de inteligencia artificial de Elon Musk, de haber utilizado material de abuso sexual infantil, conocido como CSAM, para desarrollar las capacidades de generación de imágenes y videos de Grok. El caso sostiene además que el sistema produjo imágenes generadas por IA que representan a una sobreviviente real, lo que habría reactivado un trauma que la demandante arrastra desde su infancia.

La acción judicial fue presentada en Estados Unidos por una mujer identificada como Jane Doe, quien afirma que tenía edad preescolar a comienzos de la década de 2000 cuando varios hombres adultos la violaron repetidamente para crear material y venderlo a depredadores en línea. Según el relato incorporado al proceso, las imágenes de aquel abuso fueron identificadas durante años por organizaciones especializadas, entre ellas el National Center for Missing and Exploited Children y el Canadian Centre for Child Protection.

Una acusación que conecta imágenes antiguas y nuevas

Doe explicó que, por razones de seguridad, se encuentra inscrita en el Victim Notification System del Departamento de Justicia de Estados Unidos. El sistema le envía alertas cada vez que sus imágenes podrían aparecer en una nueva investigación criminal, y la demandante asegura que ha recibido innumerables notificaciones a lo largo del tiempo.

La situación tomó un giro particularmente perturbador cuando el Canadian Centre for Child Protection le informó que había identificado material generado mediante IA en xAI que la representaba. La notificación, según la demanda, la re traumatizó porque sugirió que imágenes vinculadas con el peor episodio de su vida podían ser recreadas con herramientas contemporáneas y volver a circular entre delincuentes.

El escrito judicial también menciona mensajes publicados en foros en línea, en los que presuntos delincuentes conversaban sobre la creación de CSAM generado por IA de Doe y de otras víctimas conocidas. La demandante teme que xAI no solo haya facilitado la producción de nuevas imágenes, sino que también haya almacenado los resultados de Grok y los haya incorporado posteriormente a procesos destinados a entrenar o mejorar el modelo.

La acusación sostiene, por tanto, que Grok pudo haber sido influido por dos fuentes distintas: el conjunto original de imágenes que persiguió a Doe durante más de 20 años y las nuevas representaciones creadas artificialmente a partir de ese material. La demanda reconoce que esta parte de la denuncia no desarrolla con detalle la evidencia técnica, pero la presenta como un caso que acusa directamente a xAI de entrenar sus modelos con CSAM.

El debate sobre los datos de entrenamiento de Grok

Los modelos generativos aprenden patrones a partir de grandes volúmenes de datos, pero retirar un archivo de una plataforma no necesariamente elimina de inmediato su influencia sobre un sistema ya entrenado. La demanda utiliza esa dificultad técnica para argumentar que cualquier material ilegal ingerido antes de ser eliminado podría seguir afectando las respuestas de Grok, salvo que xAI hubiera aplicado procedimientos específicos de reentrenamiento o eliminación de datos.

El escrito también cuestiona las reglas que definirían qué publicaciones públicas y qué resultados del sistema pueden regresar al ciclo de desarrollo. De acuerdo con Doe, los términos de Grok establecen que las publicaciones públicas y los propios resultados del servicio se consideran datos de entrenamiento por defecto, una práctica que podría convertir una imagen dañina publicada abiertamente en un insumo para mejorar futuras capacidades de generación.

La demanda afirma que xAI filtra contenido violento de los resultados de Grok para excluirlo de los datos de entrenamiento, pero señala que sus términos no identificarían de forma explícita al CSAM, las imágenes íntimas no consentidas, conocidas como NCII, ni todo el material considerado NSFW como categorías excluidas. Para la demandante, esa falta de precisión abre una preocupación central: que el contenido sexual ilegal o abusivo pueda permanecer dentro del proceso de mejora aunque ya no sea visible públicamente.

El caso no demuestra por sí solo qué conjuntos de datos específicos utilizó xAI ni establece técnicamente cómo habría ingresado cada imagen al entrenamiento. Ars Technica informó anteriormente sobre un conjunto de datos controvertido que fue depurado después de que investigadores encontraran CSAM en su contenido, aunque no existe indicio, según la información disponible, de que xAI haya entrenado con ese conjunto.

Las exigencias legales de la demandante

La demanda acusa a xAI de violar leyes federales estadounidenses relacionadas con la pornografía infantil y la Ley de Masha. Estas normas permiten que sobrevivientes de CSAM presenten acciones civiles por hechos de producción, posesión y distribución, y la abogada Margaret E. Mabie sostuvo en un comunicado que xAI habría incurrido en las tres conductas denunciadas.

La reclamación busca representar a cada víctima cuyas imágenes de infancia hayan sido utilizadas para generar CSAM mediante Grok, si el tribunal aprueba la acción colectiva. En caso de una sentencia favorable, xAI podría enfrentar indemnizaciones para cada persona capaz de demostrar que el sistema produjo material basado en sus fotografías reales, aunque el proceso todavía debe superar las etapas judiciales necesarias antes de que esa clase sea certificada.

Entre las medidas solicitadas, Doe pide que el tribunal ordene a xAI destruir todo el CSAM generado por Grok que pueda estar almacenado en sus servidores o utilizado para entrenar los modelos. La solicitud no se limita a borrar resultados individuales, porque también busca eliminar cualquier copia que haya quedado integrada en los sistemas internos de almacenamiento y desarrollo de la compañía.

La demandante quiere además que xAI impida que Grok genere CSAM en el futuro. Según el escrito, una protección realmente efectiva podría exigir el bloqueo de cualquier resultado sexualizado, incluidas las imágenes íntimas no consentidas y ciertos contenidos NSFW, como las llamadas fotos en bikini que Elon Musk habría promovido en relación con el producto.

Una presión creciente sobre la seguridad de la IA

El caso aparece mientras reguladores y tribunales examinan hasta dónde llega el problema asociado con las capacidades de generación de imágenes de Grok. La información disponible también señala que algunos usuarios del sistema han sido arrestados y que xAI presentó una demanda contra al menos un usuario acusado de generar deepfakes de abuso sexual infantil, elementos que refuerzan la discusión sobre la responsabilidad de las plataformas cuando sus herramientas son utilizadas para crear material delictivo.

La controversia plantea una diferencia importante entre moderar el resultado visible para el usuario y controlar todo el recorrido de los datos dentro de una compañía de IA. Un filtro puede impedir que una imagen aparezca en pantalla, pero la demanda pregunta si los archivos generados, los registros técnicos y los datos derivados permanecen en servidores o influyen en versiones posteriores del modelo.

Sarah London, otra de las abogadas de Doe, afirmó que su clienta ha vivido durante casi dos décadas sabiendo que las imágenes del abuso sufrido podían circular entre depredadores y reaparecer en cualquier momento. London sostuvo que xAI debe responder por entrenar deliberadamente sus modelos con imágenes del abuso de Doe y de otros sobrevivientes incluidos en la eventual clase.

xAI no respondió a la solicitud de comentarios de Ars Technica sobre las acusaciones. Por ahora, la demanda representa alegaciones de una parte y no una determinación judicial de responsabilidad, mientras la evidencia sobre los conjuntos de entrenamiento, el almacenamiento de resultados y los filtros de Grok deberá examinarse durante el proceso.

El desenlace podría tener consecuencias más amplias para el diseño de modelos generativos, especialmente si un tribunal considera que la empresa debe demostrar no solo que retiró material ilegal, sino que también eliminó su influencia dentro de modelos ya entrenados. Para las víctimas, sin embargo, la prioridad inmediata es impedir que los sistemas de IA conviertan registros de abuso infantil en una fuente prácticamente inagotable de nuevas agresiones digitales.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.

ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín