Por Angel Di Matteo   𝕏 @shadowargel

Un documento interno confidencial revela que TikTok excluyó deliberadamente a cerca de 10% de sus usuarios estadounidenses de una herramienta diseñada para evitar burbujas de contenido dañino. Entre ellos estuvo Chase Nasca, un adolescente de 16 años cuya cuenta recibió miles de videos sobre desesperanza, suicidio y autolesiones antes de su muerte.

***

  • TikTok mantuvo a unos 15 millones de usuarios en una versión menos protegida de la aplicación.
  • El experimento buscaba medir si la medida de seguridad afectaba los usuarios activos y otras métricas.
  • Un informe interno concluyó que la protección no se aplicó a la cuenta de Chase “por diseño”.

 

TikTok excluyó a millones de usuarios estadounidenses de una modificación algorítmica creada para interrumpir secuencias repetitivas de contenido potencialmente dañino, según un documento interno preparado por sus equipos de seguridad y algoritmos. La empresa mantuvo deliberadamente una versión anterior de la aplicación para un grupo de control equivalente a 10% de sus usuarios en el país.

El experimento buscaba determinar si la nueva protección reducía el uso de la plataforma, la retención o los usuarios activos diarios, una de las métricas más importantes para las compañías de redes sociales. En aquel momento, el grupo habría incluido a unos 15 millones de personas, revela un extenso reportaje publicado por Bloomberg.

Entre ellas estuvo Chase Nasca, un adolescente de 16 años de Nueva York que murió en febrero de 2022. Durante las semanas previas, el algoritmo de TikTok le recomendó miles de publicaciones relacionadas con suicidio, autolesiones, tristeza, soledad y desesperanza.

La revisión interna concluyó que su cuenta quedó atrapada en una burbuja de contenido repetitivo. También señaló que las estrategias creadas para prevenir ese patrón no se aplicaron a Chase “por diseño”, debido a su inclusión aleatoria en el grupo experimental.

TikTok midió la seguridad frente a sus métricas de uso

TikTok anunció en diciembre de 2021 que estaba probando formas de interrumpir patrones repetitivos de temas que podían resultar perjudiciales cuando se consumían de manera acumulativa, como las dietas extremas o la soledad. A comienzos de 2022, la compañía había activado esas medidas para aproximadamente 90% de sus usuarios estadounidenses.

El 10% restante continuó utilizando el algoritmo anterior como parte de una prueba A/B. Este tipo de experimento divide a los usuarios en grupos para comparar el impacto de un cambio sobre indicadores como el tiempo de uso, la retención y la actividad diaria.

El documento describe la decisión como un equilibrio delicado entre la seguridad y la posibilidad de medir el impacto sobre los usuarios activos diarios y otras métricas centrales. Esa formulación muestra que TikTok evaluó una medida de protección junto con indicadores comerciales utilizados para determinar el crecimiento y la fortaleza de la plataforma.

La empresa sostuvo posteriormente que se trató de una prueba rutinaria diseñada para verificar si las modificaciones de seguridad funcionaban correctamente. También afirmó que desde entonces refinó la forma en que realiza esos experimentos, aunque no detalló los cambios introducidos.

La cuenta recibió miles de videos cargados de desesperanza

TikTok reconstruyó el historial de Chase después de que Bloomberg Businessweek contactara a la empresa en marzo de 2023 para investigar el impacto de la plataforma sobre adolescentes. El análisis quedó recogido en un documento de 14 páginas marcado como privilegiado y confidencial, actualmente bajo sello judicial.

La empresa examinó 7.563 videos enviados a la cuenta durante las dos semanas anteriores a la muerte del adolescente. Su revisión determinó que 73% compartía temas como dificultades de salud mental, testimonios de supervivientes, rupturas sentimentales, tristeza, soledad o deseo de mantener una relación.

Aunque muchos de esos contenidos no infringían individualmente las reglas de TikTok, su repetición creó una corriente constante de mensajes negativos. Casi otro 10% sí vulneraba las políticas de la plataforma, que prohíben promover, normalizar o glorificar el suicidio y las autolesiones.

Ese segundo grupo incluía memes, imágenes y mensajes sobre depresión profunda, baja autoestima, agotamiento, aislamiento e ideación suicida. En conjunto, miles de los videos recomendados a Chase mantenían un tono de desesperación, incluso cuando cada publicación aislada no alcanzaba el umbral para ser eliminada.

El informe sostuvo que algunas búsquedas relacionadas con canciones sobre soledad y desesperanza probablemente activaron nuevas recomendaciones del mismo tipo. Chase también buscaba contenido deportivo y humorístico, pero el sistema terminó reforzando de manera desproporcionada los temas más oscuros.

La intensidad aumentó durante sus últimos días

El día anterior a su muerte, Chase utilizó TikTok durante más de cinco horas y buscó publicaciones relacionadas con suicidio y trenes. Durante ese periodo también marcó como favoritos varios videos que aludían a despedidas o a la sensación de no ser recordado.

Horas antes de morir, vio y repitió una publicación sobre un adolescente que había dejado un mensaje de despedida antes de quitarse la vida. El último video que apareció en su cuenta mostraba a una persona llorando.

La madre de Chase obtuvo acceso a su perfil después de la muerte y encontró que la aplicación le había enviado contenido relacionado con suicidio. Cinco días antes del fallecimiento, había recibido un video de una persona frente a un tren acompañado de un mensaje sobre salir a caminar para despejar la mente.

Chase no dejó una nota de despedida y, según su familia, no tenía antecedentes conocidos de problemas de salud mental. Un amigo recordó que, alrededor de enero de 2022, dejó de compartir principalmente videos humorísticos y comenzó a enviar publicaciones vinculadas con suicidio.

Ese cambio coincidió con la fecha en la que la cuenta fue seleccionada para la prueba interna. Incluso un año después de su muerte, el algoritmo continuaba enviando contenido sobre suicidio al perfil, de acuerdo con lo observado por su madre.

El propio informe reconoció el riesgo de la prueba

Después de revisar el caso, los equipos de TikTok recomendaron reducir el grupo de control a menos de 1% de los usuarios. También propusieron acortar la duración de las pruebas para una misma persona desde periodos de seis meses o un año hasta solo siete días.

Sin embargo, una actualización incluida en el documento reconoció que incluso un grupo diez veces menor habría dejado a por lo menos 1,8 millones de usuarios estadounidenses sin la protección. Esas personas continuarían expuestas al riesgo de caer en burbujas algorítmicas.

Un antiguo trabajador del área de confianza y seguridad, que ocupaba un cargo de liderazgo cuando se implementó el experimento, afirmó que no conocía su existencia. Tras revisar sus características, consideró que el grupo de control era demasiado grande y que los menores debieron ser excluidos.

También sostuvo que contenidos especialmente peligrosos, como los relacionados con suicidio, nunca debieron formar parte de una prueba de este tipo. A su juicio, la metodología permitió experimentar con riesgos que podían tener consecuencias graves sobre usuarios vulnerables.

El experimento no apareció en las respuestas al Congreso

La revisión interna fue realizada en marzo de 2023, dos semanas antes de que el director ejecutivo de TikTok, Shou Chew, compareciera ante el Congreso de Estados Unidos. Durante aquella audiencia, el ejecutivo afirmó que la seguridad y el bienestar de los adolescentes constituían una prioridad central para la compañía.

Los padres de Chase se encontraban en la sala. Un legislador reprodujo fragmentos de videos recomendados al adolescente y acusó a la plataforma de haber creado una tecnología que podía contribuir directamente al daño de menores.

Chew dijo que el caso era devastador y destacó los recursos ofrecidos cuando los usuarios buscan términos relacionados con suicidio. Sin embargo, no respondió de forma afirmativa cuando se le preguntó si asumía plena responsabilidad por el comportamiento del algoritmo.

Después de la audiencia, los legisladores enviaron a TikTok una serie de preguntas escritas. Una de ellas solicitó informar cuántos casos conocía la empresa en los que usuarios hubieran muerto por suicidio después de recibir contenido depresivo o que promoviera esa conducta.

TikTok respondió que no creía que el uso de la plataforma hubiera causado suicidios. Esa contestación fue entregada 15 meses después de la muerte de Chase y dos meses después de que sus equipos analizaran minuciosamente su historial.

TikTok tampoco informó sobre el grupo de control

El Congreso preguntó además cuándo supo la empresa que sus algoritmos podían recomendar a adolescentes publicaciones tristes, depresivas o relacionadas con suicidio. TikTok rechazó la premisa y destacó sus sistemas de bloqueo, redirección y advertencia.

Otra pregunta pidió enumerar todos los casos en los que una prueba algorítmica A/B hubiera causado daños a usuarios. La compañía respondió que sus normas comunitarias se aplicaban a todas las personas y contenidos, incluidos aquellos mostrados durante experimentos.

Las respuestas no mencionaron que millones de usuarios habían quedado fuera de una medida de seguridad para evaluar su efecto sobre las métricas de participación. Tampoco revelaron la conclusión interna de que la protección no se aplicó a Chase debido al diseño de la prueba.

La diferencia entre la evaluación confidencial y las declaraciones públicas podría adquirir relevancia en los litigios contra las principales plataformas sociales. Esos procesos buscan determinar cuánto sabían las empresas sobre los riesgos de sus productos y qué decisiones tomaron después de identificarlos.

TikTok preparó su respuesta pública mientras revisaba el caso

Comunicaciones internas muestran que distintos equipos de TikTok coordinaron una estrategia después de recibir las preguntas periodísticas sobre Chase. Al menos dos docenas de empleados participaron en conversaciones que incluyeron a responsables de comunicación, seguridad, políticas, búsqueda y asuntos legales.

Tras recibir un resumen del historial del adolescente, varios trabajadores respondieron con emojis de llanto. Un integrante del equipo de comunicación indicó que estaban preparando declaraciones destinadas a mostrar empatía y buscaban acelerar una función que permitiría a los usuarios reiniciar su página “Para ti”.

El objetivo era mostrar avances antes de la publicación del reportaje. TikTok entregó después una declaración en la que aseguró estar comprometida con el bienestar de los adolescentes y expresó pesar por las familias afectadas por pérdidas trágicas.

Ante las nuevas preguntas sobre el informe confidencial, la empresa volvió a destacar sus inversiones en seguridad, sus sistemas de detección y los equipos encargados de retirar contenido que infringe las reglas. No explicó por qué la protección fue retenida para un grupo tan amplio de usuarios.

Miles de demandas cuestionan el diseño de las redes sociales

Más de 4.000 demandas por lesiones personales han acusado a distintas compañías de perjudicar la salud mental infantil mediante productos diseñados para maximizar la participación. Muchas de ellas se encuentran agrupadas dentro de un litigio consolidado en Estados Unidos.

En marzo, un jurado de California declaró negligentes a YouTube e Instagram por dirigir deliberadamente funciones adictivas hacia menores. La demandante, que tenía 17 años cuando presentó el caso, recibió una indemnización de USD $6 millones.

TikTok y Snap alcanzaron acuerdos antes de que comenzara ese juicio, mientras Google y Meta anunciaron que apelarían el veredicto. TikTok también cerró el lunes acuerdos en otros tres procesos y ha resuelto los cinco casos por adicción a redes sociales que tenían fecha de juicio este año.

El informe sobre Chase apareció durante el intercambio de pruebas de ese litigio. Las compañías entregaron más de seis millones de documentos internos después de un proceso de revisión que se extendió durante dos años.

La demanda de la familia continúa en apelación

Los padres de Chase presentaron una demanda por muerte injusta contra TikTok en Nueva York. Un juez la desestimó después de que la compañía argumentara que la Sección 230 de la Ley de Decencia en las Comunicaciones la protegía frente a responsabilidad por contenido de terceros.

La familia apeló esa decisión. Sin embargo, el documento interno sobre la inclusión de Chase en el experimento todavía no ha sido presentado directamente ante sus padres.

La Fiscalía General de Arkansas intentó mostrar el informe al padre del adolescente dentro de otro proceso contra TikTok. La compañía se opuso, alegando que él no conocía previamente su contenido y que los documentos incluían conversaciones internas sensibles.

Un juez aceptó la postura de TikTok y mantuvo el material bajo sello. Otra demanda presentada en Delaware citó recientemente el uso de pruebas A/B con menores y comparó esa práctica con reducir deliberadamente las normas de seguridad de un producto infantil para medir si las ventas aumentan.

El problema no se limita al contenido prohibido

El caso muestra que el riesgo algorítmico no depende únicamente de si una publicación individual viola las reglas. Una gran cantidad de videos permitidos puede resultar perjudicial cuando el sistema los presenta de forma repetitiva, concentrada y cada vez más intensa.

También evidencia que una herramienta de seguridad puede existir sin llegar a todos los usuarios cuando la plataforma desea medir su impacto comercial. En este caso, TikTok mantuvo a millones de personas en una versión menos protegida para observar posibles cambios en la actividad diaria.

La compañía sostiene que ha mejorado sus sistemas y continúa invirtiendo en protección. No obstante, su propio documento interno afirma que Chase permaneció fuera de la estrategia contra burbujas algorítmicas debido a una decisión experimental.

El centro del debate ya no es solo si TikTok retiró suficientes publicaciones peligrosas. La pregunta es si una plataforma debería poder retener deliberadamente una medida de seguridad, especialmente para menores, con el fin de evaluar su efecto sobre las métricas que sostienen el crecimiento del negocio.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados