Por Canuto  

YouGov afirma que sus gemelos digitales coincidieron con las respuestas de personas reales en el 90% de los casos, y sostiene que la industria debe adoptar pruebas transparentes antes de confiar en simulaciones de IA.
***

  • YouGov construyó 1.008 gemelos digitales y contrastó sus respuestas con las de 693 panelistas verificados mediante identificación gubernamental.
  • Las valoraciones sobre más de 4.000 marcas y entidades elevaron la precisión reportada del 78% al 90%; el mismo porcentaje apareció en un tema no usado para entrenar los gemelos.
  • La empresa reclama estándares compartidos, publicación de métodos y pruebas públicas contra resultados del mundo real, aunque reconoce que todavía debe medir el margen máximo de repetición humana.

 

YouGov presentó una evaluación de sus llamados E-twins, simulaciones de inteligencia artificial construidas a partir de datos de personas reales, y reportó que sus respuestas quedaron a un punto de las de sus contrapartes humanas en el 90% de los casos. La compañía sostiene que el resultado mejora cuando los modelos reciben información detallada sobre las opiniones de cada panelista, y usa el estudio para reclamar criterios comunes de validación en una industria donde las simulaciones pueden influir en investigaciones y decisiones comerciales.

El experimento no se limitó a comparar cifras generales con bases de datos públicas: la empresa contrastó cada gemelo con la persona concreta en la que se basó. Para ello creó 1.008 E-twins a partir de integrantes verificados de su panel y planteó preguntas nuevas tanto a las simulaciones como a los encuestados, de quienes obtuvo respuestas de recontacto; el trabajo se realizó junto con OriginalVoices, plataforma especializada en simulación con IA.

Una comparación individual para medir la precisión

La prueba reunió a 693 personas reales que verificaron su identidad mediante documentos gubernamentales, según la descripción difundida por la compañía. El diseño buscó reducir una limitación de las evaluaciones basadas en promedios: una simulación puede parecer precisa a nivel agregado y, aun así, no representar las opiniones de una persona determinada, por ejemplo, si sus respuestas tienden a acercarse a las de la mayoría.

YouGov hizo las mismas preguntas nuevas a los E-twins y a sus contrapartes humanas, y recontactó a los panelistas para comprobar las respuestas. El 69% respondió dentro de las 48 horas, lo que permitió una validación directa y cercana en el tiempo; la empresa señaló que, en sus operaciones diarias, este proceso podría realizarse en apenas una hora, aunque el reporte no presenta ese plazo como resultado de la prueba descrita.

La diferencia entre la cantidad de gemelos creados y el grupo humano que participó en la comparación refleja el alcance reportado para cada etapa: se construyeron 1.008 simulaciones y se compararon resultados con 693 personas verificadas. En la medida principal, la compañía consideró acertada una respuesta cuando quedaba dentro de un punto de la respuesta humana en una escala de cinco puntos, un criterio de proximidad que no equivale necesariamente a una coincidencia exacta.

El estudio también recoge una evaluación subjetiva de las respuestas abiertas: en el 75% de las ocasiones, los panelistas dijeron que la contestación de su E-twin describía sus propias opiniones. Ese dato complementa la comparación de escalas, pero mide cómo las personas reconocieron sus puntos de vista en respuestas redactadas, no una coincidencia matemática exacta en cada pregunta.

Más información personal, más coincidencia reportada

El resultado más alto apareció cuando los gemelos recibieron datos sobre las valoraciones de los panelistas acerca de más de 4.000 marcas y entidades. Con ese material, YouGov reportó una precisión individual del 90%, frente al 78% obtenido cuando los modelos utilizaron únicamente datos de perfilado; la compañía interpreta la diferencia como evidencia de que el contexto específico de una persona puede aportar más que sus características generales.

La prueba incluyó además un tema que no formó parte del entrenamiento: los libros de ficción. Ante preguntas sobre ese ámbito, los E-twins también quedaron dentro de un punto de la respuesta humana el 90% de las veces, según los resultados publicados; el desempeño sugiere que la información reunida puede ayudar a estimar opiniones fuera de los temas incluidos directamente en los datos de entrenamiento.

Ese resultado no demuestra que los gemelos puedan responder con igual precisión sobre cualquier asunto que no hayan visto. El reporte presenta la ficción como una prueba específica y reconoce que la investigación deberá ampliarse; por eso, el 90% describe el desempeño observado bajo las condiciones estudiadas, no una garantía general para todo tema, población o aplicación de la simulación.

OriginalVoices asignó a cada respuesta abierta un nivel de confianza alto, medio o bajo, y las valoraciones de los participantes mostraron una relación gradual con esas categorías. Los panelistas consideraron que las respuestas describían bastante o muy bien sus propias opiniones en el 81% de los casos con confianza alta, el 72% con confianza media y el 67% con confianza baja, una diferencia que podría servir como señal para que los investigadores evalúen cada salida con más cautela.

YouGov también señaló que el uso de información contextual redujo la dependencia de los datos demográficos y que el análisis no encontró un patrón de rendimiento sesgado por edad, género, raza o nivel educativo. La afirmación se limita a los resultados revisados en este estudio y no elimina la necesidad de seguir comprobando posibles diferencias en futuros conjuntos de datos, preguntas o usos de los modelos.

La empresa pide reglas comunes y reconoce límites

La compañía cuestiona que algunas pruebas difundidas por proveedores de simulación se basen en conjuntos de datos disponibles públicamente. Si una pregunta ya aparece en los datos con los que se entrenó el modelo lingüístico, advierte, una respuesta correcta podría reflejar información previamente absorbida y no una capacidad genuina para reproducir las opiniones de una persona; además, una evaluación agregada puede ocultar simulaciones que se acercan al promedio o dependen de estereotipos.

Como respuesta, YouGov pide que la industria acuerde estándares de verificación y validación para casos de uso definidos. Su propuesta incluye comparar cada gemelo con la persona en la que se basa, probar preguntas sobre asuntos no utilizados en el entrenamiento, publicar métodos y errores, y someter predicciones a resultados del mundo real que puedan observarse públicamente.

Stephan Shakespeare, presentado en el informe como CEO y cofundador de YouGov, dijo que la posibilidad de que la simulación con IA sea un avance beneficioso o un desarrollo peligroso depende de que los clientes puedan evaluar la fiabilidad de sus resultados. También instó a los participantes del sector a colaborar en estándares, y planteó que la confianza del público debe ganarse con controles compartidos, en lugar de depender únicamente de las afirmaciones de cada proveedor.

El documento reconoce, sin embargo, que el experimento no midió el techo de coincidencia: la frecuencia con la que una persona repite su propia respuesta cuando recibe otra vez la misma pregunta. La compañía plantea como ejemplo hipotético que, si los panelistas repitieran sus valoraciones el 70% de las veces, la coincidencia exacta del 58% observada en los gemelos equivaldría al 83% de ese máximo posible; YouGov afirma que medirá esta variable en una próxima iteración.

Ese límite importa porque una simulación no puede reproducir de forma razonable mejor que la propia persona una respuesta que cambia o se repite de manera inconsistente. En su informe, la compañía presenta la comparación individual y la validación simultánea como componentes de un estándar más sólido, pero el dato pendiente sobre la repetibilidad humana impide interpretar la cifra de coincidencia exacta sin conocer primero cuánto se mantienen estables las respuestas de los participantes.

La publicación, titulada An evaluation of digital twins based on YouGov panel data, propone una hoja de ruta para evaluar estas herramientas y no solo una cifra de rendimiento. Su planteamiento pone el foco en mostrar cómo se construyen las simulaciones, qué margen de error tienen y si sus predicciones se sostienen ante observaciones posteriores, aspectos relevantes para investigadores y organizaciones que consideren usar respuestas sintéticas en lugar de consultar directamente a personas.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados