Por Canuto  

Campbell Brown, exjefa de noticias de Meta, sostiene que la IA ya se convirtió en un canal central para el consumo de información, pero advierte que los grandes modelos todavía fallan en precisión, contexto y neutralidad. Su startup, Forum AI, busca evaluar esos sistemas en temas de alto riesgo con ayuda de expertos y jueces de IA.

***

  • Campbell Brown afirma que la IA puede convertirse en el principal embudo de información, aunque hoy siga entregando errores y respuestas deficientes.
  • Forum AI evalúa modelos fundacionales en geopolítica, salud mental, finanzas y contratación con benchmarks creados por especialistas.
  • La exejecutiva de Meta critica el enfoque de la industria, las auditorías de cumplimiento superficiales y los incentivos que priorizan lo equivocado.

 

La expansión de la inteligencia artificial (IA) generativa ha abierto una pregunta cada vez más delicada para usuarios, empresas y reguladores: quién decide qué respuestas ofrece un modelo cuando se le consulta sobre asuntos complejos. En ese debate, Campbell Brown, exjefa de noticias de Meta y antigua periodista televisiva, planteó una advertencia directa sobre el rumbo actual de la industria.

Brown considera que los sistemas de IA se están convirtiendo en el nuevo embudo por el que circula buena parte de la información que consume la gente. Su preocupación no es abstracta. A su juicio, los modelos todavía cometen demasiados errores cuando abordan temas sensibles, justamente aquellos en los que no existen respuestas binarias y donde el contexto importa tanto como los datos.

En una conversación reciente reseñada por TechCrunch, la ejecutiva explicó que esa inquietud fue la base para crear Forum AI, una startup fundada hace 17 meses en Nueva York. La empresa intenta medir cómo se desempeñan los modelos fundacionales en lo que denomina “temas de alto riesgo”, como geopolítica, salud mental, finanzas y contratación.

Los modelos fundacionales son los grandes sistemas de IA sobre los que luego se construyen chatbots, asistentes y otras herramientas de uso masivo. Su importancia crece porque ya no solo redactan textos o resumen documentos, sino que también median decisiones, recomendaciones y búsquedas en campos con implicaciones sociales, legales y económicas.

Forum AI y la idea de evaluar lo que hoy no se mide bien

Según Brown, el punto central de Forum AI es reunir a especialistas de primer nivel para que diseñen benchmarks capaces de capturar matices reales. Después, la empresa entrena jueces de IA que permitan evaluar a gran escala la calidad de las respuestas emitidas por los modelos en escenarios delicados.

Para su trabajo en geopolítica, Brown dijo haber reclutado a figuras como Niall Ferguson, Fareed Zakaria, el exsecretario de Estado Tony Blinken, el expresidente de la Cámara Kevin McCarthy y Anne Neuberger, quien dirigió la ciberseguridad en la administración Obama. El objetivo es que los jueces de IA alcancen cerca de un 90% de consenso con esos expertos humanos.

Ese umbral, afirmó, ya ha podido alcanzarse dentro del trabajo de la compañía. La apuesta de Forum AI es que una evaluación útil no puede depender solo de pruebas genéricas, porque los errores más costosos suelen aparecer en los bordes del sistema, allí donde la ambigüedad, la interpretación y los vacíos de contexto generan fallos difíciles de detectar.

Brown ubicó el origen del proyecto en una etapa que vivió dentro de Meta, cuando ChatGPT fue lanzado públicamente. Recordó que poco después entendió que la IA conversacional podía convertirse en la puerta principal de acceso a la información, y que su desempeño en ese frente todavía estaba lejos de ser satisfactorio.

Errores, sesgos y respuestas sin contexto

La exejecutiva fue especialmente crítica al describir los primeros resultados que observó al evaluar modelos líderes. Citó, por ejemplo, casos en los que Gemini recurría a sitios web del Partido Comunista Chino para historias que no tenían relación con China. También señaló un sesgo político inclinado a la izquierda en casi todos los modelos examinados.

Más allá de esos ejemplos, Brown remarcó que los problemas no siempre son burdos. A veces se manifiestan como omisiones de perspectivas relevantes, falta de contexto o caricaturización de ciertos argumentos sin que el sistema lo admita. En otras palabras, la respuesta puede sonar razonable para un usuario común y aun así estar mal encuadrada.

Su diagnóstico es que queda mucho camino por recorrer, aunque también cree que existen correcciones relativamente sencillas que mejorarían de forma importante los resultados. Ese comentario apunta a una crítica más profunda sobre las prioridades de la industria, que a su entender ha prestado más atención a capacidades técnicas como programación y matemáticas que a la calidad informativa.

Brown sostuvo que las empresas de modelos fundacionales están extremadamente enfocadas en áreas donde las respuestas son más medibles. Sin embargo, insistió en que el hecho de que noticias e información sean más difíciles de evaluar no las vuelve opcionales. Para ella, precisamente ahí está una de las pruebas más serias para cualquier sistema que aspire a ser ampliamente confiable.

La sombra de los errores de las redes sociales

La experiencia de Brown en Facebook también atraviesa su lectura del presente. Durante años observó lo que ocurre cuando una plataforma optimiza para métricas equivocadas. Dijo que fracasaron en muchas de las cosas que intentaron, y recordó que el programa de verificación de datos que ayudó a construir ya no existe.

La lección que extrae de esa etapa es dura. A su juicio, optimizar para el engagement resultó nefasto para la sociedad y dejó a muchas personas menos informadas. Ahora teme que la IA repita una dinámica parecida, aunque con un alcance distinto, porque los usuarios pueden recibir respuestas ya empaquetadas como si fueran autoridad confiable.

En ese contexto, señaló que el desenlace todavía no está definido. La IA podría seguir el camino de ofrecer a la gente lo que quiere escuchar, o bien avanzar hacia un modelo orientado a dar respuestas reales, honestas y verdaderas. Reconoció que esa visión puede sonar idealista, pero considera que aún existe una oportunidad para influir en el diseño de los incentivos.

Uno de esos incentivos podría venir del sector corporativo. Brown cree que las empresas que usan IA en decisiones de crédito, préstamos, seguros o contratación sí tienen razones concretas para optimizar por precisión. En esos casos, la responsabilidad legal y el riesgo regulatorio pueden empujar una demanda más seria por sistemas verificables y mejor auditados.

El negocio de la evaluación y las grietas del cumplimiento

Forum AI también intenta construir un negocio alrededor de esa necesidad. Sin embargo, Brown admitió que transformar el interés por cumplimiento normativo en ingresos estables sigue siendo difícil. Parte del problema es que buena parte del mercado todavía se conforma con auditorías de casilla y benchmarks estandarizados que, en su opinión, no bastan para detectar fallos reales.

Su crítica al panorama regulatorio fue especialmente frontal. Lo calificó como “un chiste” al referirse a la manera en que hoy se presentan muchas revisiones de cumplimiento. Como ejemplo, mencionó que, tras la aprobación en la ciudad de Nueva York de la primera ley sobre sesgo en contratación que exigía auditorías de IA, el contralor del estado encontró que más de la mitad de esas auditorías tenía infracciones que no fueron detectadas.

Para Brown, una evaluación seria exige pericia de dominio y trabajo con casos límite. Esos son, según dijo, los escenarios capaces de meter en problemas a las empresas y a menudo pasan inadvertidos para revisores generalistas. Su frase fue clara: los generalistas inteligentes no serán suficientes para este trabajo.

La startup de Brown recaudó el otoño pasado USD $3.000.000 en una ronda liderada por Lerer Hippeau. Ese capital sirve como respaldo inicial para una tesis que todavía debe probarse comercialmente, en un entorno donde muchas empresas prometen gobernanza responsable de IA, pero no necesariamente pagan por procesos de evaluación más costosos o más sofisticados.

Una brecha entre Silicon Valley y los usuarios

Brown también describió una desconexión entre la narrativa grandilocuente de la industria y la experiencia cotidiana de los usuarios. Dijo que es común escuchar a líderes de grandes tecnológicas afirmar que la IA cambiará el mundo, eliminará empleos o incluso curará el cáncer. Pero la experiencia de una persona normal que usa un chatbot para preguntas básicas, añadió, sigue estando llena de basura y respuestas incorrectas.

Esa diferencia importa porque la confianza en la IA se mantiene en niveles extraordinariamente bajos, según su evaluación. Brown cree que buena parte de ese escepticismo está justificado. Mientras en Silicon Valley se debate sobre capacidades transformadoras y avances espectaculares, muchos consumidores simplemente se encuentran con sistemas que todavía fallan en tareas informativas elementales.

La exdirectiva plantea así una discusión que toca de cerca no solo a la industria tecnológica, sino también a los sectores financieros, regulatorios y mediáticos. Si la IA se consolida como intermediaria principal de información, los criterios usados para entrenarla, auditarla y corregirla pasarán a tener consecuencias muy concretas sobre decisiones económicas, reputaciones y acceso a conocimiento confiable.

Desde esa perspectiva, la pregunta planteada por Brown no se limita a la competencia entre compañías como Meta, OpenAI, Google o Anthropic. También interpela a quienes diseñan estándares, compran soluciones corporativas o regulan su uso. Si nadie define con rigor qué significa una respuesta correcta en áreas críticas, el riesgo no es solo técnico. También es social.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público

Este artículo fue escrito por un redactor de contenido de IA

 


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados