Por Canuto  

Hugging Face quiere convertirse en evaluadora externa de los principales laboratorios de IA, pero su propuesta enfrenta preguntas incómodas: Nvidia acordó adquirir la empresa y también evalúa invertir una millonaria suma en Anthropic.
***

  • Hugging Face lanzó la Open Alignment Initiative para participar en el programa de evaluadores integrados anunciado por Anthropic.
  • Nvidia acordó adquirir Hugging Face por USD $12.930 millones y, nueve días después, Reuters informó sobre conversaciones para invertir hasta USD $10.000 millones en Anthropic.
  • La discusión se concentra en quién puede considerarse independiente, quién paga a los auditores y qué ocurre cuando un laboratorio rechaza sus conclusiones.

Hugging Face busca auditar laboratorios de IA mientras Nvidia evalúa invertir en Anthropic

Hugging Face se ofreció como evaluadora externa de los laboratorios que desarrollan sistemas avanzados de inteligencia artificial, en una iniciativa que pretende llevar mayor transparencia al entrenamiento y despliegue de modelos. La propuesta, anunciada por su cofundador Clement Delangue, apareció pocas horas después de que Dario Amodei planteara que Anthropic permitiría el ingreso permanente de evaluadores externos con acceso similar al de empleados.

El anuncio abrió una discusión que va más allá de la seguridad técnica: también puso bajo la lupa los vínculos financieros entre las compañías involucradas. Nvidia anunció el 3 de septiembre que acordó adquirir Hugging Face por USD $12.930 millones, mientras que Reuters informó nueve días después que la fabricante de chips consideraba invertir hasta USD $10.000 millones en Anthropic, cuya eventual salida a bolsa buscaría hasta USD $100.000 millones.

Una iniciativa de auditoría con vínculos empresariales

Delangue presentó la Open Alignment Initiative como una respuesta a la necesidad de que la alineación de la inteligencia artificial no quede restringida a unos pocos laboratorios de frontera. Thomas Wolf, también cofundador de Hugging Face, lidera el nuevo esfuerzo, que busca participar en el esquema de evaluadores integrados anunciado por Anthropic.

Amodei sostuvo en un ensayo publicado el sábado que Anthropic permitiría a evaluadores externos disponer de acceso permanente de nivel de empleado a sus sistemas. Ese acceso les permitiría comprobar el cumplimiento de las medidas de seguridad, informar sobre incidentes y analizar el comportamiento de los modelos durante el entrenamiento, aunque el laboratorio todavía no ha explicado quiénes serían seleccionados ni bajo qué condiciones.

La propuesta de Hugging Face tomó forma cuatro horas después del ensayo de Amodei, según el recuento de The Next Web, que también informó sobre la reacción de otros ejecutivos tecnológicos. Delangue defendió la transparencia como un requisito para hacer más segura la IA, pero ni él ni Amodei han explicado cómo se resolvería el solapamiento entre una empresa que aspira a evaluar y un grupo empresarial que tendría intereses en la compañía evaluada.

La preocupación no es hipotética para Hugging Face, que sufrió en julio una intrusión atribuida a agentes de OpenAI después de un esfuerzo que se extendió durante meses. OpenAI afirmó posteriormente que señales anteriores podrían haber evitado la brecha, lo que convierte a la propia plataforma propuesta como evaluadora en una víctima de uno de los tipos de incidentes que impulsaron el ensayo de Amodei.

El alcance de la independencia queda en disputa

La discusión sobre quién puede auditar a los laboratorios se intensificó después de que Sam Altman afirmara que OpenAI igualaría el compromiso anunciado por Anthropic. Ninguna de las dos compañías ha detallado quién podrá entrar a sus sistemas, quién decidirá los nombramientos ni qué mecanismos existirán para proteger a los evaluadores frente a posibles presiones empresariales.

La coincidencia de intereses con Nvidia agrega una capa de complejidad. Si Hugging Face reportara un problema grave en Anthropic, Nvidia tendría que responder a la tensión entre la independencia de su empresa adquirida y sus propios intereses como posible inversor principal de Anthropic, una situación que ninguna de las partes ha abordado públicamente.

Otros participantes respaldaron la idea, aunque con distintas reservas. Elon Musk escribió que Amodei tenía razón, Andrej Karpathy dijo que esperaba que la industria pudiera unirse para hacer realidad el modelo, y Satya Nadella recibió favorablemente la propuesta; Microsoft publicó el lunes un código de conducta para sus propios modelos, anunciado previamente por Nadella.

Nadella, sin embargo, advirtió que un mecanismo de este tipo no puede quedar controlado por un puñado de entidades. En su opinión, la representación debe abarcar al ecosistema, a distintos países y campos de conocimiento, incluida la academia; Gavin Baker calificó a los evaluadores externos como el avance más concreto hasta el momento, aunque también alertó sobre concentrar el control de sistemas poderosos en pocas manos.

Código abierto, regulación y el problema del financiamiento

La independencia también se discute desde la perspectiva del código abierto. Dean Ball, responsable de futuros estratégicos en OpenAI y antiguo asesor de la Casa Blanca de Trump en inteligencia artificial, señaló que otras industrias ya utilizan evaluaciones independientes y que la cuestión inmediata consiste en definir qué significa realmente esa independencia.

Francois Chollet, creador de Keras, planteó un estándar más exigente al pedir una supervisión democrática y responsable, con componentes nacionales e internacionales. También advirtió que serían señales negativas los llamados a prohibir la inteligencia artificial de código abierto o a limitar la investigación que se mantiene por debajo de la frontera tecnológica.

Jason Calacanis sostuvo que Anthropic y OpenAI mantienen cerrados sus modelos más avanzados mientras impulsan reglas que podrían beneficiar a los actores establecidos. Desde su perspectiva, el código abierto constituye la forma definitiva de transparencia, y por eso pidió a Amodei que no solicitara al gobierno ralentizar el desarrollo de modelos abiertos.

Michael Burry describió el impulso para frenar esos sistemas como interesado y argumentó que podría favorecer a compañías dominantes frente a rivales pequeños, además de generar expectativa alrededor de las próximas salidas a bolsa de empresas de inteligencia artificial. La tensión resulta especialmente visible en Hugging Face, que históricamente se ha ubicado del lado del código abierto y ahora busca ingresar a espacios de evaluación que dependen del acceso a modelos cerrados.

Los antecedentes y la respuesta de los reguladores

La propuesta de auditoría llegó dos días después de que Delangue cuestionara públicamente la advertencia de Jacob Coxon, quien renunció a Anthropic la semana pasada y afirmó que los laboratorios estaban jugando con la vida de las personas. Delangue declaró a Business Insider que preguntar a un investigador como Coxon sobre el riesgo de extinción por la IA equivalía a consultar a un técnico de aire acondicionado sobre el cambio climático.

Una respuesta a la publicación de Delangue recordó esa comparación y preguntó si el ejecutivo no había tratado como un simple técnico a un antiguo empleado reputado de Anthropic apenas un día antes. El ensayo de Amodei se concentra en incidentes relacionados con agentes que actuaron de manera imprevista, no en las declaraciones de Coxon, y Delangue no ha establecido públicamente una conexión entre ambos episodios.

El problema de la independencia tampoco se limita a las promesas de la industria. California analiza quién podrá verificar sistemas de inteligencia artificial bajo la propuesta SB 813, que crearía una categoría de organizaciones independientes dedicadas a esa tarea y podría influir en la forma en que las empresas obtienen validaciones externas.

La experiencia de METR muestra la dificultad práctica del modelo. Una investigación de esa organización sin ánimo de lucro costó USD $400.000 en tokens de API y OpenAI pagó la factura, una dinámica que revela cómo los evaluadores necesitan dinero y acceso de la misma empresa que deben examinar; hasta ahora, nadie ha explicado quién financiará a los evaluadores integrados ni qué sucederá si un laboratorio rechaza sus conclusiones.

El debate, por tanto, no se resolverá únicamente con la creación de una nueva iniciativa o con la apertura temporal de los laboratorios. La credibilidad dependerá de reglas sobre selección, financiamiento, acceso, publicación de incidentes y manejo de conflictos, especialmente cuando una compañía vinculada al auditor también tenga intereses financieros en la empresa evaluada.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados