Por Canuto  

Una evaluación de Vals AI encontró que un modelo abierto de DeepSeek se acercó al mejor resultado de un sistema cerrado en redes corporativas simuladas, con un costo por ejecución mucho menor. Las pruebas también mostraron que los agentes pueden necesitar más de 100 millones de tokens para desplegar buena parte de su rendimiento, un factor que, según los investigadores, puede hacer que los benchmarks breves subestimen sus capacidades.
***

  • GPT-6 Sol Daybreak completó 25 de 31 objetivos en el escenario más difícil; DeepSeek V4.1 Flash 1017 llegó a 72,8% y costó cerca de USD $3 por ejecución.
  • En Lighthouse, DeepSeek completó 21 de 31 objetivos; GPT-6 Sol Daybreak alcanzó 25, según la tabla de Vals AI.
  • Un análisis del instituto británico AISI estima que la brecha cibernética entre modelos abiertos y cerrados se redujo a entre cuatro y siete meses.

Los agentes de inteligencia artificial ya pueden recorrer por su cuenta redes corporativas simuladas y cumplir objetivos de intrusión sin recibir instrucciones humanas durante la prueba. En el benchmark CyberOffense de Vals AI, GPT-6 Sol Daybreak completó 25 de 31 objetivos en el escenario más difícil, mientras DeepSeek V4.1 Flash 1017, un modelo de pesos abiertos, alcanzó 72,8%.

La diferencia de rendimiento vino acompañada por una marcada diferencia de costos: la ejecución de DeepSeek costó cerca de USD $3, frente a aproximadamente USD $22 para GPT-6 Sol Daybreak. El resultado no significa que ambos modelos sean equivalentes en todos los escenarios, pero sí refuerza la preocupación de que la ventaja de las herramientas cerradas frente a las abiertas en tareas cibernéticas se está reduciendo.

Qué midió la prueba de Vals AI

CyberOffense busca recrear redes empresariales realistas para evaluar cómo se desempeñan los agentes ante objetivos de ataque encadenados. Cada modelo opera en solitario desde una máquina aislada con Kali Linux y comienza con una dirección web pública, sin asistencia humana; sus acciones se registran desde fuera del agente y reciben una puntuación automática.

El recorrido puede empezar en una aplicación web y continuar hacia servidores Windows, con el objetivo de obtener privilegios de administrador. Esa estructura importa porque la evaluación no se limita a una pregunta de conocimientos o a una tarea breve: mide si el agente puede identificar pasos útiles y avanzar dentro de un entorno que simula distintos componentes de una red corporativa.

La prueba incluye dos escenarios, Nova y Lighthouse, con 21 y 31 objetivos respectivamente. En Nova, GPT-6 Sol Daybreak completó un promedio de 15,7 objetivos en tres ejecuciones, con resultados entre 12 y 19, mientras DeepSeek V4.1 Flash 1017 promedió 16,3, con un rango de 15 a 18.

Los resultados de los demás modelos también variaron entre los dos entornos. En Nova, Kimi K3.1 Pro consiguió 13 objetivos, Grok 4.7 logró 12, Kimi K3 llegó a 9, Meta Wonder obtuvo 7 y GLM 5.3 Flash alcanzó 5; en Lighthouse, sus puntuaciones fueron, en ese mismo orden, 20, 16, 10, 28 y 5.

En Lighthouse, GPT-6 Sol Daybreak completó 25 objetivos de 31, mientras DeepSeek llegó a 21 y Kimi K3.1 Pro a 20. Meta Wonder obtuvo 28, la mayor cifra de ese escenario en la tabla difundida, por lo que el resultado de GPT-6 Sol Daybreak debe leerse junto con las puntuaciones específicas de cada prueba y no como un liderazgo uniforme en todos los casos.

El tiempo de ejecución cambia la lectura del rendimiento

La diferencia entre ejecuciones cortas y prolongadas fue uno de los hallazgos destacados por los investigadores. Según los datos presentados por Vals, muchos modelos no avanzan de manera significativa hasta superar los 100 millones de tokens, una medida del volumen de texto procesado y generado durante el trabajo del agente.

DeepSeek V4.1 Flash 1017, por ejemplo, no registró objetivos completados durante sus primeros 25 millones de tokens y consiguió buena parte de sus avances después de superar los 100 millones. Por eso, una prueba que detiene pronto a los agentes podría subestimar su potencial, especialmente en modelos abiertos cuyo progreso aparece después de una ejecución extensa.

La evaluación más difícil mostró además cómo un agente puede encadenar acciones entre objetivos distintos. En Lighthouse, GPT-6 Sol Daybreak tomó el control administrativo de la primera empresa, robó contraseñas y las utilizó para acceder a una segunda organización simulada; completó 25 de los 31 objetivos en menos de tres horas.

DeepSeek consiguió 21 objetivos en el mismo escenario, a una décima parte del costo de la ejecución de Daybreak, según la comparación publicada. Vals indicó que el resultado no estuvo limitado únicamente por las salvaguardas de seguridad del modelo, aunque la información divulgada no atribuye esa diferencia a una sola causa ni permite concluir que todos los modelos abiertos tengan el mismo desempeño.

El costo es otro aspecto relevante de la comparación, pero no debe confundirse con una medición completa de la seguridad o de la utilidad de cada sistema. Los cerca de USD $3 por ejecución de DeepSeek V4.1 Flash 1017 frente a los aproximadamente USD $22 de GPT-6 Sol Daybreak describen el gasto en esa prueba, no un costo universal para cualquier tarea o configuración.

Una tendencia que también aparece en otros análisis

Los resultados se alinean con un análisis de julio del AI Security Institute (AISI) del Reino Unido, que situó la distancia entre los modelos de frontera abiertos y cerrados en capacidades cibernéticas entre cuatro y siete meses. Durante la mayor parte de 2025, esa brecha se ubicaba entre seis y diez meses, de acuerdo con el instituto, lo que apunta a una reducción del desfase.

El AISI también comparó costos en un ciberentorno: una ejecución con DeepSeek V4-Pro costó USD $1,19, frente a USD $85 para Opus 4.5 de Anthropic. Esa comparación corresponde a otros modelos y otra evaluación, por lo que no debe mezclarse con las cifras de CyberOffense; su relevancia está en que el instituto también encontró una diferencia amplia de costos entre opciones abiertas y cerradas.

La disponibilidad de los pesos introduce un desafío de control distinto al de los servicios cerrados. Los investigadores de Vals advierten que, una vez que los pesos de un modelo se hacen públicos, el proveedor deja de poder controlar o restringir directamente su uso, lo que puede dificultar que las salvaguardas acompañen al modelo cuando terceros lo ejecutan por su cuenta.

Otro estudio reciente de Anthropic señaló que GLM-5-3, disponible libremente, puede construir exploits casi al nivel de Mythos, el mejor modelo interno de la empresa según ese análisis. La noticia no proporciona una cifra comparable para ese resultado, pero la referencia coincide con la tendencia descrita por Vals y AISI: las capacidades cibernéticas avanzadas ya no son exclusivas de los sistemas cerrados.

Vals plantea que los mismos modelos capaces de explotar vulnerabilidades también pueden ayudar a las empresas a encontrarlas y corregirlas antes de que alguien las aproveche. Al mismo tiempo, sus investigadores prevén que los ataques contra redes reales aumenten en los próximos meses; la evaluación, sin embargo, se realizó en redes simuladas y sus resultados no demuestran por sí solos que un agente haya comprometido sistemas empresariales reales.

La principal conclusión es que el rendimiento, el costo, el tiempo de ejecución y los controles de acceso deben analizarse en conjunto, en lugar de reducir la comparación a una sola puntuación. Si los modelos abiertos necesitan más tiempo para mostrar sus capacidades y ofrecen ejecuciones mucho más baratas, los benchmarks breves podrían transmitir una imagen incompleta tanto a quienes evalúan riesgos como a quienes buscan reforzar sus defensas.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados