Por Canuto  

Samaya AI afirma que Sterling, un agente de investigación financiera basado en un modelo de 30.000 millones de parámetros con solo 3.000 millones activos, superó a Claude Fable 5.1 en FrontierFinance y redujo el costo por consulta de USD $6,89 a USD $0,61. La empresa atribuye el desempeño a un entrenamiento especializado y a un sistema de herramientas diseñado para el modelo. Los resultados corresponden a un benchmark desarrollado por Samaya y son autodeclarados.
***

  • Sterling obtuvo 58,9% en FrontierFinance, frente a 55,9% de Claude Fable 5.1, según cifras divulgadas por Samaya.
  • El costo informado por consulta fue de USD $0,61 para Sterling y USD $6,89 para Claude; en modo de alto esfuerzo, Samaya reportó 60,6% para Sterling por USD $1,83.
  • El agente fue ajustado con LoRA sobre Nemotron 3.5 Lightning y entrenado mediante dos etapas de ajuste supervisado y dos etapas GRPO.

Samaya Sterling supera a Claude Fable 5.1 en su benchmark financiero a menor costo

Un agente diseñado para investigar finanzas

Samaya AI presentó Sterling, un agente de investigación financiera que, según los resultados publicados por la empresa, obtuvo una puntuación superior a Claude Fable 5.1 en FrontierFinance. El sistema alcanzó 58,9% en el benchmark, frente a 55,9% de Claude, y registró un costo de USD $0,61 por consulta, comparado con USD $6,89 para el modelo de Anthropic. Las cifras son autodeclaradas y corresponden a una evaluación publicada por la propia Samaya.

Sterling no es simplemente un modelo conversacional al que se le pide redactar un análisis. El agente planifica la investigación, consulta herramientas financieras, reúne evidencia y luego entrega sus hallazgos a otro modelo encargado de escribir el informe, una división de tareas que busca orientar cada etapa a una función concreta.

La base técnica es Nemotron 3.5 Lightning de NVIDIA, un modelo de mezcla de expertos con 30.000 millones de parámetros en total y 3.000 millones activos. Samaya aplicó un ajuste posterior con LoRA para especializarlo en investigación financiera agéntica, un enfoque que modifica parte del comportamiento del modelo sin convertir la adaptación en un entrenamiento completo desde cero.

El proyecto, según el anuncio atribuido a Maithra Raghu, comenzó como un esfuerzo de dos personas centrado en mejorar la eficiencia de la orquestación de agentes. Esa descripción sitúa la apuesta más allá del tamaño del modelo: Sterling depende de un sistema que distribuye instrucciones, herramientas y tareas auxiliares para que un modelo compacto pueda completar investigaciones complejas.

Qué muestran las cifras de FrontierFinance

FrontierFinance reúne 220 consultas públicas y 11.543 rúbricas redactadas por expertos, según la descripción del benchmark publicada por Samaya. Las respuestas se evalúan mediante rúbricas; Samaya sostiene que no utilizó preguntas de ese benchmark durante el entrenamiento y que eligió sus checkpoints con un conjunto interno de validación de 100 preguntas. La empresa divulgó el puntaje, el costo y el tiempo de procesamiento de los sistemas comparados.

En la evaluación principal, Sterling marcó 58,9% con un costo de USD $0,61 por consulta y una duración promedio reportada de 282 segundos. Claude Fable 5.1 obtuvo 55,9%, tardó 268 segundos y costó USD $6,89 por pregunta, de acuerdo con los datos publicados por Samaya; por tanto, el sistema más económico no fue el más rápido en esa comparación.

La diferencia de costos equivale a un gasto unas 11 veces menor por consulta para Sterling, pero el resultado no debe leerse como una comparación universal entre ambos productos. Mide el desempeño en una tarea financiera concreta, bajo el benchmark y las condiciones informadas por Samaya, que también señala que el precio de Sterling incluye herramientas y modelos auxiliares, no solo la inferencia del modelo principal.

En el modo de alto esfuerzo, Samaya reportó que Sterling alcanzó 60,6%, con un costo de USD $1,83 y 372 segundos por pregunta. El sistema propio de Samaya configurado para alto esfuerzo, por su parte, obtuvo 56,0% a USD $1,81 y 278 segundos. Son configuraciones distintas, por lo que sus resultados deben interpretarse en ese contexto.

Entrenamiento, herramientas y control del contexto

Samaya entrenó Sterling con LoRA mediante Tinker, la API de entrenamiento de Thinking Machines Lab, y organizó el proceso en cuatro etapas: dos de ajuste supervisado y dos de optimización GRPO. En la primera etapa, el equipo generó 968 preguntas sintéticas de analistas y pidió al modelo profesor Kimi K3 que produjera dos respuestas para cada una; un juez de lenguaje seleccionó la alternativa preferida.

Ese primer conjunto ayudó a Sterling a aprender a llamar 37 herramientas con argumentos válidos, una capacidad necesaria para que el agente pueda buscar información y no dependa exclusivamente de lo que ya contiene su modelo. En la segunda etapa, Kimi K3 abordó 1.819 preguntas escritas por expertos usando ocho estrategias de investigación, y el equipo convirtió en datos de entrenamiento la respuesta mejor calificada para cada consulta.

La selección entre ocho estrategias alcanzó 80% de los elementos esenciales definidos por la rúbrica, frente a cerca de 66% para la mejor estrategia individual. Tras filtrar los ejemplos, quedaron 1.157 preguntas para el entrenamiento, una reducción que muestra cómo el equipo priorizó la calidad de las respuestas seleccionadas antes de ampliar el conjunto final de datos.

Las dos etapas restantes aplicaron GRPO, una técnica de optimización por preferencias: primero de forma offline, comparando las ocho respuestas ya generadas por el modelo profesor, y luego online, cuando Sterling respondió cada pregunta ocho veces y aprendió de los intentos calificados. Samaya también empleó muestreo de importancia truncado para corregir un desajuste conocido del sampler en modelos de mezcla de expertos.

El diseño del agente y los límites de la comparación

El rendimiento no depende únicamente del ajuste del modelo, sino también de un harness, o estructura de ejecución, adaptado para un sistema con pocos parámetros activos. El equipo simplificó el prompt de sistema y las descripciones de las herramientas, retiró instrucciones extensas y fusionó herramientas para reducir el texto que el agente debía procesar antes de empezar su trabajo.

Dos modelos auxiliares ayudan a controlar el contexto a medida que avanza la investigación: un condensador acorta las salidas extensas de las herramientas y un compactador resume la traza acumulada. Además, un presupuesto limita cuánto puede investigar el agente antes de que un escritor de informes separado redacte la respuesta con la evidencia reunida.

En los resultados publicados, cada etapa de desarrollo elevó la puntuación desde 42,5% para el modelo base hasta 51,4%, 54,8%, 57,5% y finalmente 58,9%. Al mismo tiempo, la mediana de llamadas a herramientas pasó de tres a 17, una señal de que el sistema mejoró mediante un uso más intensivo de sus recursos de investigación, no solo por cambios en la respuesta final.

La ventaja disminuye en el tercio de preguntas más difíciles: allí, Samaya informa que el puntaje subió de 31,8% a 45,2%. La cifra ilustra tanto el avance como una limitación importante, pues el mejor resultado general no significa que Sterling resuelva con igual eficacia todas las consultas complejas del benchmark.

Costos, disponibilidad y alcance de la afirmación

Samaya atribuye USD $0,04 del costo por consulta al modelo principal, mientras que las herramientas y los modelos auxiliares elevan el total a USD $0,61. Para Claude Fable 5.1, la empresa reportó USD $6,89 por pregunta y precios de USD $10 por millón de tokens de entrada y USD $50 por millón de tokens de salida; la comparación de costos depende, por tanto, de las condiciones de uso y del sistema completo.

La empresa no reveló el contexto de servicio de Sterling ni el hardware utilizado para ejecutarlo. El modelo base admite hasta un millón de tokens de contexto, y Samaya indica que cabe en una sola GPU H100 de 80 GB en BF16 con una ventana de 256.000 tokens, pero esa referencia corresponde a Nemotron 3.5 Lightning y no confirma la configuración de Sterling en producción.

Tampoco se anunciaron pesos públicos ni una API para Sterling, según la información divulgada. El modelo base, Nemotron 3.5 Lightning, figura con licencia OpenMDW-1.1 y pesos abiertos, mientras Claude Fable 5.1 se ofrece mediante una API propietaria; el acceso distinto limita la posibilidad de tratar ambos sistemas como productos intercambiables para desarrolladores.

La lectura más sólida de los datos es que un modelo especializado, acompañado por herramientas y una arquitectura de agente cuidadosamente ajustada, puede competir en una tarea financiera específica con un costo menor, según las cifras de Samaya. Sin embargo, FrontierFinance es un benchmark desarrollado por la empresa y sus resultados son autodeclarados, de modo que una evaluación independiente y el acceso público a Sterling serían necesarios para comprobar hasta dónde se extiende la ventaja fuera de esa prueba.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados