Por Canuto  

Baseten presentó joey-1, un modelo de decisión de 2.000 millones de parámetros que devuelve etiquetas y probabilidades en lugar de redactar texto. La compañía afirma que alcanza una latencia P50 de 20 milisegundos y cobra USD $0,01 por millón de tokens de entrada, aunque sus propios datos muestran una brecha frente a modelos más grandes de la familia.
***

  • joey-1 responde preguntas de clasificación, sí o no y puntuación con probabilidades calibradas, sin generar texto libre.
  • Baseten reporta 20 milisegundos de latencia P50 y un precio de USD $0,01 por millón de tokens de entrada.
  • El modelo logró 63,30 puntos en el Jev Decision Index 0.4, pero quedó 8,94 puntos por debajo de elephant-1.

Baseten incorporó a su oferta joey-1, un modelo de decisión de 2.000 millones de parámetros pensado para clasificar solicitudes, dirigir tareas y revisar controles de seguridad. En vez de producir una respuesta en prosa, entrega etiquetas y probabilidades para cada opción, un formato que puede reducir el trabajo de interpretación en aplicaciones automatizadas.

Un modelo que elige en vez de redactar

La diferencia central con un asistente conversacional es que joey-1 no busca sostener una charla ni redactar explicaciones extensas. Recibe un estado en texto o JSON junto con una o varias preguntas, y devuelve una probabilidad para las opciones asociadas; así, un sistema puede decidir qué hacer sin tener que extraer una categoría desde una respuesta abierta.

El modelo admite tres tipos de consultas: elección entre opciones nombradas, respuesta de sí o no y puntuación en una escala ordenada. La puntuación sirve, por ejemplo, para ordenar niveles de urgencia; la empresa también señala que la salida incluye una opción de incertidumbre.

Ese diseño apunta a tareas repetitivas y de alto volumen, como clasificar tickets de soporte, enrutar solicitudes a un equipo o aplicar verificaciones de guardarraíles. En esos casos, una etiqueta acompañada de una probabilidad puede conectarse directamente con reglas de negocio, aunque la utilidad depende de que cada organización defina sus propios umbrales y revise los casos dudosos.

joey-1 es el tercer integrante de la familia de modelos de decisión de Base Labs, el laboratorio de investigación interno de Baseten. La compañía había presentado mammoth-1, de 27B, y elephant-1, de 9B, la semana anterior, y afirma que los tres comparten datos de entrenamiento y la API /v1/systemone, lo que facilita cambiar de modelo con una modificación mínima en la integración.

Entrenamiento y calibración de las respuestas

Base Labs partió de Qwen3.5-2B y lo sometió a un ajuste fino completo del modelo de lenguaje, mientras mantuvo congelado el codificador de visión. La ficha técnica describe además una máscara de atención bidireccional por bloques, y señala que las preguntas de una misma solicitud comparten un prefijo procesado en una sola pasada inicial.

Ese preprocesamiento compartido permite, según la descripción técnica, responder varias preguntas sobre el mismo estado sin añadir un costo equivalente al de repetir todo el cálculo desde cero. El beneficio puede ser relevante cuando una aplicación comprueba varios atributos de un ticket o una imagen, pero no elimina la necesidad de medir el rendimiento con la carga y la infraestructura concretas de cada despliegue.

La ficha de modelo informa que el entrenamiento utilizó 6,21 millones de ejemplos: 58,3% correspondió a habilidades centrales de decisión, 16,1% a seguridad, otro 16,1% a evaluación y dominios expertos, y 9,5% a datos públicos. La receta incluyó una época de entrenamiento y 43.390 pasos, con una tasa de aprendizaje máxima de 1e-5 y precisión bf16.

El objetivo combinó entropía cruzada con un término de calibración Brier, además de una opción entrenada de no saber la respuesta. La calibración busca que las probabilidades reflejen mejor la confianza del modelo: una aplicación podría derivar los resultados inciertos a elephant-1, mammoth-1 o a una persona, en lugar de tratar cada clasificación como igualmente segura.

Para el entrenamiento, Baseten reportó el uso de dos nodos con ocho GPU H100 cada uno. Ese dato describe el proceso de desarrollo, no el requisito mínimo para ejecutar el modelo: la empresa sostiene que joey-1 puede autoalojarse en una GPU CUDA, aunque la información suministrada no especifica la memoria de video necesaria.

Precio, latencia y resultados de evaluación

En sus Model APIs, Baseten fija el precio de entrada en USD $0,01 por millón de tokens, mientras que enumera a USD $0,00 tanto los tokens de salida como los de entrada almacenados en caché. La compañía reporta una latencia de extremo a extremo P50 de 20 milisegundos para una petición promedio de 2.000 tokens, frente a 49 milisegundos para elephant-1 en su plataforma.

Baseten también describe a joey-1 como cinco veces más rápido que modelos de decisión comparables, aunque el material citado no identifica cuáles usó para esa comparación. Por ello, la cifra de 20 milisegundos debe leerse como un resultado reportado por la empresa bajo sus condiciones de prueba, no como una garantía de rendimiento idéntico en cualquier proveedor o infraestructura.

La compañía ilustra el precio con un escenario de 10 millones de tickets mensuales, cada uno con unos 500 tokens, equivalentes a 5.000 millones de tokens de entrada. Según ese cálculo, procesarlos con joey-1 costaría cerca de USD $50, frente a USD $500 con mammoth-1, que cobra USD $0,10 por millón de tokens; elephant-1 figura a USD $0,035.

En el split público del Jev Decision Index 0.4, joey-1 obtuvo 63,30 puntos y ocupó el puesto 37 entre 230 modelos, la mejor puntuación reportada para una opción de menos de 4B. La ficha de Baseten atribuye a Cloudflare Clef, de 27B, 61,71 puntos, y a Jev 1.14, 60,70, pero el modelo pequeño de Baseten quedó por debajo de elephant-1, que alcanzó 72,24.

La comparación también tiene límites: las puntuaciones y resultados presentados proceden de la ficha de Baseten, y no equivalen por sí mismos a una evaluación independiente. En una réplica del Artificial Analysis Decision Index, la compañía reportó 62,9 puntos para joey-1 y 65,9 para mammoth-1; además, la tabla de referencia incluye 60,06 para Perplexity Decider Flash v1.2, de 4B, y una mediana de 38,8 milisegundos para Cloudflare Clef-Flash, con métricas que no son directamente comparables.

Acceso, despliegue y límites prácticos

Los desarrolladores pueden invocar el modelo en Model APIs como decision-models/baseten-joey-2b-latest, mediante la ruta /v1/systemone; la retención cero de datos aparece activada por defecto. Baseten también ofrece despliegues dedicados, donde indica que se habilita un contexto de hasta 262.000 tokens, frente a los 16.384 disponibles en Model APIs.

Para el autoalojamiento, los pesos están publicados en Hugging Face bajo licencia MIT y la guía de instalación emplea el script setup.sh. La configuración indicada exige una GPU CUDA y una imagen con PyTorch 2.8 y CUDA 12.8, pero la compañía no detalla la cantidad de VRAM; tampoco aparecen versiones cuantizadas oficiales en la información descrita.

La ventana de contexto de 262.000 tokens corresponde a los despliegues dedicados según Baseten, que también menciona pesos ajustados y la posibilidad de ubicar el modelo junto a cargas de trabajo de modelos de lenguaje. Esa capacidad no debe confundirse con la configuración estándar de la API, cuyo máximo indicado es 16.384 tokens, ni con una prueba de que todas las tareas necesiten una ventana extensa.

El acceso no se limita a la plataforma de la empresa: joey-1 también figura en OpenRouter por USD $0,01 por millón de tokens de entrada, y Baseten ofrece trabajos de ajuste fino mediante una guía específica. La disponibilidad de pesos y la licencia MIT abren la puerta a experimentación y personalización, aunque cada equipo deberá evaluar sus requisitos de hardware, seguridad y precisión antes de llevarlo a producción.

El posicionamiento de joey-1 es el de un clasificador rápido para la primera etapa de un flujo, no el de un reemplazo universal para modelos de mayor tamaño. Sus resultados muestran una ventaja de costo y latencia reportada por su desarrollador, junto con una diferencia de 8,94 puntos frente a elephant-1 en el índice público; la decisión entre ambos dependerá del volumen, el presupuesto y la tolerancia al error de cada aplicación.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados