Por Angel Di Matteo   𝕏 @shadowargel

La empresa PrismML presentó Bonsai 27B, un modelo de inteligencia artificial de 27.000 millones de parámetros que logra ejecutarse en dispositivos como un iPhone gracias a una nueva técnica de compresión desarrollada sobre tecnología del Instituto Tecnológico de California (Caltech). La propuesta reduce drásticamente el consumo de memoria sin sacrificar gran parte del rendimiento, abriendo la puerta a modelos avanzados que funcionan completamente de forma local y sin depender de la nube.

***

  • Bonsai 27B reduce un modelo de 54 GB hasta apenas 3,9 GB para ejecutarlo en un smartphone.
  • La versión ternaria conserva cerca del 95% del rendimiento del modelo original.
  • PrismML utiliza una técnica de compresión que elimina la necesidad de capas de alta precisión.
  • Apple ya evalúa la tecnología para posibles aplicaciones en dispositivos futuros.

 

La inteligencia artificial de gran escala suele estar reservada para centros de datos equipados con costosas GPU. Un modelo de aproximadamente 27.000 millones de parámetros necesita cerca de 54 GB de memoria para funcionar con precisión de 16 bits, una cantidad superior a la memoria disponible en la mayoría de los computadores personales y muy por encima de las capacidades de un teléfono inteligente.

PrismML afirma haber roto esa barrera con Bonsai 27B, un modelo que reduce su tamaño hasta 3,9 GB en su versión binaria y 5,9 GB en su variante ternaria, permitiendo ejecutar un sistema de esta categoría directamente en dispositivos de consumo como un iPhone 17 Pro Max o un portátil con procesador Apple Silicon, detalla Decrypt.

Un nuevo enfoque para comprimir modelos

La innovación se basa en una técnica desarrollada a partir de propiedad intelectual de Caltech que modifica radicalmente la forma en que se almacenan los parámetros del modelo.

En lugar de utilizar números de 16 bits —el estándar habitual en modelos modernos— la versión binaria únicamente conserva el signo de cada parámetro, representándolo como +1 o -1. La versión ternaria añade un tercer estado equivalente a 0, ofreciendo un poco más de flexibilidad sin incrementar significativamente el tamaño final.

En términos sencillos, mientras un modelo tradicional dispone de decenas de miles de posibles valores para cada parámetro interno, Bonsai limita cada uno a únicamente dos o tres estados posibles.

Gracias a ello, el modelo binario alcanza una densidad aproximada de 1,125 bits por parámetro, unas 14 veces menor que la versión original.

Sin recurrir a “atajos”

Uno de los aspectos que PrismML destaca como diferencial frente a otras técnicas de cuantización consiste en que toda la red neuronal se comprime de forma uniforme.

Habitualmente, los modelos de baja precisión mantienen algunas capas críticas utilizando mayor precisión para preservar el rendimiento, aumentando parcialmente el tamaño del archivo final.

Bonsai elimina ese compromiso. Embeddings, mecanismos de atención y la cabeza del modelo lingüístico permanecen comprimidos de extremo a extremo sin incorporar capas especiales de mayor precisión.

Un salto respecto al primer Bonsai

La compañía ya había presentado en marzo Bonsai 8B, un modelo de apenas 1,15 GB que demostraba la viabilidad de una arquitectura basada en un solo bit.

Sin embargo, el paso hacia los 27.000 millones de parámetros representa un cambio mucho más relevante.

Es precisamente a partir de ese tamaño cuando los modelos comienzan a mostrar capacidades más avanzadas como razonamiento prolongado, uso consistente de herramientas externas y comportamientos propios de agentes de inteligencia artificial capaces de ejecutar múltiples tareas encadenadas.

Conserva cerca del 95% del rendimiento

Según PrismML, la versión ternaria de Bonsai 27B alcanza una puntuación promedio equivalente al 94,6% del modelo original de precisión completa en un conjunto de quince pruebas que abarcan conocimientos generales, matemáticas, programación y uso de herramientas.

Los resultados muestran un comportamiento especialmente competitivo considerando el tamaño del modelo.

En pruebas matemáticas inspiradas en el examen estadounidense AIME, Bonsai obtuvo un rendimiento cercano al de modelos considerablemente más grandes. En programación también logró resultados próximos a los de Qwen 3.6, mientras que en conocimientos generales mantiene un desempeño ligeramente inferior pero competitivo.

Contextos mucho más largos

Otra de las novedades es la incorporación de una arquitectura híbrida donde aproximadamente el 75% de las capas utilizan atención lineal en lugar del mecanismo cuadrático tradicional.

Esta modificación permite trabajar con ventanas de contexto de hasta 262.000 tokens, una longitud difícil de alcanzar en dispositivos móviles utilizando arquitecturas convencionales debido al elevado consumo de memoria.

Funcionamiento local y sin costos de API

Durante sus propias pruebas, PrismML evaluó el modelo desarrollando un videojuego de terror basado en mecanografía.

La empresa afirma que Bonsai genera código funcional tras pocas iteraciones, mostrando una buena comprensión de la estructura general de los proyectos antes de comenzar a refinarlos.

En escritura creativa los resultados fueron más variables. Aunque el modelo no destacó especialmente por su originalidad en instrucciones simples, produjo relatos con una estructura coherente y consistente, comparables en algunos escenarios con modelos como Claude Haiku e incluso Claude Sonnet ejecutados con configuraciones de menor esfuerzo.

La principal ventaja, subraya la compañía, es que todas esas tareas pueden ejecutarse localmente sin conexión permanente a Internet ni costos asociados al uso de APIs comerciales.

Apple estudia la tecnología

PrismML también presentó DSpark, un sistema de decodificación especulativa que incrementa aproximadamente un 37% la velocidad de inferencia en servidores equipados con GPU NVIDIA H100 sin modificar la calidad de las respuestas generadas.

Aunque esta función todavía no se encuentra habilitada por defecto en equipos con Apple Silicon, representa otra mejora importante para aplicaciones empresariales.

El potencial de la tecnología ya habría despertado el interés de Apple. El director ejecutivo de PrismML, Babak Hassibi, confirmó a CNBC que la empresa mantiene conversaciones preliminares con la compañía de Cupertino para evaluar la incorporación de este sistema de compresión en futuras soluciones de inteligencia artificial ejecutadas directamente sobre dispositivos.

Mientras tanto, PrismML anunció que trabaja en versiones comprimidas de otros modelos abiertos, incluido Gemma, y posteriormente planea extender la tecnología hacia modelos de frontera aún más grandes.

La posibilidad de ejecutar modelos avanzados completamente de forma local podría reducir significativamente la dependencia de servicios en la nube, mejorar la privacidad de los usuarios y ampliar el acceso a herramientas de inteligencia artificial en dispositivos de consumo con recursos limitados.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados