Por Canuto  

PrismML presentó Bonsai 27B, un modelo de razonamiento comprimido a 5,9 GB que busca llevar capacidades avanzadas de IA a computadoras y teléfonos, con mayor privacidad y menor dependencia de la nube.
***

  • Bonsai 27B comprime Qwen3.6 27B hasta 5,9 GB, una reducción de memoria de entre nueve y diez veces.
  • PrismML afirma que el modelo conserva cerca del 98% de las puntuaciones agregadas de los benchmarks de Qwen.
  • La startup prepara modelos de varios cientos de miles de millones de parámetros para los próximos meses.

 

PrismML presentó Bonsai 27B, un modelo de lenguaje con capacidades de razonamiento que ocupa 5,9 GB y puede ejecutarse en una computadora personal. La startup sostiene que esta reducción, equivalente a entre nueve y diez veces menos memoria que el modelo original, podría abrir una ruta para llevar sistemas avanzados de inteligencia artificial a dispositivos de uso cotidiano, incluidos teléfonos inteligentes de gama alta.

Una apuesta por modelos pequeños

La propuesta de PrismML parte de una premisa que desafía la carrera dominante en la industria: los modelos de lenguaje grandes no necesariamente deben conservar un tamaño gigantesco para ofrecer capacidades útiles. La empresa está desarrollando modelos de razonamiento suficientemente pequeños para funcionar en PC y, potencialmente, en smartphones, una estrategia que trasladaríaparte del procesamiento desde los centros de datos hacia los equipos de los usuarios., detalla TechCrunch

El lanzamiento de Bonsai 27B se basa en la compresión de Qwen3.6 27B, un modelo de código abierto de Alibaba. PrismML afirma que el nuevo sistema conserva cerca del 98% de las puntuaciones agregadas de los benchmarks de Qwen, un resultado que representaría una mejora frente al 95% atribuido a la primera versión de Bonsai, lanzada en marzo. Estas cifras corresponden a comparaciones de benchmarks y no garantizan un rendimiento idéntico en todas las tareas o dispositivos.

La diferencia de tamaño tiene consecuencias prácticas para el acceso a la tecnología. La versión ternaria de 5,9 GB puede caber en una computadora personal moderna. PrismML también ofrece una versión de 1 bit de Bonsai 27B, de aproximadamente 3,9 GB, orientada a dispositivos más pequeños, incluidos teléfonos compatibles.

PrismML no es la única compañía que trabaja en la reducción de modelos de lenguaje, ya que Multiverse Computing también desarrolla tecnología de compresión y ha captado una cantidad importante de capital. Sin embargo, Babak Hassibi, director ejecutivo de PrismML y profesor del Instituto de Tecnología de California, afirma que el enfoque de su empresa se distingue porque sus modelos han perdido muy poco rendimiento frente a los originales.

La técnica de los pesos ternarios

La compresión se concentra en los pesos de un modelo, que representan la información aprendida y almacenada durante su entrenamiento. En los sistemas convencionales, cada peso suele requerir 16 bits, una característica que contribuye al consumo de memoria y dificulta la ejecución local de modelos con muchos parámetros.

El método de PrismML reemplaza esa representación por pesos ternarios con solo tres valores posibles: +1, -1 o 0. Al reducir drásticamente la cantidad de información necesaria para almacenar cada peso, la startup consigue que el modelo ocupe mucho menos espacio sin eliminar por completo las relaciones aprendidas durante el entrenamiento. En su variante de 1 bit, los pesos utilizan los valores -1 y +1.

Hassibi reconoce que la compresión probablemente siempre tendrá algún impacto sobre el desempeño, por lo que una paridad absoluta con el modelo original podría no ser alcanzable. Aun así, considera que una diferencia de 2% en los benchmarks no necesariamente se traduce en una pérdida relevante para el uso cotidiano, porque los modelos sin comprimir tampoco son perfectamente precisos y las pruebas estandarizadas no capturan todas las tareas reales.

El entorno de software también puede influir de manera importante en los resultados, desde la forma en que se ejecuta el modelo hasta las herramientas que lo rodean. Por eso, la comparación entre versiones no depende únicamente del número obtenido en una prueba, sino también de la aplicación concreta, el dispositivo disponible y la calidad de la integración que recibe el usuario final.

Los primeros resultados comerciales de la estrategia ya muestran interés de la comunidad. La compañía asegura que el Bonsai original fue descargado más de 11 millones de veces, mientras que sus modelos todavía más pequeños acumularon otros 2,6 millones de descargas, cifras que PrismML interpreta como una señal de que existe demanda por alternativas livianas a los modelos alojados en servidores remotos.

Financiamiento, asesoría y próximos modelos

PrismML fue fundada por investigadores de Caltech y ha recaudado más de USD $16 millones en una ronda semilla. Entre los inversores mencionados en reportes sobre la operación aparecen Khosla Ventures, Cerberus Ventures y Google. Las cifras publicadas varían ligeramente según la fuente, por lo que no se presenta aquí el monto de USD $22,25 millones del borrador original.

La startup también cuenta con Ion Stoica como asesor. Stoica es cofundador de Databricks y dirige el Sky Computing Lab de Berkeley, un centro de investigación asociado con tecnologías y startups como Letta y SGLang, por lo que su participación añade experiencia en infraestructura, sistemas distribuidos y desarrollo de herramientas para modelos de lenguaje.

El siguiente objetivo de PrismML consiste en aplicar su técnica a modelos mucho más grandes. Hassibi dijo que la empresa espera lanzar durante los próximos meses modelos ubicados en el rango de varios cientos de miles de millones de parámetros y sostuvo que, a medida que crece un sistema, puede existir más espacio para comprimirlo sin perder su capacidad de razonamiento.

Según esa visión, los modelos grandes podrían acercarse más fácilmente a una paridad completa con sus versiones originales que los modelos pequeños. La afirmación todavía representa una expectativa de la empresa y deberá comprobarse cuando esos sistemas sean publicados, evaluados con pruebas independientes y utilizados en aplicaciones que vayan más allá de los benchmarks.

La discusión también incluye una dimensión de privacidad y costos. Ion Stoica sostiene que los modelos avanzados ejecutados directamente en los dispositivos permitirían que la inteligencia estuviera disponible sin pagar por cada consulta en la nube y sin enviar los datos del usuario a servidores externos.

Ese escenario podría ser especialmente atractivo para tareas que manejan información sensible o para lugares con conectividad limitada, aunque el resultado dependerá de la capacidad de los equipos, el consumo energético y la facilidad de instalación. Por ahora, PrismML busca demostrar que reducir el tamaño de un modelo no tiene que significar renunciar a su utilidad, sino cambiar el lugar donde la inteligencia artificial puede ejecutarse.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados