Por Canuto  

Liquid AI lanzó dos encoders bidireccionales de peso abierto que ofrecen contexto de 8.192 tokens y buscan mantener un rendimiento competitivo en CPU.
***

  • LFM2.5-Encoder-230M y LFM2.5-Encoder-350M convierten backbones decodificadores en modelos bidireccionales mediante tres cambios técnicos.
  • El modelo de 350M obtuvo un promedio de 81,02 puntos en 17 tareas y quedó cuarto entre 14 modelos evaluados.
  • Liquid AI apunta a dispositivos de borde, sectores regulados y canalizaciones de alto volumen que no siempre pueden usar GPU o nube.

Liquid AI lanzó LFM2.5-Encoder-230M y LFM2.5-Encoder-350M, dos encoders bidireccionales de peso abierto. Los modelos pertenecen a la familia LFM2.5 y utilizan un contexto de 8.192 tokens.

Un encoder transforma texto en representaciones útiles para tareas específicas. Entre ellas aparecen la clasificación, el enrutamiento de intención, los filtros de seguridad y la detección de información personal.

Estas funciones suelen operar de forma continua. Por eso, el consumo de recursos y la velocidad en CPU pueden resultar más importantes que el tamaño máximo de un modelo generativo.

Liquid AI sostiene que su arquitectura híbrida LFM2 permite que el costo crezca más lentamente cuando aumentan las extensiones de entrada. La propuesta busca competir con modelos establecidos como BERT y ModernBERT.

La compañía presentó el lanzamiento como una alternativa para ejecutar análisis de texto localmente. El objetivo incluye entornos sin GPU disponible y documentos de hasta aproximadamente 13 a 15 páginas.

De decodificadores a encoders bidireccionales

Los nuevos modelos no se entrenaron desde cero. Liquid AI los inicializó a partir de los backbones decodificadores LFM2.5-230M y LFM2.5-350M.

El primer cambio reemplazó la máscara de atención causal por una máscara bidireccional. Así, cada token puede atender información ubicada tanto antes como después dentro del texto.

El segundo ajuste modificó las convoluciones cortas de LFM2. El equipo las convirtió en operaciones no causales mediante un padding central simétrico.

Con ese diseño, la convolución de cada token incorpora información de vecinos a ambos lados. La modificación adapta el backbone para comprender el contexto completo de una entrada.

El tercer cambio aplicó un objetivo de modelado de lenguaje enmascarado. La tasa de enmascaramiento alcanzó 30%, frente al 15% utilizado originalmente por BERT.

Liquid AI indicó que una tasa más alta puede favorecer el aprendizaje en esta escala. El entrenamiento tuvo dos etapas diferenciadas por la longitud del contexto y la mezcla de datos.

La primera fase estableció competencia general en lenguaje con un objetivo MLM de contexto corto. En esa etapa, las secuencias alcanzaron 1.024 tokens dentro de un corpus web amplio.

La segunda fase extendió el contexto hasta 8.192 tokens. También utilizó la mezcla completa de datos para reforzar capacidades fácticas, legales y multilingües.

Arquitectura, idiomas y resultados de evaluación

El backbone combina bloques de convolución corta con atención de consulta agrupada. Se trata del mismo diseño híbrido descrito en el informe técnico de LFM2.

Los dos puntos de control utilizan un tamaño oculto de 1.024. Además, comparten un vocabulario de 65.536 tokens y admiten 15 idiomas.

La licencia elegida para los modelos es la LFM Open License v1.0. El código de la metodología de evaluación se publicó bajo Apache-2.0.

Liquid AI comparó 14 modelos en 17 tareas tomadas de GLUE, SuperGLUE y clasificación multilingüe. Cada sistema recibió un ajuste completo para cada tarea.

La puntuación reportada corresponde al resultado del modelo ajustado. LFM2.5-Encoder-350M consiguió un promedio de 81,02 puntos, con una variación de ±1,00.

Ese resultado lo ubicó en el cuarto lugar de la tabla. Los tres modelos que lo superaron tienen un tamaño mayor que el encoder de Liquid AI.

XLM-R XL, con 3.500 millones de parámetros, alcanzó 83,06 puntos. ModernBERT-large, de 395 millones, obtuvo 81,68, mientras XLM-R large, de 560 millones, registró 81,34.

El modelo situado en la primera posición tiene casi diez veces el tamaño de LFM2.5-Encoder-350M. La comparación busca destacar la relación entre precisión y eficiencia.

LFM2.5-Encoder-230M logró un promedio de 79,29 puntos, con una variación de ±1,02. El modelo ocupó el sexto lugar entre los sistemas evaluados.

El encoder de 230M superó a ModernBERT-base, que obtuvo 78,19 puntos. También quedó por encima de todos los modelos EuroBERT incluidos en la tabla.

EuroBERT-610M registró 75,87 puntos. EuroBERT-2.1B obtuvo 72,19, pese a contar con un número de parámetros considerablemente mayor.

Los nuevos encoders también superaron a dos modelos de recuperación de la propia Liquid AI. LFM2.5-ColBERT-350M alcanzó 76,18 puntos y LFM2.5-Embedding-350M obtuvo 75,68.

La diferencia explica la decisión de crear un encoder generalista. Según la información publicada, reutilizar modelos de recuperación no ofrecía el mismo desempeño en tareas generales.

Una metodología diseñada para reducir la incertidumbre

La evaluación utilizó pesos maestros en fp32 y aplicó casting automático a bf16. De esta manera, la tabla comparó principalmente los modelos y no sus formatos numéricos.

Todos los sistemas siguieron la misma receta de AdamW. Esa receta se extrajo de la tarjeta de modelo de EuroBERT para mantener una base común.

El equipo seleccionó la tasa de aprendizaje para cada modelo y tarea. La búsqueda incluyó 10 tasas diferentes y tres semillas.

Después, las puntuaciones se calcularon con un promedio sobre cinco semillas nuevas. Esas semillas no participaron en la etapa de selección.

La metodología intenta separar la optimización de la medición final. Ese detalle reduce el riesgo de que los resultados reflejen únicamente decisiones tomadas durante el ajuste.

También se fijó la versión 4.56.2 de la biblioteca Transformers. Liquid AI trató así de evitar que la deriva de dependencias introdujera una variable adicional.

La publicación de la metodología bajo Apache-2.0 permite revisar el proceso. Esto facilita comparaciones posteriores con otros encoders y con nuevas configuraciones de hardware.

La compañía presentó la tabla como una medición de modelos ajustados por tarea. Por ello, los resultados no representan necesariamente el comportamiento de un encoder base sin adaptación.

Un encoder general produce representaciones de propósito general. Para obtener resultados en una aplicación concreta, el ajuste especializado sigue siendo necesario.

Liquid AI publicó un tutorial de ajuste orientado a documentos legales largos. El ejemplo utiliza una configuración de contexto de 8K.

Casos de uso y ejecución en dispositivos locales

Liquid AI identificó tres escenarios principales para sus encoders. El primero corresponde a dispositivos de borde y sistemas embebidos.

Un vehículo puede necesitar analizar información a bordo sin una GPU adicional. Un controlador industrial enfrenta una limitación similar y puede no tolerar una conexión constante con la nube.

El segundo escenario incluye sistemas regulados y locales. Finanzas, salud y derecho manejan documentos extensos que pueden contener información sensible.

En esos sectores, procesar los datos dentro de la infraestructura interna puede simplificar las restricciones operativas. Los modelos pequeños también reducen la dependencia de servicios externos.

El tercer escenario reúne canalizaciones de alto volumen y sensibles a los costos. Allí, un encoder compacto puede funcionar como primer filtro antes de enviar casos complejos a un modelo mayor.

La ventana de 8.192 tokens permite cubrir aproximadamente entre 13 y 15 páginas. Liquid AI señaló que un solo pase puede abarcar un contrato completo o un registro completo de paciente.

La longitud del contexto no elimina la necesidad de revisar los resultados. Sí puede reducir la fragmentación de documentos antes de ejecutar tareas de clasificación o detección.

Para mostrar posibles aplicaciones, el equipo lanzó cinco demostraciones. Todas funcionan en espacios de Hugging Face que utilizan únicamente CPU.

Las demos incluyen enrutamiento de prompts en cero disparos, linting de políticas en cero disparos y verificación ortográfica. También muestran un detector de PII.

El detector identifica 40 tipos de información personal en 16 idiomas. Una demostración adicional utiliza difusión enmascarada para operar como un chatbot.

Ese chatbot genera respuestas mediante enmascaramiento iterativo. El uso no convierte al modelo en un decodificador tradicional, pero muestra una vía distinta para generar texto.

Cómo cargar los modelos y elegir entre 230M y 350M

Ambos encoders se cargan mediante la biblioteca Transformers. El cuerpo del modelo se expone como Lfm2BidirectionalModel.

La carga de masked language modeling utiliza Lfm2BidirectionalForMaskedLM. Los dos componentes se conectan mediante auto_map.

Por esa razón, cada llamada de carga requiere trust_remote_code=True. La configuración permite que Transformers utilice el código remoto asociado con los modelos.

La elección entre las dos versiones depende del entorno. Liquid AI recomienda LFM2.5-Encoder-350M cuando la precisión tiene prioridad.

LFM2.5-Encoder-230M apunta a hardware más limitado o a aplicaciones que necesitan mayor rendimiento. La diferencia de tamaño ofrece una alternativa para ajustar consumo y velocidad.

El encoder base no entrega directamente una respuesta final para cada aplicación. Sus representaciones deben adaptarse mediante ajuste fino o una capa especializada.

Ese requisito resulta habitual en modelos de representación. La ventaja consiste en reutilizar una base común para clasificación, seguridad, intención y otras tareas.

El lanzamiento también incluye tarjetas de modelo para las dos versiones. Esos recursos documentan la configuración, el uso y las condiciones de la licencia.

En el resumen técnico, Liquid AI indicó que LFM2.5-Encoder-230M puede completar un pase de 8K en CPU en aproximadamente 28 segundos. ModernBERT-base tarda más de 90 segundos bajo la comparación presentada.

La cifra de latencia depende del entorno concreto de ejecución. Aun así, la diferencia ilustra la apuesta por modelos pequeños para operaciones repetitivas.

El lanzamiento no elimina el papel de modelos grandes ni de las GPU. Su propuesta se concentra en tareas donde el volumen, la privacidad y el costo pesan tanto como la precisión.

Con LFM2.5-Encoder-230M y LFM2.5-Encoder-350M, Liquid AI amplía su familia de modelos hacia la comprensión bidireccional. La estrategia combina contexto largo, peso abierto y ejecución local en CPU.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados