Liquid AI presenta LiquidCodec, un códec de voz diseñado para streaming

Liquid AI presentó LiquidCodec, un códec de voz de 73,6 millones de parámetros que transforma audio en tokens para modelos de lenguaje. La compañía destaca su velocidad y sus resultados en pruebas, aunque algunos indicadores favorecen a sus competidores.
***

• LiquidCodec trabaja con audio de 24 kHz, genera 12 tokens por frame y está diseñado para streaming.
• Liquid AI reporta codificación a unas 361 veces el tiempo real en una prueba de CPU de un solo hilo.
• El códec lideró en varias métricas de reconstrucción y TTS, pero NanoCodec obtuvo mejores resultados PESQ en siete de ocho conjuntos.

Liquid AI lanzó LiquidCodec, un códec de voz pensado para convertir audio en tokens que un modelo de lenguaje pueda procesar y generar. La empresa lo presenta como una pieza tecnológica de sus modelos LFM3-Audio-2B y LFM3-Omni-2B, con una arquitectura de 73,6 millones de parámetros que busca combinar respuesta rápida y reconstrucción de voz.

El sistema opera con audio de 24 kHz y organiza la representación en 12 flujos de tokens, a una tasa de 12,5 frames por segundo. Liquid AI sostiene que el diseño mejora la velocidad frente a alternativas comparadas y ofrece buenos resultados en pruebas de calidad, aunque las cifras publicadas corresponden a evaluaciones de la propia compañía.

Un códec diseñado para convertir voz en tokens

Un códec de audio comprime y representa una señal sonora para que pueda almacenarse, transmitirse o procesarse con mayor facilidad; en este caso, la salida también sirve como secuencia que un modelo de lenguaje puede predecir. LiquidCodec transforma la voz en unidades discretas y luego las convierte de nuevo en una forma de onda, de modo que el modelo pueda participar en tareas de audio sin operar directamente sobre cada detalle de la señal original.

La ficha del modelo LFM3-Audio-2B indica que cada frame de 80 milisegundos se representa mediante 12 tokens discretos. Esa frecuencia equivale a 12,5 frames por segundo, una estructura que permite producir y procesar fragmentos sucesivos en lugar de esperar a que termine una grabación completa, característica relevante para las conversaciones por voz en streaming.

Liquid AI desarrolló el códec para sus modelos LFM3-Audio-2B y LFM3-Omni-2B, y lo plantea como reemplazo de Mimi, el códec que utilizaba en LFM2-Audio-1.5B. Según los datos publicados, Mimi cuenta con 96,2 millones de parámetros, frente a los 73,6 millones atribuidos a LiquidCodec, aunque el tamaño por sí solo no determina la calidad ni el desempeño de un códec.

La compañía resume sus objetivos en dos frentes: producir tokens que resulten fáciles de predecir para los modelos y reducir el tiempo necesario para devolver la respuesta en forma de voz. En la práctica, esas metas dependen tanto del funcionamiento del códec como del modelo que consume sus tokens, por lo que las cifras de velocidad del códec no describen por sí solas la latencia total de una conversación de principio a fin.

Arquitectura y entrenamiento para el procesamiento continuo

El proceso de LiquidCodec consta de tres etapas: codificación, cuantización y decodificación. Liquid AI utiliza bloques de su arquitectura LFM3 en el codificador y en el decodificador, dos mitades descritas como simétricas; además, el codificador es causal, es decir, procesa la señal en orden y puede trabajar con la información disponible hasta cada momento, una propiedad útil para el streaming.

Para cuantizar la representación, el sistema emplea finite scalar quantization agrupada, o GFSQ, en lugar de la cuantización vectorial residual, conocida como RVQ. En RVQ, cada codebook intenta representar lo que quedó fuera de la codificación anterior; con GFSQ, los grupos funcionan de manera independiente, lo que permite que los 12 codebooks se predigan en paralelo mediante transformers de estilo MaskGIT.

El decodificador predice directamente coeficientes espectrales para reconstruir el audio. De acuerdo con la explicación técnica de la empresa, esa estrategia evita depender del upsampling mediante convoluciones transpuestas aprendidas, un componente habitual en decodificadores de forma de onda; la fuente no presenta ese cambio como una garantía universal de menor costo, sino como parte de la arquitectura escogida para este códec.

El entrenamiento tuvo dos etapas principales. La primera utilizó 264.000 horas de voz en 107 idiomas y combinó pérdidas de forma de onda y espectrales, sin pérdidas adversariales; la segunda ajustó el modelo con 55.000 horas de voz full-band, con audio de 24 kHz o más, e incorporó críticos adversariales para reducir artefactos metálicos que, según Liquid AI, persistían después de la etapa inicial.

La compañía añadió una etapa final de entrenamiento con conciencia de cuantización, o QAT, aplicada solo al decodificador y orientada a la inferencia en dispositivos edge. El material publicado no detalla el tamaño de los modelos de voz utilizados en cada etapa ni aporta una evaluación independiente de ese proceso, por lo que las afirmaciones sobre sus efectos deben entenderse dentro de los resultados divulgados por Liquid AI.

Velocidad reportada y resultados en calidad de audio

Liquid AI midió el rendimiento en FP32, con un solo hilo de CPU en un portátil Apple M4 Max. La compañía reportó un factor de tiempo real, o RTF, de 0,0028 para codificación y 0,0115 para decodificación; como el RTF expresa el tiempo de procesamiento dividido por la duración del audio, un valor menor indica un procesamiento más rápido.

Con esa medición, Liquid AI traduce los resultados a cerca de 361 veces el tiempo real para codificar y 87 veces para decodificar. Frente a Mimi, el RTF de codificación informado fue aproximadamente 13 veces menor, con 0,0028 frente a 0,0361, y el de decodificación alrededor de 2,9 veces menor, con 0,0115 frente a 0,0329.

La comparación de la empresa también incluyó NanoCodec y X-Codec 2. Para codificación, sus RTF fueron 0,2145 y 0,7359, respectivamente; en decodificación, marcaron 0,2543 y 0,0379. Estas cifras provienen de las pruebas reportadas por Liquid AI en CPU M4 Max y no deben leerse como una medición universal aplicable a cualquier procesador o configuración.

En reconstrucción, Liquid AI evaluó ocho conjuntos: LibriSpeech test-clean, Seed-TTS en inglés y mandarín, y cinco idiomas de FLEURS: alemán, francés, mandarín, japonés y coreano. La compañía afirmó que LiquidCodec obtuvo el mejor ViSQOL y la menor distancia mel en los ocho, métricas que sirven para evaluar aspectos de la calidad percibida y la diferencia entre el audio original y el reconstruido.

En LibriSpeech, LiquidCodec alcanzó un ViSQOL de 4,319, por encima de NanoCodec, con 4,219; X-Codec 2, con 4,119; y Mimi, con 4,031. La distancia mel del códec de Liquid AI fue 0,120, frente a 0,122 para NanoCodec, 0,123 para X-Codec 2 y 0,160 para Mimi, según las tablas difundidas por la compañía.

Desempeño en voz sintética y límites de la comparación

Liquid AI también comparó los tokens de los códecs en tareas de texto a voz. Para esa evaluación entrenó modelos TTS con los mismos datos, arquitectura, cómputo y orden de batches: el conjunto incluyó 101.000 horas de voz en seis idiomas, y la empresa indica que mantuvo constantes esos elementos para atribuir las diferencias observadas al códec utilizado.

En los ocho conjuntos de prueba, LiquidCodec obtuvo el UTMOSv2 más alto, de acuerdo con los resultados publicados. La compañía también reportó el mejor WER o CER en cuatro de los ocho conjuntos; en LibriSpeech, el WER fue de 3,15%, frente a 6,27% para Mimi, una diferencia que apunta a variaciones en la precisión de las transcripciones generadas a partir del audio.

Liquid AI afirmó que las tendencias se mantuvieron al cambiar el modelo base de LFM3-1.7B a Qwen3-1.7B. Ese resultado ofrece otra comparación dentro del protocolo de la empresa, pero no elimina la necesidad de considerar las condiciones de entrenamiento y evaluación al interpretar las métricas, especialmente porque los datos disponibles no incluyen una validación externa independiente.

Los resultados no favorecieron a LiquidCodec en todos los indicadores. NanoCodec obtuvo el mejor PESQ de banda ancha en siete de los ocho conjuntos y lideró la similitud de hablante en LibriSpeech, con una puntuación SECS de 0,836 frente a 0,785 para LiquidCodec; esto muestra que el desempeño depende de qué dimensión de la voz mida cada prueba.

En la tabla de LibriSpeech, el PESQ de banda ancha de LiquidCodec fue 2,640, por debajo de 2,942 para NanoCodec, aunque por encima de 2,615 para Mimi y 2,434 para X-Codec 2. En UTMOSv2 para el mismo conjunto, LiquidCodec marcó 3,31, frente a 3,19 de NanoCodec, 3,27 de X-Codec 2 y 2,89 de Mimi; son cifras autoinformadas que permiten comparar resultados dentro del protocolo comunicado, no establecer una superioridad en toda situación.

Opciones de despliegue y disponibilidad

Los desarrolladores pueden cargar LiquidCodec a través de Hugging Face Transformers con la opción trust_remote_code=True. La interfaz ofrece funciones encode() para obtener los códigos de audio y decode() para reconstruir una forma de onda; además, una caché nativa llamada LiquidCodecStreamingCache admite la decodificación por fragmentos, según la ficha del modelo.

Los ejemplos publicados utilizan CUDA con bfloat16, mientras que la empresa también ofrece versiones GGUF en Q4_0, Q4_K_M y Q8_0 para llama.cpp. Los repositorios GGUF se distribuyen junto con LFM3-Audio-2B y LFM3-Omni-2B, lo que proporciona alternativas para despliegues con distintos requisitos de hardware, aunque la noticia no detalla resultados de rendimiento para cada formato y dispositivo.

Liquid AI informó que la versión Q4_0 con QAT aplicado solo al decodificador reduce 3,5 veces la huella del modelo. En LibriSpeech, el ViSQOL bajó de 4,319 a 4,292, un cambio pequeño dentro de esa prueba concreta; la empresa presenta el resultado como una opción de menor tamaño, sin afirmar que esas cifras se repitan en toda tarea o plataforma.

La ficha de Hugging Face muestra una licencia descrita como other, mientras que el blog de Liquid AI enlaza a la LFM License. Esa diferencia vuelve importante revisar los términos correspondientes antes de integrar el modelo en un producto, en especial para usos comerciales; la información proporcionada no resume las condiciones de esa licencia y no permite concluir qué permisos específicos ofrece.

En conjunto, LiquidCodec combina una tasa de 24 kHz, 12 codebooks y una arquitectura orientada a la transmisión continua con cifras de velocidad destacadas en las pruebas internas de Liquid AI. Sus resultados en reconstrucción y TTS son competitivos, pero las ventajas de NanoCodec en PESQ y similitud de hablante, además de la naturaleza autoinformada de las mediciones, aconsejan valorar cada métrica según el uso previsto.

ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín