Google libera XLA Serving Engine para servir modelos de IA sin Python

Google abrió el código de XLA Serving Engine, un runtime en C++ que, según la empresa, ya procesa más de 6 millones de consultas por segundo en productos como YouTube Shorts y Google Ads. El motor busca ejecutar modelos entrenados con JAX o PyTorch sin mantener Python en el entorno de servicio, con promesas de mayor rendimiento y menor consumo de recursos.

***

• Google publicó XSE bajo licencia Apache 2.0, con el objetivo de servir modelos compilados sin el intérprete de Python.
• La empresa atribuye al motor entre dos y cinco veces más rendimiento que los servidores Python mejor optimizados y hasta 75% menos memoria.
• XSE apunta a recomendaciones y visión artificial, y puede ejecutarse en CPU, GPU de NVIDIA y AMD, y Cloud TPU.

Google publicó el XLA Serving Engine, también llamado XSE, un runtime escrito en C++ para servir modelos de machine learning compilados sin depender del intérprete de Python. La compañía anunció el lanzamiento el 5 de noviembre de 2026 y lo distribuyó bajo la licencia Apache 2.0, que permite utilizar y modificar el software, incluso en productos comerciales, sin exigir que las empresas publiquen su propio código.

El motor forma parte de OpenXLA, un proyecto que busca facilitar la compilación de cálculos de aprendizaje automático para distintos procesadores. Google sostiene que XSE ya opera internamente a gran escala y gestiona más de 6 millones de consultas por segundo en productos como YouTube Shorts y Google Ads. Esas cifras describen la experiencia interna de la compañía, no una evaluación independiente del desempeño para cualquier carga de trabajo.

Del entrenamiento a la ejecución del modelo

La propuesta separa dos etapas que suelen convivir en el desarrollo de sistemas de machine learning: crear y entrenar un modelo, y luego mantenerlo disponible para responder solicitudes. Con XSE, los desarrolladores pueden trabajar con JAX o PyTorch y exportar el modelo a un entorno C++ independiente. Una vez preparado el artefacto, el runtime lo ejecuta sin que el intérprete de Python permanezca en el camino de servicio.

Esta diferencia importa porque servir un modelo implica repetir su ejecución cada vez que llega una consulta, de modo que el costo de infraestructura puede acumularse a gran escala. La arquitectura de XSE apunta a que ese paso use un runtime compilado, en lugar de mantener el entorno Python que acompañaría a una implementación tradicional. Google presenta ese cambio como una vía para aumentar el rendimiento y reducir el consumo, aunque el resultado concreto dependerá del modelo y de la carga de trabajo.

El motor se integra con herramientas de OpenXLA, entre ellas el compilador XLA y StableHLO. OpenXLA plantea una capa de compilación compartida para modelos procedentes de distintos frameworks, que luego pueden optimizarse para el hardware donde se ejecutan. XSE añade a ese esquema el componente de serving, es decir, la parte que pone el modelo compilado en funcionamiento para atender consultas en un entorno de producción.

OpenXLA comenzó en 2023 con el propósito de reducir la fragmentación entre frameworks de machine learning y aceleradores. En ese contexto, XSE no reemplaza las herramientas con las que se entrena un modelo, sino que extiende el flujo hacia la etapa de ejecución. La distinción permite entender el alcance del anuncio: el motor se ocupa de servir modelos exportados y no de sustituir por sí solo las plataformas de entrenamiento.

Las cifras de rendimiento que presenta Google

Google afirma que XSE alcanza entre dos y cinco veces el rendimiento de los servidores Python mejor optimizados, una comparación que atribuye a sus propias mediciones. Frente a configuraciones básicas, la compañía sitúa la diferencia en hasta 36 veces más rendimiento. La empresa no presenta esas cifras como una garantía uniforme para todo modelo, por lo que conviene leerlas como resultados reportados y no como un estándar independiente.

El consumo de CPU es otro de los indicadores destacados: Google dice que el motor utiliza entre 30% y 70% menos CPU por predicción que las implementaciones en Python. Para equipos que operan modelos de manera continua, una reducción de ese tipo podría aliviar la cantidad de recursos necesaria para atender el mismo volumen de solicitudes. Sin embargo, la fuente no detalla una metodología comparativa que permita evaluar cómo se obtuvieron esos porcentajes.

La empresa también calcula que XSE reduce cerca de 75% la huella de memoria frente a una configuración Python, lo que equivale a utilizar aproximadamente una cuarta parte de la memoria. Si ese dato se replica en cargas de producción, podría facilitar el despliegue de modelos en entornos con restricciones de recursos. El anuncio no especifica qué modelos, hardware o condiciones concretas sustentan esa comparación, un detalle relevante para valorar su aplicación práctica.

En conjunto, las métricas apuntan a dos costos habituales de la inferencia: el procesamiento necesario para responder y la memoria que el servicio mantiene disponible. Google asocia la ausencia del intérprete de Python con ganancias de rendimiento y eficiencia, pero los resultados dependerán de las características de cada implementación. Por ello, las cifras ofrecen una referencia sobre la apuesta de XSE, más que una promesa de ahorro idéntico para cada organización.

Hardware compatible y casos de uso previstos

Google señala que un mismo artefacto exportado puede ejecutarse en CPU, GPU de NVIDIA y AMD, así como en las Cloud TPU de la empresa. La compatibilidad busca que los equipos no tengan que generar un modelo distinto para cada tipo de procesador dentro de esas plataformas. Arm también contribuyó al proyecto mediante su trabajo con Neoverse, lo que amplía el alcance declarado a chips de servidor basados en Arm.

La amplitud de hardware encaja con la función de OpenXLA: compilar cálculos de machine learning y optimizarlos para distintos procesadores. En este esquema, XSE aporta el runtime que ejecuta los modelos exportados, mientras que el compilador y las herramientas asociadas participan en la preparación del código. La noticia no afirma que todos los modelos funcionen de manera idéntica en cada plataforma, sino que destaca la posibilidad de desplegar el artefacto en los dispositivos compatibles mencionados.

El público objetivo tampoco son los grandes modelos de lenguaje. Google apunta a cargas de trabajo como los motores de recomendación y las aplicaciones de visión, y cita YouTube Shorts y Google Ads como ejemplos de servicios internos donde ya utiliza el motor. Esos casos se relacionan con sistemas que procesan solicitudes para ordenar o clasificar contenido y con tareas visuales, no con una herramienta diseñada específicamente para ejecutar chatbots.

La licencia Apache 2.0 completa el planteamiento al permitir que empresas y desarrolladores estudien, adapten y utilicen XSE en sus propios proyectos. Para el ecosistema OpenXLA, liberar el runtime significa ofrecer una pieza de serving junto con las herramientas de compilación, en vez de limitar el proyecto al procesamiento previo del modelo. La adopción y el desempeño fuera de Google dependerán de cómo los equipos integren el motor y de si las mejoras anunciadas se reflejan en sus propias cargas.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.

ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín