Etched desafía a Nvidia con chips de inferencia y reabre la carrera por la infraestructura de IA

Una nueva narrativa gana fuerza en la industria de IA: la verdadera batalla ya no sería solo entrenar modelos, sino servir respuestas más rápido y con menor costo. En ese contexto, Etched, una startup fundada por dos jóvenes de 24 años, busca competir con Nvidia mediante hardware especializado para inferencia, mientras gigantes como OpenAI, Google y Amazon también aceleran sus propios diseños.
***

• Etched asegura haber logrado avances en chips y racks especializados para inferencia, con más de USD $1.000 millones en contratos y USD $800 millones recaudados.
• El debate gira en torno a un cambio estructural en IA: la inferencia ya representaría una porción mayor del cómputo frente al preentrenamiento.
• La apuesta de Etched está centrada en la arquitectura transformer, lo que eleva su eficiencia, pero también introduce un riesgo tecnológico relevante.

La carrera por la infraestructura de inteligencia artificial está entrando en una nueva fase. El foco ya no recae solamente en entrenar modelos cada vez más grandes, sino en ejecutar esas redes de forma rápida, barata y a escala para atender millones de consultas.

Ese cambio ha impulsado un renovado interés por la inferencia, es decir, el proceso mediante el cual un modelo ya entrenado lee un prompt, recupera contexto y genera una respuesta token por token. En ese frente, varias empresas intentan reducir la dependencia del hardware generalista que hoy domina Nvidia.

En el episodio If You Believe in AI, You Have to Bet on This, del canal Limitless Podcast, los conductores plantean que esa capa de inferencia podría convertirse en el nuevo gran moat de la IA. Su tesis gira en torno a Etched, una startup que salió recientemente del modo sigiloso y que busca competir con chips especializados.

Según el análisis presentado, Etched fue fundada por dos jóvenes de 24 años y lleva cerca de tres años desarrollando su tecnología, desde 2023. La empresa ya habría recaudado más de USD $800 millones y asegurado más de USD $1.000 millones en contratos con clientes.

La propuesta no consiste solo en fabricar un chip. La startup quiere entregar un rack completo para centros de datos, diseñado de punta a punta para elevar la utilización en cargas de inferencia y mejorar tanto la latencia como la eficiencia energética.

Por qué la inferencia se volvió el nuevo frente competitivo

Para entender la tesis, primero hay que separar dos tareas distintas dentro de la IA moderna. El entrenamiento o preentrenamiento ocurre cuando una empresa construye un nuevo modelo, proceso que puede durar meses y consumir enormes recursos computacionales.

La inferencia, en cambio, ocurre cada vez que un usuario hace una consulta. Ahí el sistema procesa el prompt, incorpora el contexto acumulado y genera una respuesta en secuencia, una etapa que suele dividirse entre prefill y decode.

Limitless Podcast sostiene que la demanda relativa por inferencia ha crecido con rapidez. Según los datos citados por los conductores, hace unos dos años la relación era de un tercio de inferencia frente a dos tercios de preentrenamiento, pero ahora se habría invertido a dos tercios de inferencia y un tercio de entrenamiento.

Incluso, agregan que hacia finales de este año esa participación podría acercarse a 80%. Esa lectura cobra fuerza en un mercado donde Nvidia controlaría cerca de 75% de la cuota total de chips vinculados al mundo de la IA, aunque sus GPU no estén optimizadas específicamente para inferencia.

El argumento central es que la industria sigue comprando GPU de Nvidia porque no existe una oferta alternativa suficientemente escalable. En otras palabras, el crecimiento de Nvidia no demostraría que su arquitectura sea la mejor para inferencia, sino que hoy sigue siendo la opción dominante disponible.

Los conductores también destacan otro dato relevante. Para un laboratorio de frontera promedio, entre 40% y 50% de la capacidad total de cómputo ya estaría dedicada a inferencia, una señal de que servir modelos a usuarios y agentes autónomos empieza a absorber tanto o más valor que entrenar la siguiente gran versión.

Ese fenómeno se conecta con el auge de agentes de IA que pueden operar durante horas, días o más tiempo. A medida que esos sistemas ejecuten tareas prolongadas, el consumo de tokens crecerá y la presión por acelerar la inferencia se volverá aún más crítica.

La propuesta de Etched y su apuesta por los chips especializados

La startup sostiene que las GPU de Nvidia solo alcanzan entre 30% y 40% de utilización en inferencia. Para Etched, esa brecha implica que entre 60% y 70% de la capacidad del chip queda sin aprovechar en una tarea que gana peso dentro del negocio de IA.

Su respuesta es un diseño tipo ASIC, es decir, un circuito específico para una aplicación concreta. En vez de priorizar flexibilidad general, Etched apuesta por especialización agresiva alrededor de la arquitectura transformer que usan los modelos de lenguaje más importantes.

Según la explicación compartida en el programa, la compañía rediseñó el chip para operar con menor voltaje sin perder calidad en las respuestas. La reducción es importante porque, de acuerdo con la relación descrita por los conductores, bajar a la mitad el voltaje reduce con fuerza la potencia requerida, lo que se traduce en una caída de 75% en el consumo energético.

En la práctica, esa mejora permitiría dos beneficios. El primero sería ahorrar decenas o cientos de millones de dólares en energía e infraestructura, mientras que el segundo sería emitir más tokens por segundo y atender a muchos más usuarios con el mismo presupuesto.

La segunda innovación descrita es una arquitectura de memoria rediseñada, llamada cluster scale memory. El objetivo sería compartir memoria entre varios chips para mover datos con más velocidad y reducir cuellos de botella en el sistema completo.

Etched no quiere vender un chip aislado, sino un sistema integral para centros de datos. Esa visión incluye térmicas, memoria, energía y empaquetado del rack, con la meta de acercarse a niveles de utilización de entre 80% y 90% en cargas de inferencia.

Los presentadores comparan esa estrategia con el caso de los ASIC de minería Bitcoin. Igual que esos equipos lograron una gran eficiencia al enfocarse en un tipo muy específico de cálculo, Etched buscaría hacer lo mismo con las operaciones matemáticas que predominan en la inferencia de modelos transformer.

Riesgos de una apuesta agresiva y el valor de la integración vertical

El mayor beneficio de Etched también constituye su principal riesgo. Al estar tan especializada en transformer, la compañía depende de que esa arquitectura siga siendo la base dominante en los modelos de frontera durante los próximos años.

Si surgiera una nueva arquitectura radicalmente distinta, sus chips podrían dejar de ser útiles para esos modelos futuros. Los conductores explican que parte del grafo de cómputo estaría efectivamente grabado en el silicio, lo que limita la flexibilidad frente a una GPU generalista.

Esa es precisamente la ventaja de Nvidia. Aunque sus chips puedan estar subutilizados en inferencia, permiten ejecutar arquitecturas diversas y adaptarse a cambios futuros sin rehacer toda la cadena de diseño.

La conversación también introduce otro matiz importante: para construir el mejor hardware de inferencia no basta con conocer semiconductores. También hace falta entender de manera íntima cómo se comporta el modelo, qué tipos de prompts recibe y cómo gestiona los tokens.

Por eso, los conductores creen que la integración vertical será clave. Ponen como ejemplo a OpenAI, que según la discusión anunció semanas atrás un chip propio llamado Jalapeno, desarrollado junto a Broadcom y optimizado para servir ChatGPT con mayor eficiencia.

En ese caso, la diferencia sería que OpenAI conoce sus propios modelos y patrones de uso, lo que le permitiría diseñar un sistema muy ajustado a sus necesidades sin necesariamente inmovilizarse tanto como un diseño completamente amarrado a transformer. También se menciona que el desarrollo habría tardado alrededor de nueve meses con ayuda de Broadcom, frente al rango habitual de entre un año y medio y dos años.

Los anfitriones concluyen que una startup como Etched podría terminar siendo adquirida por un laboratorio de frontera. Su hipótesis es que empresas como OpenAI, Anthropic o Google tendrían incentivos para absorber talento y tecnología si eso acelera su ventaja en inferencia.

Los otros jugadores y la lectura de mercado detrás de la nueva fiebre por inferencia

Etched no compite en soledad. En la discusión aparecen otros nombres ya conocidos, como Google con sus TPU, Amazon con Trainium, Cerebras como empresa cotizada y Broadcom como actor central en diseño y soporte de chips para terceros.

También se menciona a Groq, una firma de aceleradores de inferencia que, según los conductores, fue adquirida por Nvidia por unos USD $20.000 millones. Esa referencia sirve para subrayar que Nvidia no estaría ignorando la tendencia, sino tratando de responder desde dentro y mediante adquisiciones.

Para Limitless Podcast, el mercado todavía no estaría valorando por completo el peso económico de la inferencia. Señalan, por ejemplo, que Cerebras no ha tenido un desempeño bursátil especialmente sólido desde su salida a bolsa y que eso podría reflejar una comprensión incompleta de la oportunidad.

La tesis de inversión gira sobre una idea sencilla. Si la demanda de tokens continúa creciendo y los agentes autónomos se vuelven comunes, cualquier mejora en desempeño por vatio puede transformarse en una ventaja enorme para laboratorios, plataformas y proveedores de servicios de IA.

Los conductores afirman que no ven un límite claro a la demanda de inferencia en el corto plazo. En su lectura, cada mejora de eficiencia es absorbida rápidamente por nuevas cargas de trabajo, tareas más largas y usuarios que esperan respuestas más rápidas sin sacrificar inteligencia.

Desde esa óptica, la oportunidad no estaría solo en Nvidia. Empresas como Broadcom, MediaTek y Cerebras también podrían captar valor, bien sea por diseño, integración o despliegue de hardware específico para este nuevo ciclo.

La conversación añade un argumento financiero más. Anthropic, según el comentario citado en el episodio, estaría cerca de volverse rentable este trimestre gracias a los márgenes asociados a inferencia, lo que sugiere que esta capa podría ser decisiva para la rentabilidad futura de varios laboratorios.

Una carrera técnica con implicaciones para IA, ciencia y hasta Bitcoin

Más allá del ángulo bursátil, el caso de Etched retrata la dificultad técnica de fabricar chips de frontera. Los conductores describen cómo la empresa trabajó con TSMC, con parte del equipo en Bangalore y otra parte en Estados Unidos, operando prácticamente 24 horas al día.

En una de las primeras pruebas, relatan, todos los wafers se iluminaron en rojo y ninguno funcionó. El problema estaba vinculado a la sincronización de señales de reloj dentro del chip, una tarea que requería alineación en una ventana de 50 picosegundos.

Esa escala ilustra cuán extrema es la ingeniería en semiconductores avanzados. En el episodio se explica que la luz apenas recorre entre 1 y 12 centímetros en ese intervalo, una referencia usada para mostrar la precisión exigida por el diseño.

Según la historia narrada, algunos ingenieros llegaron a renunciar porque consideraban imposible resolver ese obstáculo. Sin embargo, el equipo restante habría encontrado la solución apenas dos semanas después, un episodio que los anfitriones usan para defender la capacidad técnica y la intensidad operativa de la startup.

El entusiasmo no responde solo a un posible retorno financiero. Entre los inversionistas de Etched figuran Brian Johnson, Jane Street, Peter Thiel y el fondo de venture de TSMC, una mezcla que, según los conductores, sugiere interés por aplicaciones que van desde mercados hasta biotecnología y longevidad.

La lógica detrás de ese interés es que un chip más rápido y eficiente podría acelerar procesos de investigación. Si un modelo puede recorrer más tokens por segundo sin perder calidad, también podría explorar hipótesis científicas, escribir código o iterar soluciones complejas en menos tiempo.

En ese sentido, la discusión conecta la infraestructura de IA con la lógica que ya conoce bien el ecosistema cripto. Igual que la minería Bitcoin premió a quienes lograron mejores ASIC y mayor eficiencia energética, la nueva ola de inferencia podría premiar a quienes dominen el rendimiento específico para una tarea concreta.

La gran incógnita, sin embargo, sigue abierta. Si transformer se mantiene como arquitectura dominante, compañías como Etched podrían capturar una parte valiosa del nuevo stack de IA; si el paradigma cambia, la flexibilidad de actores como Nvidia podría volver a imponerse.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.

ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín