Por Canuto  

La demanda de inferencia podría crecer hasta mil millones de veces, según Tuhin, CEO de Base10, quien explicó en Stanford cómo los modelos especializados, la escasez de GPU y la infraestructura de cómputo redefinirán la economía de la inteligencia artificial.
***

  • Base10 procesa cerca de 30 billones de tokens diarios y estima que necesitará unos 150.000 equivalentes de GPU B200 en dos años.
  • Los modelos abiertos y ajustados pueden operar entre 70% y 90% más baratos que los modelos de frontera, aunque permanecen aproximadamente 90 días por detrás.
  • La empresa considera adquirir y operar más infraestructura propia porque alquilar cómputo podría no garantizar el acceso necesario ante la creciente escasez.

La inferencia de IA podría multiplicarse por mil millones, advierte el CEO de Base10

La economía de la inteligencia artificial entra en una etapa marcada por la demanda de inferencia, el consumo de modelos una vez entrenados. Tuhin, cofundador y CEO de Base10, sostuvo que ese mercado podría crecer mil millones de veces, impulsado por aplicaciones más autónomas y modelos cada vez mayores.

La afirmación ocurrió durante la conversación Stanford MS&E435 Economics of the AI Supercycle | Spring 2026 | Applications, Applied AI, publicada por Stanford Online. El entrevistador conversó con Tuhin sobre su trayectoria, el negocio de Base10, la disponibilidad de GPU y el futuro de los modelos abiertos.

De las finanzas a la infraestructura de IA

Tuhin nació en Sídney, Australia, y comenzó su carrera profesional en el sector financiero. Tras estudiar ingeniería en la universidad, se trasladó a Nueva York para trabajar en la privatización de carreteras con peaje y aeropuertos.

Después de aproximadamente dos años, abandonó las finanzas porque se sentía aburrido y regresó al campo de la ingeniería. En Boston participó en investigaciones de aprendizaje automático enfocadas en seguir el pronóstico de enfermedades neuromusculares.

Ese trabajo utilizaba técnicas tradicionales de aprendizaje automático, en una época anterior al auge actual de los modelos generativos. Luego de publicar varios documentos académicos, Tuhin concluyó que San Francisco ofrecía mejores oportunidades para desarrollar tecnología en etapas tempranas.

En la ciudad californiana se incorporó como ingeniero a empresas tecnológicas jóvenes y descubrió su interés por los equipos pequeños. También fundó varias compañías desde 2015, aunque aquellas iniciativas no prosperaron.

En 2019, junto con sus socios Phil y Amir, decidió construir una empresa de infraestructura para el aprendizaje automático. La tesis inicial consistía en crear una especie de índice de la expansión de la inteligencia artificial, pero la tecnología creció más rápido y alcanzó una escala mayor de la esperada.

La inferencia como capa estratégica

Base10 ofrece infraestructura para ejecutar modelos en producción, una actividad conocida como inferencia. Esta etapa convierte la capacidad de un modelo en funciones concretas para usuarios, como dictado por voz, notas clínicas o asistencia para programadores.

Entre los clientes mencionados aparecen WhisperFlow, una aplicación de voz a texto, y Abridge, una plataforma médica que genera documentación clínica. WhisperFlow utiliza varios modelos de lenguaje y audio, mientras Abridge opera aproximadamente 20 modelos integrados con sistemas electrónicos de salud.

La propuesta de Base10 combina optimización de rendimiento, confiabilidad y acceso a múltiples nubes. La empresa busca que sus clientes mantengan baja latencia y continuidad operativa, incluso cuando el cómputo proviene de diferentes proveedores.

Según Tuhin, muchas compañías comienzan directamente con AWS, Google Cloud, Azure u operadores especializados de infraestructura. Sin embargo, algunas descubren que deben construir por sí mismas la compleja capa de inferencia que conecta los modelos con el hardware.

Base10 cobra principalmente por el cómputo utilizado, aunque también avanza hacia esquemas vinculados con tokens y flujos de ajuste de modelos. Para las aplicaciones, esa estructura puede facilitar la comparación con los precios de proveedores como OpenAI o Anthropic.

Modelos abiertos, costos y defensa competitiva

Tuhin explicó que cerca de 90% o 95% del gasto actual en inferencia se dirige a modelos de frontera. El resto corresponde a modelos abiertos o ajustados para tareas específicas, pero la proporción podría cambiar cuando las aplicaciones alcancen una escala mayor.

Los modelos abiertos se encuentran aproximadamente 90 días por detrás de los modelos cerrados más avanzados, según la tesis presentada en la conversación. A cambio, pueden ejecutarse entre 70% y 90% más baratos, especialmente después de un proceso de ajuste especializado.

El ajuste posterior permite entrenar un modelo para una función concreta usando datos propios y una métrica definida por la empresa. Por ejemplo, una plataforma médica podría minimizar errores de transcripción en un modelo de voz diseñado para su flujo clínico.

La economía se vuelve más relevante cuando una empresa pasa de tener ajuste entre producto y mercado a operar a gran escala. En ese punto, reducir el costo por token puede resultar esencial para elevar los márgenes brutos desde niveles cercanos a cero hasta rangos de 40%, 50%, 60% o 70%.

El argumento defensivo también tiene peso. Las compañías pueden preferir controlar sus modelos y sus datos de usuarios para evitar entregar señales valiosas a los laboratorios que desarrollan los sistemas de frontera.

La apuesta por un ecosistema abierto

La estrategia de Base10 depende de dos condiciones. La primera es que exista una capa independiente de aplicaciones de inteligencia artificial; la segunda, que los modelos abiertos mantengan suficiente calidad para ser ajustados por las empresas.

Tuhin expresó preocupación porque los mejores modelos abiertos de los últimos dos años han procedido principalmente de China. Mencionó equipos vinculados con Moonshot, Alibaba y otras compañías asiáticas como ejemplos de una alternativa frente al dominio de los modelos cerrados.

Para el ejecutivo, la disponibilidad de modelos abiertos también tiene una dimensión de seguridad nacional. Si el costo de la inteligencia llegara a ser entre 70% y 90% menor en Oriente que en Occidente, Estados Unidos podría enfrentar una desventaja estratégica.

En su opinión, Google, Nvidia, Meta y otras compañías estadounidenses ya realizan inversiones relevantes en modelos abiertos. También señaló que la participación gubernamental podría aumentar, aunque los resultados de esas apuestas todavía no alcanzan la visibilidad de los modelos comerciales.

Tuhin cuestionó la concentración del poder tecnológico en una o dos empresas. A su juicio, la inteligencia no debería quedar bajo el control exclusivo de compañías privadas que, además de desarrollar modelos, tendrían que decidir cuestiones morales para el resto de la sociedad.

GPU, nubes y una escasez sin pausa

La mayoría de la flota de Base10 funciona sobre chips de Nvidia, principalmente por la disponibilidad de CUDA y su ecosistema de desarrolladores. El ejecutivo considera que la cadena de suministro, el acceso a TSMC y el capital disponible ofrecen a Nvidia una ventaja difícil de replicar.

La empresa trabaja con aproximadamente 20 nubes y conecta 87 clústeres diferentes. Su tecnología busca convertir GPU ubicadas en distintos proveedores en recursos intercambiables para los clientes.

La compañía también observa arquitecturas heterogéneas. El procesamiento de inferencia separa tareas de prellenado y decodificación, lo que podría favorecer una combinación de chips especializados en lugar de un único tipo de procesador.

Tuhin afirmó que la escasez de cómputo resulta mucho peor de lo que suele describirse. Una solicitud de 1.000 GPU podría recibir respuestas con disponibilidad para el segundo trimestre del año siguiente, es decir, con esperas de 12 a 15 meses.

Base10 paga actualmente USD $263 por hora por un clúster de chips B200, pero recibió una propuesta para elevar esa tarifa a USD $510 durante la próxima renovación. Tuhin calificó el incremento como excesivo y señaló que la empresa todavía no había respondido.

Comprar infraestructura para asegurar el futuro

Hasta ahora, Base10 ha preferido alquilar capacidad porque su especialidad estaba en el software y no en construir centros de datos. Sin embargo, el crecimiento de la demanda obliga a reconsiderar esa decisión.

La compañía procesa aproximadamente 30 billones de tokens diarios, una cifra que, según Tuhin, supera el volumen de la API de OpenAI y el de Gemini, sin incluir el uso de ChatGPT. El ejecutivo proyectó una necesidad de unos 150.000 equivalentes de B200 en dos años.

Ese nivel de infraestructura representaría cerca de USD $7.000 millones en gasto de cómputo. Para garantizar el acceso, Base10 contempla comprar chips y desplegarlos por cuenta propia, además de mantener relaciones con proveedores de hardware.

La propiedad de la infraestructura podría reducir los costos alrededor de 30% frente a ciertos operadores de nube. También permitiría controlar mejor la disponibilidad, aunque cambiaría de forma considerable el perfil financiero y operativo de la empresa.

Tuhin resumió los principales riesgos en tres frentes: la falta de modelos abiertos competitivos, la posible inexistencia de una capa independiente de aplicaciones y la dificultad para asegurar suficiente capacidad de cómputo.

Centros de datos modulares y demanda permanente

Si no estuviera construyendo Base10, Tuhin dijo que invertiría en energía y generación eléctrica. Su razonamiento parte de la necesidad de encontrar espacio, electricidad y capacidad física para instalar la infraestructura que requieren los modelos.

Una de sus ideas favoritas consiste en desarrollar centros de datos modulares. El objetivo sería estandarizar la unidad de cómputo, de manera similar a como los contenedores normalizaron el transporte internacional de mercancías.

Una arquitectura modular podría crear un formato común para diferentes instalaciones. Ese estándar permitiría industrializar la construcción, simplificar el mantenimiento y formar una red de proveedores con procesos repetibles.

El ejecutivo no espera que la escasez de cómputo vuelva pronto a la normalidad. Los modelos aumentan de tamaño y las aplicaciones se vuelven más autónomas, por lo que ambos factores presionan al alza la demanda de inferencia.

La demanda también opera durante todo el día porque los usuarios se distribuyen entre regiones. Una menor utilización en Estados Unidos puede coincidir con un aumento en Europa o China, lo que reduce las ventanas disponibles para reutilizar capacidad.

Una economía todavía inmadura

La conversación presentó el mercado del cómputo como un sector todavía poco eficiente. Tuhin comparó las negociaciones por capacidad con un mercado informal, donde intermediarios buscan GPU disponibles mediante llamadas constantes.

El ejecutivo considera que surgirán mercados más organizados alrededor de la electricidad, los centros de datos y la capacidad de inferencia. Sin embargo, advirtió que el sector aún no tiene la madurez suficiente para ofrecer precios estables y previsibles.

También recomendó a las empresas identificar aquello que las hace únicas y convertirlo en modelos propios. Las compañías que no desarrollen esa capacidad podrían quedar expuestas frente a proveedores de frontera cada vez más potentes.

Para los estudiantes que comienzan su formación, Tuhin sugirió estudiar lo que les resulte interesante. Considera que una persona puede cambiar de carrera y adquirir experiencia profunda en un área nueva en aproximadamente seis meses.

Su propia atención está puesta en las finanzas de los centros de datos y en los mecanismos de financiación de proyectos. Allí observa una oportunidad vinculada con el crecimiento acelerado del cómputo y la infraestructura energética.

La tesis de Base10 combina una visión optimista sobre la expansión de la IA con una advertencia sobre sus límites físicos. La inferencia puede convertirse en una industria gigantesca, pero su crecimiento dependerá de chips, energía, centros de datos, modelos abiertos y capital suficiente.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados