Por Canuto  

Jeff Dean, creador del TPU y MapReduce, explica la ‘regla del 1%’ para construir en IA, el papel de la energía y la ingeniería de contexto, y ofrece claves para fundadores.
***

  • Jeff Dean predice que la IA alcanzará el nivel de ingeniero junior y para 2027 verá automatización de sistemas de ML.
  • El TPU nació de un cálculo de servilleta sobre el costo del reconocimiento de voz, y hoy es fundamental para la IA.
  • La ingeniería de contexto y la especialización en hardware serán las claves para las startups.

Jeff Dean, ingeniero de Google y creador de tecnologías fundamentales como MapReduce, TensorFlow y el TPU, ofreció una entrevista en Y Combinator donde compartió su visión sobre el futuro de la inteligencia artificial. En la conversación, titulada Jeff Dean: The 1% Rule for Building in AI, Dean habló sobre la evolución de los modelos, la importancia del hardware especializado y el papel de la ingeniería de contexto. Sus declaraciones ofrecen una guía práctica para fundadores y desarrolladores que buscan construir en esta nueva era.

El estado de la IA y la predicción para 2027

Dean recordó que el año pasado, en mayo de 2025, predijo que la IA estaba al nivel de un ingeniero junior. Ahora, un año después, reconoce que esa predicción fue acertada, pero que el progreso ha sido más rápido de lo esperado.

Los modelos actuales ya son capaces de realizar tareas de codificación complejas y de actuar como agentes autónomos. “Dependiendo de la definición de ingeniero junior, parece bastante acertado”, afirmó.

Para 2027, Dean vaticina una mayor automatización de los sistemas de ML. “Verás mucha más automatización de los sistemas de ML mismos”, dijo, refiriéndose a la capacidad de los modelos para descomponer problemas y ejecutar experimentos automáticamente.

Esta automatización no se limitará al aprendizaje automático, sino que también impactará otros campos científicos e ingenieriles. “Cualquier cosa donde puedas tener un objetivo medible”, señaló.

La idea es que los sistemas puedan mejorar sus capacidades corriendo una serie de subprocesos en un bucle de experimentación automático. Esto permitirá avances significativos en disciplinas tan diversas como la química y el diseño de chips.

La historia del TPU y la especialización del hardware

Dean narró cómo, en 2013, el equipo de reconocimiento de voz de Google observó una mejora drástica en la precisión gracias a los modelos de aprendizaje profundo. Sin embargo, el costo computacional era tan alto que un cálculo en una servilleta reveló que si cada usuario de Google hablara con su teléfono durante tres minutos al día, se necesitaría duplicar la flota de servidores.

Para resolver este problema, Dean y su equipo diseñaron el TPU, un chip especializado en álgebra lineal densa de baja precisión. Este hardware resultó ser de 30 a 80 veces más eficiente energéticamente que las CPU y GPU de la época, y redujo la latencia entre 20 y 30 veces.

La decisión de construir un chip tan específico fue arriesgada, pero la historia ha demostrado que fue fundamental. Aunque el TPU se diseñó antes de la arquitectura de transformadores, su enfoque en álgebra lineal resultó versátil para los modelos modernos.

Dean subraya que la especialización del hardware es clave para reducir la latencia y el consumo energético en la inferencia. “La inferencia es la clave para que estos sistemas basados en agentes sean accesibles a más personas”, explicó.

La idea de que se pueda construir hardware especializado para dominios específicos es una lección para los emprendedores: a veces, las soluciones más eficientes no provienen de intentar hacer todo con el mismo recurso.

La energía como la nueva unidad de medida

Dean enfatizó que, en la era de la IA, la energía se ha convertido en una métrica clave para evaluar sistemas. “Hacer un cálculo cuesta alrededor de un pico, pero mover los datos cuesta mil veces más”, señaló.

Esta diferencia de mil veces entre el costo de mover datos y el de computarlos afecta directamente el diseño de algoritmos. Por ejemplo, el agrupamiento de lotes en el entrenamiento es una estrategia para amortizar el costo del movimiento de datos.

Para los ingenieros, es crucial entender los números de latencia y energía en los sistemas de IA modernos. Dean mencionó que su famosa lista de “números de latencia” ahora debe actualizarse con métricas como el ancho de banda entre memoria y chip, o el costo energético de una operación de multiplicación.

“Quieres saber cuánta energía se requiere para hacer una sola operación de multiplicación”, dijo, y agregó que “hay mucho espacio para especializar más el hardware para la inferencia”.

La conclusión es que los fundadores deben pensar en términos de energía y rendimiento, no solo en algoritmos. Los problemas que parecen ser de modelo a menudo son, en realidad, problemas de IO de datos o de eficiencia energética.

Ingeniería de contexto y agentes

Dean cree que el futuro de la IA no se limita a modelos más grandes, sino a la orquestación de sistemas complejos. “El modelo es realmente solo una pieza de lo que estás tratando de hacer”, señaló.

La ingeniería de contexto, que incluye herramientas de recuperación, memoria y llamadas a herramientas, es un área donde los emprendedores pueden destacar. Lo mejor es que no requiere enormes recursos, solo acceso a una API y creatividad.

Dean recomienda trabajar con los modelos para identificar en qué fallan y luego crear habilidades que los guíen. “Puedes hacer que el modelo funcione mejor no ajustando sus parámetros, sino creando mejores pautas”, explicó.

Un ejemplo concreto es su trabajo con Sanjay Ghemawat para escribir una habilidad que enseña a los agentes a optimizar código mediante microbenchmarks. Esta habilidad permite que el modelo realice mejoras de rendimiento de forma autónoma.

La clave es dar especificaciones claras. “Tendrás mucho más éxito al trabajar con tus agentes si puedes especificar claramente lo que quieres”, dijo. Cuanto más detallada sea la tarea, mejor será el resultado.

Consejos para fundadores y construcción de gusto

Dean ofreció consejos prácticos para quienes quieren fundar una startup en el espacio de la IA. La primera regla es elegir un problema que te apasione y que tenga un impacto real en el mundo. “Si eliges bien el problema, ya estás mucho más adelante”, afirmó.

También recomendó probar si los modelos generales actuales pueden resolver el problema. Si fallan completamente, es una buena señal; si tienen un éxito del 20%, es probable que mejoren pronto y no sea una oportunidad sostenible.

Existen dos caminos posibles: organizar la información personal de los usuarios, que aún está abierto, o especializarse en dominios que requieran modelos de nicho, como AlphaFold para la biología. “Busca algo donde el modelo tenga éxito 0% o 1%, no 20%”, sugirió.

Para desarrollar “gusto” y visión, Dean aconseja escribir muchas ideas y evaluarlas con el tiempo. También sugiere realizar experimentos mentales locos, como cuestionar suposiciones arraigadas, por ejemplo, la fiabilidad de los transistores a gran escala.

Finalmente, Dean destacó la importancia de trabajar con personas de bajo ego y habilidades complementarias. “Quieres encontrar personas de las que te deleites estar alrededor”, dijo, especialmente en equipos pequeños.

El futuro: aprendizaje automático que se auto-mejora

Dean está entusiasmado con la idea de que los sistemas de IA puedan auto-mejorarse mediante la automatización del ciclo científico. Ya existen proyectos como AlphaChip y AlphaEvolve que exploran este camino.

“Propones un experimento, lo implementas, evalúas los resultados y repites”, explicó. Con la automatización, este ciclo puede ejecutarse a una velocidad increíble, acelerando el progreso en múltiples dominios.

Un ejemplo notable es el trabajo de sus colegas en química cuántica, donde entrenaron un modelo neural para aproximar simulaciones costosas, logrando una aceleración de 300.000 veces. Esto cambia por completo la forma de hacer ciencia.

Dean cree que esta capacidad de auto-mejora será fundamental para el avance de la IA y de otras ciencias. “Permitirá acelerar el progreso del aprendizaje automático”, dijo.

La conclusión es que estamos entrando en una era donde la experimentación automatizada será la norma, y los fundadores que la aprovechen tendrán una ventaja significativa.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados