Por Canuto  

Skylark Labs y colaboradores de Carnegie Mellon y UC Berkeley proponen una arquitectura que permitiría a los robots guardar experiencias exitosas y adaptarse a variaciones de su entorno sin reentrenar el modelo principal. En pruebas reportadas por sus autores, el sistema mejoró el éxito de las acciones y redujo el olvido de habilidades previas, aunque todavía no resuelve tareas completamente nuevas.
***

  • CFAM separa las capacidades estables del robot de una memoria local que registra experiencias exitosas durante la operación.
  • En los experimentos, los autores reportaron un aumento del éxito de las acciones de 74,0% a 87,9% y menos olvido que con LoRA.
  • La arquitectura busca adaptar habilidades conocidas a situaciones cercanas, pero no permite que el robot invente por sí solo destrezas completamente nuevas.

Skylark Labs propone robots que aprenden en campo sin olvidar sus habilidades

Una memoria nueva para robots desplegados

Los robots equipados con inteligencia artificial suelen conservar, una vez desplegados, las capacidades que adquirieron durante su entrenamiento, pero tienen dificultades para ajustarlas cuando encuentran condiciones distintas. Un objeto aparece en otra posición, el terreno cambia o una carga pesa más de lo previsto; ante esas variaciones, reentrenar el modelo completo puede resultar poco práctico, sobre todo si la máquina opera lejos de centros de cómputo o con conectividad limitada.

Investigadores de Skylark Labs, junto con académicos de Carnegie Mellon University y University of California, Berkeley, proponen una arquitectura llamada Continual Field-Adaptive Models, o CFAMs, para atender ese problema. Su investigación, titulada Continual Field-Adaptive Models (CFAMs) for Post-Deployment Physical AI, describe una forma de guardar experiencias útiles en el propio robot, sin modificar continuamente el modelo de inteligencia artificial que sustenta sus capacidades principales.

La idea responde a una transición importante para la robótica: salir de laboratorios y fábricas controlados para trabajar en espacios menos predecibles. Un sistema entrenado con grandes volúmenes de datos no necesariamente habrá visto cada combinación de obstáculos, orientaciones, superficies o cargas que encontrará después, y cada variación puede poner a prueba los límites de su política de acción.

El otro riesgo que los investigadores buscan reducir es el olvido catastrófico, que ocurre cuando un sistema aprende información nueva y, al hacerlo, pierde parte de lo que ya dominaba. CFAM separa las capacidades que los desarrolladores entrenan antes del despliegue de una memoria adaptable, con la intención de que el robot incorpore casos útiles sin borrar sus conocimientos previos.

Cómo funciona la arquitectura CFAM

CFAM organiza sus capacidades estables en tres componentes que el equipo denomina corteza Sensorial, corteza de Razonamiento y corteza de Acción. En conjunto, permiten que la máquina perciba lo que ocurre, determine qué conviene hacer y ejecute una respuesta física; los investigadores entrenan estas partes antes de desplegar el robot y luego las mantienen congeladas.

Un módulo separado, llamado Capsule Field, guarda las experiencias nuevas que el robot encuentra durante su funcionamiento. Sus unidades de memoria reciben el nombre de Competence Capsules y registran casos de desempeño exitoso para que el sistema pueda recuperarlos cuando se presente una situación parecida, en lugar de alterar millones o miles de millones de parámetros del modelo.

Los investigadores explican esta división mediante una analogía con el aprendizaje humano: una parte conserva conocimientos estables a largo plazo y otra codifica experiencias recientes con rapidez. La comparación remite, de manera general, a la relación entre la neocorteza y el hipocampo, aunque CFAM es una arquitectura de inteligencia artificial y no una reproducción literal del cerebro.

El sistema también incluye una Transformación Residual Geométrica, conocida como GRT, para ajustar movimientos previamente aprendidos cuando cambian aspectos espaciales de una tarea. Si el robot ya sabe agarrar un objeto y lo encuentra más lejos o con otra orientación, la propuesta consiste en redirigir la habilidad almacenada a la nueva geometría, no en aprender toda la tarea desde cero.

Pruebas, plataformas y resultados reportados

El equipo probó CFAM en cinco tipos de sistemas físicos: un manipulador, un robot cuadrúpedo, un humanoide, un cuadricóptero y un vehículo todoterreno. Esas plataformas enfrentan problemas distintos, desde tomar objetos hasta avanzar sobre terrenos variables o desplazarse entre rutas, puntos de referencia y obstáculos.

Para sus experimentos, los autores utilizaron un conjunto de datos interno de Skylark Labs con más de 2,6 millones de trayectorias distribuidas entre las cinco plataformas. Según la descripción del estudio, CFAM y los modelos de referencia de política estándar recibieron el mismo conjunto de datos, un criterio que permite comparar sus resultados bajo una base de entrenamiento común.

Los investigadores afirman que CFAM alcanzó el punto operativo de una política estándar entrenada con el conjunto completo de datos previos usando solo 40% de esos datos, es decir, 60% menos trayectorias de entrenamiento. El resultado reportado apunta a que la arquitectura puede requerir menos ejemplos antes del despliegue, aunque no elimina la necesidad de entrenar las capacidades iniciales del robot.

Después de la puesta en marcha, el sistema registró de manera autónoma casos exitosos verificados ante variaciones cercanas a su distribución de entrenamiento. En esos ensayos, el éxito de las acciones aumentó de 74,0% a 87,9%, una mejora de 13,9 puntos porcentuales, de acuerdo con las cifras presentadas por los investigadores.

Menos olvido y aprendizaje sin depender de la nube

En experimentos de simulación secuencial, los autores también compararon cuánto conocimiento previo conservaban los sistemas al aprender en etapas. CFAM registró una transferencia hacia atrás de -0,5 puntos porcentuales, frente a -11,4 puntos porcentuales con LoRA, un método ampliamente utilizado para adaptar modelos de inteligencia artificial con menos recursos que un reentrenamiento completo.

La diferencia resulta relevante porque una actualización en campo no solo debe ayudar a resolver el nuevo caso, sino también evitar que el robot pierda destrezas anteriores. Los valores reportados sugieren menos deterioro de las capacidades previas con CFAM en ese experimento concreto, pero no equivalen a una garantía de que el olvido desaparezca en cualquier robot o situación.

El aprendizaje local adquiere importancia cuando una máquina trabaja sin conexión fiable a la nube o sin infraestructura de cómputo abundante. Robotics and Automation News presenta como posibles escenarios la inspección de túneles mineros inestables, la manipulación de dispositivos explosivos sospechosos, las búsquedas en estructuras dañadas por terremotos y las operaciones en instalaciones contaminadas por radiación.

Los autores también señalan entornos remotos, como el océano profundo y la exploración planetaria, donde los retrasos en las comunicaciones o la falta de datos adecuados complican los métodos dependientes de centros de datos. En aplicaciones comerciales, el mismo principio podría interesar a fábricas, almacenes, obras de construcción y granjas, espacios en los que las condiciones cambian y no siempre coinciden con los ejemplos de entrenamiento.

Alcances, límites y equipo investigador

CFAM no se presenta como una solución para que un robot enfrente cualquier problema desconocido e invente una destreza desde cero. El trabajo se concentra en situaciones cercanas, aunque fuera de la distribución de entrenamiento, donde la máquina puede extender una familia de habilidades que ya conoce a un objeto, terreno o configuración relacionados.

En cambio, una tarea sin una habilidad previa que sirva de base queda fuera del alcance descrito por los investigadores, que la llaman novedad de mundo abierto. Un robot familiarizado con agarrar cierto tipo de objeto podría adaptarse a una orientación distinta, pero eso no significa que ya pueda descubrir autónomamente cómo ejecutar una tarea física completamente nueva.

Entre los autores afiliados a Skylark Labs figuran Amarjot Singh, fundador y CEO de la compañía; Tanmay R. Pancholi, Jainam Kothari, Ketan Bansal y Vince Nakayama, identificados como investigadores y coautores; y Shrirang Mahajan, investigador que trabaja en CFAM y tecnologías relacionadas de aprendizaje continuo. El proyecto también incluye a Zackory Erickson, profesor asistente del Robotics Institute de Carnegie Mellon University, y a Jeff Schneider, profesor de investigación del mismo instituto.

Completan el equipo Giuseppe Loianno, investigador en robótica y fundador del Agile Robotics and Perception Lab de University of California, Berkeley, y Alexandre M. Bayen, titular de la Cátedra Liao-Cho de Ingeniería en esa universidad. En conjunto, la propuesta plantea una vía para que los robots aprovechen mejor sus experiencias exitosas después del despliegue, aunque su utilidad dependerá de cómo funcione ante tareas, plataformas y condiciones reales que todavía no cubren los resultados reportados.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados