Por Canuto  

Vercel Labs publicó agent-desktop, una herramienta de código abierto que permite a agentes de IA leer y operar aplicaciones de escritorio mediante los árboles de accesibilidad del sistema operativo, en lugar de depender de capturas de pantalla. El proyecto funciona en macOS, Windows y Linux. Sus desarrolladores reportaron ahorros de hasta 96% en el consumo de tokens para ciertos casos, pero las cifras no corresponden a una evaluación independiente.
***

  • Agent-desktop es una CLI escrita en Rust y una biblioteca C; no incluye un modelo de IA ni funciona como agente autónomo.
  • La herramienta consulta las API de accesibilidad de macOS, Windows y Linux y devuelve instantáneas estructuradas con referencias a elementos de la interfaz.
  • Vercel Labs reportó reducciones de entre 78% y 96% en el consumo de tokens para ciertos usos; las cifras son autoinformadas y no provienen de un benchmark independiente.

Vercel Labs publicó agent-desktop, una herramienta de código abierto para que agentes de inteligencia artificial interactúen con aplicaciones de escritorio sin depender de capturas de pantalla. En lugar de interpretar píxeles, el programa consulta la estructura de accesibilidad que ofrece el sistema operativo y entrega al agente una instantánea en formato JSON con referencias a los elementos disponibles.

La versión 1.0.2 apareció el 30 de octubre de 2026 bajo la licencia Apache-2.0, según reportó MarkTechPost. El lanzamiento abarca macOS, Windows y Linux, y busca que un agente capaz de ejecutar comandos pueda operar aplicaciones nativas mediante una interfaz estructurada, sin incorporar un modelo de lenguaje ni una interfaz gráfica propia.

Una herramienta para observar y actuar en el escritorio

Agent-desktop se presenta como una interfaz de línea de comandos escrita en Rust y una biblioteca C, no como un agente autónomo. Cada comando produce un sobre JSON y termina su ejecución, por lo que el ciclo de observar la aplicación, decidir qué hacer y verificar el resultado continúa bajo el control del agente que utilice la herramienta.

Su arquitectura separa el núcleo de las particularidades de cada sistema operativo mediante una capa llamada PlatformAdapter. A partir de ahí, un componente de plataforma consulta las API nativas: AX en macOS, UI Automation en Windows y AT-SPI en Linux; el núcleo no importa directamente esas implementaciones y cada binario se compila para un sistema operativo concreto.

La instantánea asigna referencias calificadas, como @s8f3k2p9:e8, a los controles que el agente puede manejar. El identificador de la instantánea forma parte de la referencia, de modo que una referencia incompleta como @e8 se rechaza con el error INVALID_ARGS, en vez de permitir que el programa adivine qué elemento quiso señalar el agente.

Si la interfaz cambia antes de que se ejecute una acción, el sistema puede devolver STALE_REF o AMBIGUOUS_TARGET, y el agente debe obtener una instantánea nueva. Cada error incluye una disposición que indica si es seguro reintentar; esa regla busca reducir acciones ambiguas, aunque no elimina la necesidad de que el agente compruebe los resultados de sus operaciones.

Las acciones basadas en referencias no mueven el puntero ni toman el foco de forma predeterminada, lo que permite que el usuario siga utilizando la computadora mientras trabaja el agente. Cuando una tarea requiere entrada física, la opción global –headed habilita ese modo; además, las acciones esperan automáticamente hasta 5.000 milisegundos a que el objetivo esté visible, habilitado y estable.

Menos datos para interfaces complejas, según sus desarrolladores

Las aplicaciones con interfaces densas pueden exponer miles de nodos de accesibilidad, lo que aumenta el volumen de información que un modelo debe procesar. Para evitar descargar el árbol completo de una sola vez, agent-desktop ofrece una instantánea –skeleton que consulta solo tres niveles de profundidad y marca los contenedores recortados con un recuento de elementos hijos.

Cuando necesita más detalle, el agente puede solicitar una región mediante snapshot –root y una referencia de desglose asociada a la misma instantánea. El enfoque permite comenzar con una vista resumida y explorar después una parte concreta de la aplicación, en lugar de enviar de entrada todos los controles disponibles al modelo.

Vercel Labs informó que este recorrido redujo entre 78% y 96% el consumo de tokens frente a volcados completos en Slack, VS Code y Notion. En Apple Maps, la empresa reportó un descenso de 3.811 tokens por vista a 273, mientras que una tarea simulada de 52 pasos pasó de 198.000 a 31.000 tokens.

Esas cifras son autoinformadas y la publicación no cita un benchmark independiente de uso de computadora que permita compararlas bajo condiciones uniformes. Por eso, ilustran el ahorro que el equipo dice haber observado en sus pruebas, pero no demuestran por sí solas que cualquier aplicación, agente o tarea alcance una reducción equivalente.

La propuesta contrasta con herramientas que reciben capturas de pantalla y actúan sobre coordenadas de píxeles. La documentación de Anthropic, según el artículo de MarkTechPost, calcula entre 1.000 y 1.800 tokens de entrada por captura para su modalidad de uso de computadora, además de alrededor de 4.500 tokens de entrada por solicitud para la definición de su conjunto de herramientas.

OpenAI también ofrece acciones como hacer clic, escribir y desplazarse, que luego ejecuta el código del usuario, mientras que agent-desktop entrega estructura accesible y no imágenes. Microsoft UFO² recurre a UI Automation dentro de un marco de agente completo para Windows; agent-desktop, en cambio, se plantea como una pieza que puede integrarse con distintos agentes y modelos.

Compatibilidad, instalación y límites de la herramienta

La herramienta funciona en macOS 13 o posterior, Windows 10 versión 1809 o posterior y Windows Server 2019 o posterior, además de Ubuntu 24.04 o posterior. Los binarios están disponibles para x64 y ARM64, y el proyecto indica que basta una CPU convencional, sin requerir una GPU para ejecutar la capa de control del escritorio.

La instalación se realiza con npm install -g agent-desktop, aunque también se admiten Bun, Yarn y pnpm. En macOS, el usuario debe conceder permisos de Accesibilidad mediante agent-desktop permissions –guide; en Windows no hace falta un permiso adicional para aplicaciones que compartan el nivel de integridad de la terminal.

En Linux se necesita una sesión gráfica y el paquete at-spi2-core. Para orientar a los agentes, la documentación puede obtenerse con agent-desktop skills get desktop, y el proyecto también aparece en skills.sh; una biblioteca C permite llamadas desde Python, Swift, Go, Ruby y Node dentro del mismo proceso.

Para contenido web dentro de aplicaciones Electron, el comando launch –cdp abre un puerto de DevTools para agent-browser. Sin embargo, el método depende de que las aplicaciones expongan un árbol de accesibilidad utilizable: los programas que no ofrecen esa estructura quedan fuera de su alcance, una limitación importante frente a enfoques visuales capaces de operar sobre lo que aparece en pantalla.

Con 60 nombres de comandos, de los cuales 56 están operativos, el proyecto ofrece una superficie de control amplia, aunque su utilidad real dependerá de cómo responda cada aplicación y de la integración que construya cada equipo. La licencia Apache-2.0 permite inspeccionar y reutilizar el código, pero los resultados publicados hasta ahora no sustituyen pruebas independientes sobre confiabilidad, seguridad y desempeño en tareas variadas.

El lanzamiento sitúa a agent-desktop como una capa de acceso para agentes, no como una solución completa de automatización. Su apuesta consiste en convertir la interfaz del sistema operativo en datos legibles y referencias verificables; el paso siguiente para evaluar su alcance será comprobar cómo se comporta en aplicaciones y flujos de trabajo distintos a los ejemplos reportados por sus desarrolladores.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados