Agent-desktop: CLI per automazione desktop strutturata tramite API di accessibilità del sistema operativo

Agent-desktop è uno strumento da riga di comando multipiattaforma che consente agli agenti AI di automatizzare attività desktop accedendo direttamente alle informazioni strutturate dell'interfaccia utente attraverso le API di accessibilità del sistema operativo, invece di basarsi sulla previsione dei pixel tramite screenshot. Lo strumento supporta macOS (API di accessibilità), Windows (UI Automation) e Linux (AT-SPI). È stato lanciato silenziosamente circa un mese fa e ha 122 stelle su GitHub. Lo sviluppatore sostiene che i metodi basati su screenshot utilizzati da strumenti come Codex, Claude Code e CUA sono lenti, costosi in termini di token e fragili, poiché si rompono quando l'interfaccia utente si sposta di pochi pixel. Al contrario, agent-desktop sfrutta gli stessi dati strutturati che i lettori di schermo utilizzano da anni, analogamente a come Playwright ha migliorato l'automazione web rispetto allo scraping di screenshot.