IdleSpec: Tecnica di IA sfrutta il tempo di inattività per migliorare le prestazioni degli agenti LLM

I ricercatori hanno introdotto IdleSpec, un approccio di inferenza scalabile che sfrutta il tempo di calcolo inattivo per migliorare le prestazioni degli agenti basati su modelli linguistici di grandi dimensioni (LLM). Gli agenti LLM risolvono compiti complessi attraverso un ragionamento multi-step che coinvolge chiamate iterative a strumenti e interazioni con l'ambiente, che tipicamente comportano tempi di inattività in attesa delle osservazioni. I metodi esistenti trattano questo tempo di inattività come un overhead inevitabile o offrono soluzioni limitate che non tengono conto dei diversi budget computazionali tra le chiamate agli strumenti e dell'incertezza delle osservazioni future. IdleSpec affronta questo problema generando candidati piani durante i periodi di inattività e aggregandoli una volta che le osservazioni sono disponibili per guidare il passo successivo del ragionamento. L'approccio campiona tra diverse strategie di pianificazione per gestire efficacemente l'incertezza delle osservazioni. L'articolo è pubblicato su arXiv con identificatore 2605.22154.