Progettare Agenti di Codifica Affidabili: Un Quadro per la Valutazione e l'Operatività
Una recente monografia disponibile su arXiv (ID 2608.13867) sostiene che, sebbene gli agenti di codifica AI siano tipicamente valutati come modelli, essi sono implementati come sistemi, con la loro affidabilità che dipende dai componenti di sistema circostanti. Ciò include aspetti come l'integrazione, lo stato di esecuzione, la gestione della memoria, i permessi, le interfacce di revisione e l'allocazione delle risorse. La ricerca integra approfondimenti da 164 pubblicazioni accademiche, 100 documenti di professionisti, 29 record di benchmark e 17 casi di studio di sistemi autore attraverso una revisione multivocale completa e audit mirati. I risultati rivelano che molti fallimenti dei modelli derivano da problemi nel sistema più ampio, e i miglioramenti a un livello potrebbero non tradursi in miglioramenti delle prestazioni complessive. Gli autori suggeriscono un approccio a catena di dipendenze per la valutazione e l'operatività, evidenziando l'importanza dei fattori a livello di sistema rispetto a una prospettiva incentrata sul modello.
Fatti principali
- La monografia è intitolata 'Engineering Reliable Coding Agents: Evaluating and Operating the System Around the Model'.
- È disponibile su arXiv con ID 2608.13867.
- Sintetizza 164 opere accademiche, 100 documenti di professionisti, 29 record di benchmark e 17 record di casi di sistemi autore.
- La ricerca utilizza una revisione multivocale strutturata, audit di aggiornamento mirati, analisi di copertura dell'ingegneria del software e sintesi di evidenze da sistemi distribuiti.
- La monografia sostiene che gli agenti di codifica AI sono valutati come modelli ma implementati come sistemi.
- L'affidabilità dipende dall'integrazione, dallo stato di esecuzione, dal recupero, dalla memoria, dalla gestione dello stato, dai permessi, dalle interfacce di revisione e dall'allocazione delle risorse.
- Molti apparenti fallimenti del modello hanno origine altrove nel sistema.
- I miglioramenti a un livello spesso non si propagano ai risultati end-to-end.
- La valutazione e l'operatività sono trattate come una catena di dipendenze.
- Le debolezze nella costruzione dei compiti, negli ambienti di esecuzione e nel recupero possono minare l'affidabilità.
Entità
Istituzioni
- arXiv