REAP: Cura Automatica di Benchmark per Agenti di Codifica dall'Uso in Produzione
Questo articolo introduce REAP (Relevance and Execution-Audited Pipeline), una pipeline automatica per la creazione di benchmark per agenti AI di codifica direttamente da sessioni reali sviluppatore-agente, senza etichettatura manuale. I metodi di valutazione esistenti come i test A/B online sono lenti e rischiosi, il shadow deployment manca di riproducibilità e i benchmark pubblici non corrispondono ai carichi di lavoro di produzione per distribuzione linguistica, stile dei prompt o struttura del codice. REAP affronta sfide come prompt non testabili, test disallineati e test instabili che compromettono l'affidabilità. Il controllo manuale è impraticabile in ambienti monorepo, quindi REAP automatizza il processo di cura per produrre benchmark in-distribution dall'uso in produzione.
Fatti principali
- REAP sta per Relevance and Execution-Audited Pipeline.
- Automatizza la creazione di benchmark da sessioni reali sviluppatore-agente.
- Non richiede etichettatura manuale.
- Metodi esistenti: test A/B online (settimane, rischio utente), shadow deployment (non riproducibile), benchmark pubblici (fuori distribuzione).
- Sfide: prompt non testabili, test disallineati, test instabili.
- Il controllo manuale è impraticabile in ambienti monorepo.
- REAP produce benchmark derivati dalla produzione.
- L'articolo proviene da arXiv:2604.01527v4.
Entità
Istituzioni
- arXiv