ACE: Generazione di Codice LLM Auto-Evolvente tramite Test Avversari
I ricercatori hanno introdotto ACE, un framework per la generazione di codice auto-evolvente progettato per modelli linguistici di grandi dimensioni (LLM), che impiega una struttura risolutore-avversario. In questa configurazione innovativa, un singolo LLM alterna la creazione di programmi candidati e la generazione di input di test avversari mirati a innescare fallimenti di esecuzione, come errori runtime o non terminazione. Questo metodo supera le carenze dei sistemi convenzionali risolutore-verificatore, dove i test prodotti dai verificatori diventano meno efficaci man mano che i risolutori avanzano. ACE opera esclusivamente sulla supervisione derivata dall'esecuzione, eliminando la necessità di estese soluzioni annotate. Il framework enfatizza la scoperta attiva di fallimenti per facilitare il miglioramento continuo nella generazione di codice. Questa ricerca è documentata nel preprint arXiv 2605.16299.
Fatti principali
- ACE è un framework di generazione di codice auto-evolvente per LLM.
- Utilizza un'architettura risolutore-avversario.
- Un singolo LLM genera sia programmi candidati che input di test avversari.
- I test avversari mirano a causare fallimenti di esecuzione (errori runtime, eccezioni, non terminazione).
- La supervisione deriva esclusivamente dai risultati di esecuzione.
- Affronta il degrado dei framework risolutore-verificatore man mano che i risolutori migliorano.
- Il framework non richiede soluzioni annotate su larga scala.
- L'articolo è disponibile su arXiv (2605.16299).
Entità
Istituzioni
- arXiv