FormulaCode: un benchmark per testare gli agenti LLM sull'ottimizzazione del codice reale

I ricercatori hanno introdotto FormulaCode, un benchmark per valutare gli agenti di codifica basati su grandi modelli linguistici (LLM) in compiti di ottimizzazione su larga scala a livello di repository. Il benchmark include 957 colli di bottiglia prestazionali provenienti da repository Python scientifici su GitHub, ciascuno con patch scritte da esperti e una media di 264,6 carichi di lavoro prestazionali mantenuti dalla comunità per compito. FormulaCode utilizza metriche multi-obiettivo a grana fine per valutare il comportamento di ottimizzazione olistico sotto vincoli realistici, affrontando le limitazioni dei benchmark esistenti che si basano su compiti sintetici o segnali binari di correttezza. Le valutazioni iniziali mostrano le sfide dell'ottimizzazione multi-obiettivo su larga scala per gli attuali agenti LLM.