I punteggi aggregati dei benchmark nascondono regressioni a livello di singolo elemento nelle migrazioni delle API GPT
Un recente articolo su arXiv esplora come i punteggi aggregati dei benchmark possano mascherare regressioni a livello di singolo elemento durante le migrazioni software tra versioni di API di modelli linguistici di grandi dimensioni. La ricerca si concentra su tre aggiornamenti da GPT-5.4 a GPT-5.6, analizzando 900 elementi di benchmark in diversi compiti, eseguendo 50 query per elemento per ciascun modello. Gli elementi sono stati categorizzati come migliorati, regrediti, equivalenti o inconcludenti tramite analisi statistica. I risultati rivelano che, sebbene le migrazioni complessive possano apparire riuscite, possono nascondere significativi cali a livello di singolo elemento. Lo studio evidenzia la necessità di valutazioni a livello di singolo elemento per comprendere i cambiamenti del modello ed è disponibile come preprint 2608.17719 su arXiv, in attesa di revisione paritaria.
Fatti principali
- L'articolo critica l'affidamento ai punteggi aggregati dei benchmark per le decisioni di migrazione delle API LLM.
- Studia la sequenza del prodotto Sol da GPT-5.4 a GPT-5.6 con tre aggiornamenti a coppie.
- I ricercatori hanno interrogato 900 elementi di benchmark pubblici, ciascuno 50 volte per modello.
- Le categorie di benchmark includevano conoscenza a livello post-laurea, matematica olimpica e seguire istruzioni.
- Gli elementi sono stati classificati come migliorati in modo affidabile, regrediti in modo affidabile, praticamente equivalenti o inconcludenti.
- La classificazione ha utilizzato il controllo del tasso di falsa scoperta e una soglia di significatività pratica.
- I risultati sono stati calibrati rispetto a un'ipotesi nulla di permutazione delle etichette.
- Miglioramenti affidabili e regressioni affidabili coesistevano in tutte le nove celle di migrazione-benchmark.
Entità
—