BenchDrift: la performance dei LLM varia con la formulazione del problema

Un nuovo studio da arXiv (2608.11694) introduce BenchDrift, uno strumento che quantifica come la riformulazione dei problemi di benchmark influisce sulla performance dei modelli linguistici di grandi dimensioni (LLM). La ricerca mostra che una singola formulazione di un problema non rappresenta l'intero spazio delle possibili formulazioni, e che variazioni che preservano il significato possono capovolgere la risposta di un modello in entrambe le direzioni—trasformando fallimenti in successi e successi in fallimenti. Lo studio testa otto modelli su tre benchmark (GSM8K, MMLU, MATH-Hard) e trova che la deriva è sostanziale. In particolare, la sensibilità alla formulazione non diminuisce con il miglioramento dei modelli; invece, cambia segno. I modelli più deboli tendono a beneficiare della riformulazione, mentre i modelli più forti perdono più di quanto guadagnano. Lo strumento genera variazioni lungo quattro assi: linguistico, referenziale, pragmatico e strutturale. I risultati evidenziano la fragilità dei punteggi di benchmark e suggeriscono che i metodi di valutazione attuali potrebbero essere fuorvianti.