Optstop: Un framework bayesiano adattivo riduce il calcolo di valutazione degli LLM fino al 97%

Un nuovo framework chiamato optstop, introdotto in un articolo su arXiv (2608.14425), mira a ridurre il costo computazionale della valutazione dei modelli linguistici di grandi dimensioni (LLM) utilizzando una regola di arresto adattiva basata sulla precisione. Le valutazioni tradizionali degli LLM tipicamente allocano un budget di campionamento fisso, testando ogni elemento del benchmark lo stesso numero di volte anche dopo che le stime delle prestazioni sono diventate precise. Optstop tratta la valutazione come un problema di misurazione sequenziale: continua a campionare elementi dove l'incertezza è alta e si ferma quando le stime sono sufficientemente precise o stabili. Il framework si basa sull'inferenza bayesiana gerarchica e supporta risultati binari, ordinali e continui. Mantiene ogni elemento del benchmark idoneo al campionamento e non richiede un item bank calibrato. Optstop può essere applicato in tempo reale o retrospettivamente e include una salvaguardia che aumenta la cautela man mano che la prestazione misurata si avvicina allo zero, dove i successi rari sono più informativi. In una valutazione illustrativa con 200 elementi e 10 epoche, optstop ha rimosso tra il 57% e il 97% delle prove pianificate in nove impostazioni di validazione, producendo conclusioni complessive equivalenti alla corsa completa. Questi risultati suggeriscono che il calcolo di valutazione degli LLM può essere significativamente ridotto senza compromettere l'accuratezza. L'articolo è scritto da ricercatori ed è stato annunciato su arXiv con l'identificatore 2608.14425v1.