Quadro statistico rileva il degrado dei LLM

Un nuovo approccio statistico utilizza il test di McNemar per rilevare il degrado nei grandi modelli linguistici (LLM) anche dopo ottimizzazioni teoricamente senza perdite. Il metodo confronta gli output del modello su campioni appaiati per identificare cali significativi di accuratezza, controllando i falsi positivi. Questo affronta il problema per cui errori numerici possono causare generazioni non robuste a temperatura zero. Il quadro è proposto come strumento per garantire la qualità del modello durante gli sforzi di riduzione dei costi di inferenza e della latenza.