BayesAME: Quadro Bayesiano per la Determinazione Automatica della Dimensione del Coreset nella Valutazione dei Modelli

BayesAME è un quadro sequenziale bayesiano progettato per determinare automaticamente la dimensione ottimale del coreset per la valutazione di grandi modelli generativi. I metodi attuali richiedono che i professionisti specifichino manualmente il numero di elementi da valutare, ma BayesAME dà priorità alla stima affidabile delle prestazioni inferendo la dimensione necessaria del sottoinsieme dai dati. Modella le prestazioni come una variabile casuale, definendo un'abilità latente per gruppi di elementi che condividono prestazioni storiche del modello, e utilizza una distribuzione a priori congiunta per codificare la convinzione che il modello target si comporti in modo simile ai modelli passati. La distribuzione a posteriori su queste abilità latenti consente la selezione automatica del coreset, bilanciando efficienza e accuratezza. Questo approccio affronta il costo computazionale della valutazione di grandi modelli su benchmark completi, offrendo un'alternativa basata su principi ai coreset di dimensione fissa.