Selezione Robusta di Checkpoint per LLM Multimodali tramite Valutazione Agentica

Un nuovo metodo per la selezione di checkpoint nei modelli linguistici multimodali di grandi dimensioni (MLLM) affronta i problemi derivanti da piccole variazioni di performance e segnali di valutazione inaffidabili. Le tecniche attuali si basano su benchmark statici o valutazioni puntuali, che spesso non funzionano bene nelle applicazioni pratiche e mancano di valutazioni dell'incertezza, specialmente in scenari con uso intensivo di OCR. La nuova strategia presenta la selezione del checkpoint come una sfida decisionale robusta in presenza di incertezza valutativa. Impiega un framework multi-stadio che combina dati reali curati, giudizio strutturato da LLM e metodi di ranking multi-stadio. Il processo di valutazione prevede un raffinamento progressivo attraverso filtraggio puntuale, ranking listwise e confronti pairwise. Per aumentare l'affidabilità, la stima della confidenza tramite sottocampionamento e un approccio di scoring basato su percentili affrontano le caratteristiche distributive mitigando i rischi di coda. Questa ricerca è disponibile su arXiv con ID 2605.18852.