Selezione Submodulare di Benchmark per una Valutazione Efficiente degli LLM

I ricercatori hanno stabilito un approccio formale per scegliere un insieme compatto e informativo di benchmark per valutare i modelli linguistici di grandi dimensioni, inquadrandolo come un problema di massimizzazione submodulare in un contesto gaussiano multivariato. Gli obiettivi di entropia (determinante log-covarianza) e informazione mutua tra i benchmark scelti e quelli rimanenti sono intrinsecamente submodulari. Mentre la selezione per entropia coincide con la decomposizione di Cholesky pivotata e mantiene limiti spettrali residui, l'informazione mutua è generalmente non monotona ma tende a essere empiricamente monotona per sottoinsiemi più piccoli, consentendo un'ottimizzazione greedy. Test condotti su tre matrici provenienti da dieci leaderboard pubbliche indicano che la selezione per informazione mutua supera quella per entropia in efficacia per l'imputazione con sottoinsiemi piccoli.