Nuovo Benchmark Stima il Numero di Parametri dei LLM tramite Conoscenza Fattuale

I ricercatori hanno sviluppato una tecnica innovativa per stimare il numero di parametri dei modelli linguistici di grandi dimensioni closed-source valutando la loro conoscenza fattuale. Hanno creato le Incompressible Knowledge Probes (IKP), composte da 1.400 domande fattuali suddivise in 7 livelli di oscurità, mirate a identificare conoscenze che non possono essere dedotte tramite ragionamento o migliorate da modifiche architetturali. Stabilendo una relazione log-lineare tra l'accuratezza IKP e il numero di parametri utilizzando 89 modelli a pesi aperti (da 135M a 1.600B parametri) di 19 diversi fornitori, hanno ottenuto un valore R² di 0,917. La convalida incrociata leave-one-out ha rivelato un errore mediano di fold di 1,59×, con il 68,5% delle stime entro 2× e l'87,6% entro 4×. Questo metodo sfrutta il requisito fondamentale che memorizzare F fatti richiede almeno F/(bit per parametro) pesi, offrendo una stima più precisa rispetto all'economia dell'inferenza, che comporta un'incertezza superiore a 2× a causa di ipotesi su hardware, batching e stack di servizio. La ricerca è disponibile su arXiv con ID 2604.24827.