I Punteggi di Compressione Non Decidono: Confini Informativi per il Potatura di LLM Robusta ai Gruppi

Uno studio recente su arXiv (2608.02940) ha scoperto che l'uso di una statistica di compressione riproducibile potrebbe erroneamente segnalare candidati per la potatura di modelli linguistici di grandi dimensioni (LLM). Anche se un punteggio di potatura denso ha mostrato un'affidabilità di 0,906 e ha suggerito un miglioramento del 16,1%, i risultati finali hanno dimostrato cali del 6,0% e del 7,7% rispetto a due gruppi di controllo. I ricercatori attribuiscono queste incongruenze ai diversi modi in cui le statistiche definiscono le interfacce informative. Secondo una legge conica, il costo di pooling per il danno positivo lineare a candidato fisso è esatto, incorporando vari momenti secondi. I loro risultati indicano una forte correlazione di Spearman di 0,9239 per i danni diagonali raggruppati, mentre gli ordini più fini mancano di robustezza. Infine, un'allocazione di profondità più grossolana può ridurre la perplessità del gruppo peggiore del 12,6–20,9% su tre LLM, evidenziando la necessità di metodi migliori nelle decisioni di potatura.