Entropia della Chioma: Una Nuova Misura per l'Effetto del Fine-Tuning sulla Trasmissione di Informazioni nei LLM

Un nuovo studio propone l'Entropia della Chioma (CE*), una metrica che misura come il fine-tuning influisce sulla trasmissione di informazioni nei modelli linguistici di grandi dimensioni. A differenza delle analisi precedenti che trascurano la lunghezza dell'output, CE* considera la generazione come un albero di possibili percorsi, quantificando la dimensione effettiva dello spazio di generazione. Cattura congiuntamente l'incertezza nella lunghezza dell'output N e nella sequenza Y_{1:N}, eguagliando l'entropia totale di Shannon H(N, Y_{1:N}|X). La metrica produce componenti interpretabili come la correlazione lunghezza-entropia ρ(N, r_N). La ricerca, pubblicata su arXiv (2605.30844), colma una lacuna nella comprensione di come il fine-tuning distribuisca l'incertezza sull'intera generazione.