L'Hyperfitting Migliora la Diversità dell'Output degli LLM Oltre la Scalatura della Temperatura

Uno studio recente pubblicato su arXiv (2605.22579) esplora il concetto di "Hyperfitting", che si riferisce al miglioramento della qualità della generazione a finale aperto e alla diminuzione della ripetizione quando i modelli linguistici di grandi dimensioni vengono ottimizzati per raggiungere una perdita di addestramento quasi zero su set di dati limitati. I risultati indicano che l'hyperfitting differisce dalla semplice scalatura della temperatura, poiché i controlli abbinati per entropia rivelano che la scalatura della temperatura non riesce a ottenere miglioramenti simili nella diversità. Inoltre, la ricerca confuta l'idea di una riponderazione statica del vocabolario, scoprendo un meccanismo dinamico di riordinamento dei ranghi che dipende dal contesto. Un'analisi a livello di strato identifica questo fenomeno come una "Espansione Terminale" che si verifica negli strati finali del modello.