La Perdita di Entropia delle Cifre Migliora la Predizione Numerica nei LLM

Viene proposto un nuovo metodo chiamato Digit Entropy Loss (DEL) per migliorare l'apprendimento numerico nei modelli linguistici di grandi dimensioni (LLM). La predizione dei numeri è cruciale per la risoluzione di problemi matematici e la generazione di codice, ma la stima di massima verosimiglianza standard (MLE) non è adatta ai numeri. Gli approcci esistenti basati su penalità, come Number Token Loss e Discretized Distance Loss, introducono un bias induttivo ma causano distribuzioni delle cifre troppo appuntite o troppo appiattite. DEL riformula l'ottimizzazione dell'entropia non supervisionata con tre progetti chiave, sfruttando le informazioni a livello di cifra per migliorare l'apprendimento numerico auto-regressivo. L'articolo fornisce un'analisi approfondita dell'apprendimento numerico nei LLM, mostrando che i metodi attuali seguono una formulazione criterio-distanza. DEL mira a bilanciare l'ottimizzazione e i priori geometrici per una migliore predizione dei numeri.