LoCA: Ottimizzazione LLM Solo in Avanti dopo Calibrazione One-Shot con Assegnazione Locale del Credito

Un recente preprint su arXiv (2608.03020) presenta Local Credit Assignment (LoCA), una tecnica in due fasi progettata per l'adattamento a piccoli spostamenti in modelli linguistici di grandi dimensioni, che elimina la necessità di ripetute retropropagazioni end-to-end attraverso un backbone fisso. Inizialmente, una singola passata di retropropagazione di sonda stabilisce una mappa a basso rango in ogni blocco del trasformatore, correlando l'errore finale di previsione con una regolazione locale dello stato nascosto. Successivamente, queste mappe vengono impiegate per creare obiettivi di regressione a blocchi dalle attivazioni in avanti, e gli adattatori a basso rango vengono regolati utilizzando soluzioni di cresta in forma chiusa. Questo metodo elimina ulteriori passate all'indietro attraverso il backbone, minimizzando il requisito di hardware compatibile con la retropropagazione ed evitando la necessità di memorizzazione o ricalcolo delle attivazioni. Valutato su cinque benchmark discriminatori con modelli Qwen2.5 che vanno da 0.5B a 14B parametri, LoCA ha superato i metodi di base in 16 dei 25 confronti task-scala ottenendo una minore cross-entropia di valutazione. L'articolo è accessibile su arXiv con l'identificatore 2608.03020.