Adattamento di Dominio con Passaggio in Avanti: FPO Raggiunge una Throughput 2.7-3.2x nel Fine-Tuning di LLM

Uno studio recente pubblicato su arXiv (2608.14563) presenta Forward-Pass-Only MLP training (FPO), una tecnica che modifica i modelli linguistici di grandi dimensioni senza richiedere un passaggio all'indietro. FPO offre un aumento della throughput di 2.7–3.2 volte rispetto al fine-tuning tradizionale, consumando circa il 40% in meno di memoria di picco per l'addestramento. Mantiene i benchmark fuori dominio entro il rumore del seed rispetto alla baseline, una coerenza non tipicamente ottenuta dal fine-tuning dell'intera rete. Questo approccio deriva dalla scoperta che negli strati successivi di un trasformatore, l'errore di previsione dello strato di output assomiglia strettamente al gradiente vero, mostrando similarità coseno tra 0.47 e 0.59 su sei modelli pubblici. Gli autori forniscono uno strumento diagnostico di due minuti per valutare questa approssimazione per qualsiasi modello, individuando dove l'adattamento degli strati tardivi è fattibile. FPO genera un singolo segnale di errore all'output per applicarlo a ciascuno strato target, senza propagare segnali o costruire un grafo autograd. L'articolo valuta FPO su tre famiglie di modelli ed è categorizzato come annuncio 'cross', indicando che è un preprint incrociato. Le implicazioni di questo metodo sono significative, potenzialmente riducendo i requisiti computazionali e l'uso di memoria nella ricerca e applicazione dell'IA.