IFCLoRA: Allocazione dei Ranghi Consapevole della Topologia per un Fine-Tuning Efficiente dei Modelli Linguistici di Grandi Dimensioni

La tecnica recentemente introdotta, IFCLoRA, migliora la distribuzione dei ranghi nell'adattamento a basso rango (LoRA) per modelli linguistici estesi esaminando la topologia del flusso di informazioni prima del fine-tuning. A differenza degli approcci adattivi attuali che dipendono dalle statistiche locali del gradiente durante l'addestramento, IFCLoRA utilizza un piccolo dataset di calibrazione insieme a un modello pre-addestrato congelato per creare un grafo di interazione sparso condizionato al compito. I nodi in questo grafo rappresentano moduli compatibili con LoRA. Combinando un prior globale sulla topologia del flusso di informazioni con la sensibilità locale del gradiente, calcola punteggi di Centralità del Flusso di Informazioni, valutando l'importanza di adattamento di ciascun modulo attraverso una propagazione multi-hop. I ranghi vengono allocati una volta all'interno di un budget globale, minimizzando memoria e calcolo aggiuntivi, integrando al contempo informazioni globali condizionate al compito. La ricerca è disponibile su arXiv con ID 2607.22251.