SCALE-LoRA: Verifica della Composizione LoRA Post-Recupero con Unione Residuale e Affidabilità della Vista

Un nuovo framework chiamato Sparse-Composition Agreement Layer (SCALE) affronta la sfida del riutilizzo di pool aperti di adattatori Low-Rank Adaptation (LoRA) per nuovi compiti. Con la crescita delle librerie di adattatori LoRA derivanti dal fine-tuning parametrico efficiente, sorge la necessità di selezionare e comporre automaticamente adattatori per compiti nuovi, dato solo un piccolo set di supporto. Lavori precedenti consentono la composizione a livello di compito e la selezione a livello di istanza, ma il recupero di adattatori rilevanti non garantisce la compatibilità dei loro aggiornamenti dei parametri, né la composizione assicura output affidabili. SCALE introduce una pipeline di verifica e composizione post-recupero con due componenti principali: un percorso di unione implementabile chiamato Layer-Adaptive Sparse Residual Composition (LASRC) e un livello di analisi di affidabilità a costo più elevato per il disaccordo multi-vista. LASRC esegue un'unione residuale sparsa tra i livelli per riconciliare aggiornamenti incompatibili. Il livello di affidabilità calcola punteggi di disaccordo tra più viste per segnalare composizioni inaffidabili. Il framework è progettato per un'implementazione pratica in cui i pool di adattatori vengono accumulati come sottoprodotti del fine-tuning. L'articolo è pubblicato su arXiv con ID 2605.01429.