Nuova Ricerca sull'IA Identifica Moduli LoRA Deterioranti, Propone Metodo di Potatura Evolutiva

Un nuovo articolo di ricerca introduce l'Evolutionary Negative Module Pruning (ENMP), un metodo progettato per migliorare la fusione di più esperti di Low-Rank Adaptation (LoRA) per un dispiegamento efficiente dell'IA multi-task. Lo studio, pubblicato su arXiv con identificatore 2604.17753v1, sfida i paradigmi di fusione esistenti identificando specifici strati LoRA—denominati moduli negativi—che degradano le prestazioni complessive quando combinati. Gli approcci attuali, che si basano sull'interpolazione dei pesi o sull'allineamento dei sottospazi, operano presupponendo che tutte le matrici LoRA contribuiscano positivamente al modello fuso. L'ENMP impiega una strategia di ricerca evolutiva per navigare il panorama discreto e non differenziabile della selezione dei moduli, individuando ed escludendo questi moduli deterioranti prima della fusione. Questo metodo di potatura plug-and-play mira a superare un collo di bottiglia critico nella fusione LoRA, offrendo un modo più efficace per integrare più adattamenti specifici per task in un singolo modello di base. La ricerca evidenzia una significativa limitazione nelle tecniche attuali e fornisce una soluzione innovativa per migliorare l'efficienza e le prestazioni dei sistemi di IA multi-task.