Fusione di Modelli CABS+: Sparsificazione Consapevole dei Conflitti con Allocazione Adattiva dei Pesi

I ricercatori hanno introdotto CABS+, un'estensione del metodo di fusione di modelli Conflict-Aware and Balanced Sparsification (CABS), che mira a costruire modelli multi-task unificati senza riaddestramento. Il metodo CABS originale riduce l'interferenza dei parametri attraverso il pruning strutturato e il mascheramento sequenziale, ma si affida alla ricerca a griglia per i coefficienti di scala, portando a una complessità temporale esponenziale e a prestazioni subottimali quando i compiti ad alte prestazioni dominano l'obiettivo di ottimizzazione. CABS+ affronta queste limitazioni con l'Allocazione Adattiva dei Pesi (AWA), uno schema di ricerca senza gradienti che ottimizza i coefficienti di fusione per ridurre la complessità temporale, e una funzione di fitness asimmetrica che promuove guadagni di prestazioni più completi. L'articolo, annunciato su arXiv con identificatore 2608.12842, presenta CABS+ come una soluzione più efficiente e scalabile per la fusione di modelli, potenzialmente a beneficio delle applicazioni di apprendimento multi-task nell'intelligenza artificiale.