SigMerge: Nuovo framework per la fusione densa di esperti in modelli linguistici

Uno studio recente pubblicato su arXiv (2608.09201) presenta SigMerge (Signature-Guided Capacity Occupancy), un framework progettato per l'assegnazione strutturata della capacità nella fusione di modelli linguistici densi esperti. Questo approccio integra modelli linguistici specifici di dominio in un unico checkpoint utilizzando il supporto del task-vector nello spazio dei pesi. Le tecniche attuali non risolvono adeguatamente tre aspetti critici: determinare dove allocare la capacità dei layer in mezzo a conflitti tra esperti, identificare quale dominio dovrebbe utilizzare quella capacità in base alla domanda, e integrare il supporto necessario senza estese ricerche di ricette. SigMerge affronta queste sfide impiegando firme di conflitto per allocare la capacità dei layer, utilizzando deficit positivi di base-merge per distribuire quella capacità tra i domini, e implementando una regola di occupazione sequenziale per l'ammissione dei delta esperti. Il framework è stato testato in 21 scenari accoppiati su sette fusioni dense di base e tre pool di modelli. Questo preprint, classificato come 'nuovo', contribuisce all'IA e all'apprendimento automatico, in particolare nella fusione di modelli e nell'uso efficiente di modelli specializzati.