FeatCal: Calibrazione dei Modelli AI Uniti per Ridurre la Deriva delle Caratteristiche

Un nuovo metodo chiamato FeatCal affronta il degrado delle prestazioni nei modelli AI uniti calibrando i pesi strato per strato. L'unione di modelli combina esperti specifici per compito in un unico modello senza riaddestramento, ma il modello unito spesso ha prestazioni inferiori rispetto ai singoli esperti. I ricercatori attribuiscono questo divario alla deriva delle caratteristiche—differenze nelle caratteristiche prodotte dal modello unito rispetto all'esperto sullo stesso input. La loro teoria scompone la deriva in propagazione a monte e disallineamento locale, tracciando come si accumula attraverso gli strati. FeatCal utilizza un piccolo set di calibrazione per regolare i pesi del modello unito in ordine forward, riducendo la deriva delle caratteristiche preservando i benefici dell'unione. Il metodo impiega una soluzione efficiente in forma chiusa, evitando la discesa del gradiente o l'ottimizzazione iterativa. I test sui benchmark CLIP e GLUE mostrano prestazioni migliorate. L'articolo è pubblicato su arXiv (2605.13030).