La ricerca rivela che le dinamiche dell'ottimizzatore modellano l'efficacia della fusione dei modelli di IA

Un nuovo studio esamina come le dinamiche di ottimizzazione influenzino la forma dei paesaggi di perdita quando i modelli di IA vengono combinati, fattore che gioca un ruolo significativo nell'integrazione di diverse soluzioni. Il documento è disponibile su arXiv con l'ID arXiv:2510.04686v2. La ricerca analizza due metodi comuni: l'interpolazione lineare, che fonde i pesi dei modelli, e l'aritmetica dei compiti, che combina i vettori delle attività esaminando le differenze tra modelli perfezionati e modelli base. Lo studio identifica una metrica chiave chiamata scala di rumore effettiva, che cattura come vari elementi dell'ottimizzatore influenzino la fusione. Rivela una relazione complessa tra il successo della fusione e questa scala di rumore, influenzata da fattori come i tassi di apprendimento e l'aumento dei dati. La ricerca sottolinea che, sebbene la fusione dei modelli possa potenziare le capacità senza aumentare i costi, i principi sottostanti non sono ancora completamente chiari.