EpiMer: Un Framework Basato sulla Geometria per il Merging di Modelli
I ricercatori propongono EpiMer, un framework che ridefinisce il merging di modelli come soluzione della media di Fréchet su una varietà riemanniana. Limitando i calcoli a un sottospazio di rango basso generato dai vettori delle attività e utilizzando l'hessiana attesa come metrica, EpiMer collega la curvatura locale con l'incertezza epistemica. L'analisi teorica scompone l'errore di merging in varianza di Fréchet del sottospazio ed energia residua, fornendo condizioni in cui il merging consapevole della curvatura supera i metodi a geometria piatta. Il framework unifica i metodi consapevoli della curvatura e quelli spettrali come casi particolari della media di Fréchet nel sottospazio.
Fatti principali
- Il merging di modelli integra conoscenze senza riaddestramento.
- I metodi esistenti ignorano la geometria del paesaggio della perdita o si basano su approssimazioni dell'hessiana intrattabili.
- EpiMer considera il merging come media di Fréchet su una varietà riemanniana.
- Il calcolo è limitato a un sottospazio di rango basso generato dai vettori delle attività.
- L'hessiana attesa funge da metrica.
- La curvatura locale è collegata all'incertezza epistemica dei parametri.
- Il limite dell'errore di merging è scomposto in varianza di Fréchet del sottospazio ed energia residua.
- Il merging consapevole della curvatura supera provabilmente i metodi a geometria piatta in condizioni specifiche.
Entità
Istituzioni
- arXiv