Perdita Armonica Estesa con Metriche di Distanza Non Euclidee

I ricercatori hanno esteso la funzione di perdita armonica per reti neurali profonde sostituendo la distanza euclidea con una gamma di metriche di distanza alternative. La perdita armonica originale, basata sulla geometria euclidea, migliora l'interpretabilità rispetto alla perdita di entropia incrociata e mitiga il grokking—generalizzazione ritardata sui set di test. Tuttavia, i lavori precedenti hanno esplorato solo la distanza euclidea e mancavano di una valutazione sistematica dell'efficienza computazionale o della sostenibilità. Il nuovo studio indaga le perdite armoniche adattate alla distanza su backbone di visione e grandi modelli linguistici, inquadrando l'analisi attorno alle prestazioni del modello e all'interpretabilità. Il lavoro è pubblicato su arXiv con ID 2603.10225.