Campionamento di Equilibrio Guidato dalla Nitidezza per l'Apprendimento a Coda Lunga
Una nuova tecnica nota come Campionamento di Equilibrio Guidato dalla Nitidezza (SGS) è stata sviluppata per affrontare le sfide della scarsa generalizzazione nell'apprendimento a coda lunga, dove le classi dominanti (head) oscurano l'addestramento e le classi di coda si stabilizzano in minimi di perdita acuti. SGS modifica la distribuzione di campionamento aumentando la probabilità delle classi sottorappresentate e riducendo quelle con significative variazioni di perdita indotte da SAM, basandosi esclusivamente su conteggi cumulativi delle classi e stime di nitidezza EMA derivate da aggiornamenti SAM standard. Questa strategia considera il campionamento come una variabile di controllo attiva per ottimizzare la geometria, eliminando la necessità di perturbazioni specifiche per classe o passaggi all'indietro aggiuntivi. Il metodo è descritto in un articolo disponibile su arXiv (2607.21999).
Fatti principali
- SGS affronta i problemi di generalizzazione nell'apprendimento a coda lunga.
- Le classi head dominano l'esposizione durante l'addestramento nell'apprendimento a coda lunga.
- Le classi sottorappresentate convergono in regioni di perdita più acute.
- SGS regola dinamicamente la distribuzione di campionamento.
- Utilizza conteggi cumulativi delle classi e stime di nitidezza EMA.
- Non sono necessarie perturbazioni specifiche per classe o passaggi all'indietro aggiuntivi.
- Articolo disponibile su arXiv con ID 2607.21999.
- Il metodo tratta il campionamento come una variabile di controllo attiva.
Entità
Istituzioni
- arXiv