PODS: Un Nuovo Framework per la Programmazione Dinamica del Volume di Dati nell'Addestramento dei Modelli
Un nuovo articolo su arXiv (2605.14773) introduce PODS (Plug-and-play Oscillatory Data-volume Scheduling), un framework che regola dinamicamente il volume dei dati selezionati durante l'addestramento del modello. I metodi esistenti di selezione dei dati si concentrano su quali campioni scegliere, ma mantengono fisso il rapporto di selezione, portando a un volume di dati statico. Gli autori mostrano che variare il rapporto di selezione introduce un effetto di regolarizzazione implicita, con rapporti più bassi che amplificano la regolarizzazione e rapporti più alti che preservano la copertura dei dati. PODS è un modulo leggero che fa oscillare il volume dei dati nel tempo, migliorando l'efficienza dell'addestramento senza richiedere nuove metriche di valutazione dei campioni. Il lavoro ridefinisce la selezione dei dati come un problema di ottimizzazione, evidenziando un compromesso tra regolarizzazione e fedeltà.
Fatti principali
- Articolo pubblicato su arXiv con ID 2605.14773
- PODS sta per Plug-and-play Oscillatory Data-volume Scheduling
- I metodi esistenti fissano il volume di dati selezionato come rapporto target durante tutto l'addestramento
- L'addestramento su dati selezionati induce un effetto di regolarizzazione implicita modulato dal rapporto di selezione istantaneo
- Rapporti più bassi amplificano la regolarizzazione indotta dalla selezione
- Rapporti più alti preservano la copertura dei dati e la fedeltà dell'ottimizzazione
- PODS funge da modulo leggero che non introduce nuove metriche di valutazione dei campioni
- Il lavoro riconsidera la selezione dei dati da una prospettiva di ottimizzazione
Entità
Istituzioni
- arXiv