Ripetere dataset più piccoli accelera l'addestramento dell'IA grazie a bias di campionamento

Uno studio recente nell'apprendimento automatico indica che l'utilizzo di dataset più piccoli con maggiori ripetizioni può essere più rapido ed efficiente in termini computazionali rispetto a dataset più grandi. Questo effetto, noto come 'gap piccolo vs grande', è stato osservato in diversi compiti algoritmici, architetture e ottimizzatori. I ricercatori propongono che l'accelerazione osservata derivi da una crescita adeguata per strati facilitata da bias di campionamento, che sono più significativi con dataset più piccoli. I risultati offrono sia approfondimenti teorici che supporto empirico, dimostrando che ripetere dataset più piccoli può fungere da bias induttivo benefico per l'ottimizzazione, specialmente in compiti di ragionamento, piuttosto che solo una soluzione quando i dati sono limitati. La ricerca è accessibile su arXiv.