Leggi di scala mostrano che l'equivarianza conta di più a scale maggiori

Uno studio sui campi di forza neurali rivela che le architetture equivarianti, che sfruttano la simmetria, scalano meglio dei modelli non equivarianti. La ricerca mostra un comportamento di scaling a legge di potenza con esponenti dipendenti dall'architettura, e rappresentazioni di ordine superiore producono uno scaling migliore. Per un addestramento ottimale dal punto di vista computazionale, le dimensioni dei dati e del modello dovrebbero scalare insieme indipendentemente dall'architettura. I risultati sfidano la convinzione che i modelli dovrebbero scoprire da soli bias induttivi come la simmetria.