La distribuzione a legge di potenza dei dati potenzia il ragionamento compositivo dell'IA

Un recente studio pubblicato su arXiv indica che l'addestramento di modelli di IA utilizzando dati in linguaggio naturale che seguono una distribuzione a legge di potenza—caratterizzata da occorrenze poco frequenti della maggior parte delle conoscenze—produce risultati migliori rispetto all'addestramento con una distribuzione uniforme per compiti che coinvolgono il ragionamento compositivo, come il tracciamento degli stati e l'aritmetica a più passaggi. Gli autori presentano un compito minimalista di composizione di abilità per illustrare che il campionamento a legge di potenza richiede significativamente meno dati di addestramento. I loro risultati teorici suggeriscono che questa distribuzione crea un'asimmetria benefica nel panorama della funzione di perdita, consentendo ai modelli di apprendere inizialmente composizioni di abilità ad alta frequenza con una complessità dei dati inferiore, facilitando successivamente l'apprendimento di abilità meno comuni. L'articolo, intitolato "The Power of Power Law: Asymmetry Enables Compositional Reasoning", è stato presentato su arXiv il 26 aprile 2025.