Un articolo su arXiv sostiene che il 'terzo asse' nell'addestramento dell'IA è la libertà, non l'esplorazione

Una recente pubblicazione su arXiv (ID 2608.05423) mette in discussione la validità della 'Modellazione Esplorativa' (XM) nel contesto dell'addestramento dell'IA generativa. L'autore sostiene che il cosiddetto 'terzo asse di pre-addestramento', legato all'espressività generativa, dovrebbe essere visto come 'libertà' piuttosto che 'esplorazione', evidenziando i limiti dei vincoli comportamentali di un modello. Questo studio si basa su risultati precedenti che suggeriscono che la libertà riguarda la funzione piuttosto che la forma, indicando che variazioni nei parametri, nell'architettura, nella lunghezza minima di descrizione (MDL) e nei dati non alterano il vincolo comportamentale. È stato stabilito che i modelli più deboli tendono a generalizzare meglio, con la selezione per libertà che supera l'MDL del 110-500% nei test di induzione. L'ultima dimostrazione indica che la perdita media di XM è influenzata dalla probabilità che un candidato trascuri una regione di accettazione. Questo articolo è classificato come annuncio di tipo incrociato ed è accessibile all'indirizzo https://arxiv.org/abs/2608.05423.