Il Collasso del Modello Spiegato Attraverso la Teoria dell'Evoluzione Culturale
Un recente studio pubblicato su arXiv (2605.23054) utilizza la teoria dell'apprendimento iterato dell'evoluzione culturale per chiarire il collasso del modello nei grandi modelli linguistici (LLM). I ricercatori hanno formulato cinque previsioni verificabili e le hanno valutate addestrando LLaMA-2-7B e Mistral-7B su dieci generazioni in inglese, tedesco e turco. Una scoperta chiave rivela che la composizionalità mostra un andamento non monotono—inizialmente aumenta prima di diminuire—durante l'auto-addestramento non filtrato. Questo fenomeno rimane evidente anche con dati seed massimamente regolari, eliminando la rimozione del rumore come fattore, e viene mantenuto esclusivamente tramite filtraggio basato sul compito piuttosto che filtraggio casuale, segnando la prima evidenza su scala LLM del compromesso compressione-comunicazione. Tutte le previsioni sono state validate.
Fatti principali
- Lo studio applica la teoria dell'apprendimento iterato dell'evoluzione culturale al collasso del modello negli LLM.
- Sono state derivate e testate cinque previsioni falsificabili.
- Modelli testati: LLaMA-2-7B e Mistral-7B su 10 generazioni.
- Lingue: inglese, tedesco, turco.
- La composizionalità segue una traiettoria non monotona sotto auto-addestramento non filtrato.
- La firma non monotona persiste con dati seed massimamente regolari.
- Il filtraggio basato sul compito sostiene la firma; il filtraggio casuale no.
- Prima evidenza su scala LLM del compromesso compressione-comunicazione.
Entità
Istituzioni
- arXiv