Studio Rivela che il Post-Addestramento Riduce la Diversità degli Output dei Modelli Linguistici, Influenzando le Applicazioni Creative dell'IA

Uno studio recente indaga l'impatto dei processi di post-addestramento sulla diversità degli output nei modelli linguistici, concentrandosi su tre rami paralleli del modello Olmo 3. La ricerca analizza i metodi Think (distillazione del ragionamento a catena), Instruct (dati multi-sorgente estesi) e RL-Zero attraverso 15 compiti utilizzando quattro metriche per la diversità testuale. I risultati indicano che i modelli post-addestrati producono output meno variati rispetto alle loro versioni originali, il che minaccia le tecniche di scaling al momento dell'inferenza che si basano su campioni diversificati. Questo declino nella diversità degli output potrebbe portare a uniformità nei compiti creativi e sensibili ai valori. Lo studio rivela che la linea di sviluppo Think subisce la maggiore perdita di diversità semantica durante il fine-tuning supervisionato. Gli effetti dell'ottimizzazione diretta delle preferenze (DPO) sono più pronunciati nei modelli Instruct che nei modelli Think. Inoltre, limitare il ragionamento a catena nei modelli Think riduce ulteriormente la diversità degli output. Questa ricerca mette in discussione le precedenti ipotesi che collegavano il collasso degli output esclusivamente a specifiche tecniche di post-addestramento, distinguendo l'influenza della composizione dei dati di addestramento dai metodi utilizzati e il formato di generazione dai pesi del modello. I risultati sono dettagliati in arXiv:2604.16027v1 con un tipo di annuncio cross.