L'auto-addestramento funziona solo quando i dati sintetici corrispondono al modello

Un recente studio pubblicato su arXiv (2605.31126) indica che i modelli linguistici possono migliorare le proprie prestazioni addestrandosi su testi che essi stessi producono, a condizione che siano soddisfatte determinate condizioni di compatibilità, senza fare affidamento su prompt, istruttori o sistemi di ricompensa. Gli autori introducono l'ipotesi del 'riemergere delle capacità latenti', suggerendo che un debole auto-addestramento potenzia le capacità preesistenti quando il testo generato si allinea bene con il modello studente. Questa compatibilità si basa su relazioni piuttosto che sulle qualità intrinseche dei dati. La ricerca enfatizza l'auto-addestramento incondizionato senza prompt, in cui i modelli di base vengono perfezionati utilizzando testo generato esclusivamente dal token BOS. I risultati chiave includono la natura relazionale dell'utilità sintetica, la superiorità del trasferimento all'interno della stessa discendenza rispetto a fonti più forti ma diversamente addestrate, e l'inadeguatezza del trasferimento tra famiglie diverse. Il documento completo è disponibile su arXiv:2605.31126.