Criterio Informazionale per la Generazione Efficiente di Dati Sintetici

Un recente articolo pubblicato su arXiv (2605.16379) presenta una prospettiva basata sulla teoria dell'informazione riguardo alle incongruenze spesso osservate nei dati sintetici utilizzati per addestrare grandi modelli linguistici. Gli autori sostengono che tali dati migliorano un modello solo quando il processo di generazione-addestramento è 'informazionalmente aperto', influenzato da fattori esterni come verificatori, ambienti o rubriche che forniscono informazioni rilevanti per il compito al di là della distribuzione esistente del modello. Al contrario, un ciclo 'informazionalmente chiuso', che dipende esclusivamente dagli output del modello, porta a un declino delle informazioni rilevanti per il compito a causa della disuguaglianza di elaborazione dei dati, con conseguente collasso del modello. Nei sistemi informazionalmente aperti, sia l'efficienza che la generalizzazione sono influenzate dal livello di supervisione; ad esempio, un segnale ampio come la correttezza binaria tratta tutti gli output accettabili allo stesso modo, promuovendo una generalizzazione naturale senza essere confinata a domini o formati specifici.