Pre-addestramento con Persona Sintetica: Allineare i Valori dell'IA dal Token Zero

Un recente articolo di ricerca presenta il Pre-addestramento con Persona Sintetica (SPP), un nuovo approccio che incorpora le persone assistenti desiderate durante la fase di pre-addestramento dei modelli linguistici, invece di affidarsi a un allineamento successivo. Disponibile su arXiv (2608.13482), lo studio critica le tecniche di allineamento esistenti che impongono valori dopo il pre-addestramento, risultando in una sovrapposizione superficiale che può causare disallineamento. L'SPP arricchisce i documenti di pre-addestramento con riflessioni in prima persona allineate a valori normativi, seguite da un addestramento standard con perdita di entropia incrociata sia sui testi originali che sulle riflessioni. Questo metodo integra la persona con altre, mentre un successivo addestramento su dati di dialogo utente-assistente consolida la persona. L'obiettivo è garantire che i valori siano radicati fin dall'inizio, affrontando il problema di allineare l'IA con gli obiettivi umani in ambienti autonomi.