PERSA: RLHF allinea il feedback degli LLM con lo stile del professore

Un nuovo sistema chiamato PERSA è stato sviluppato da ricercatori per migliorare i modelli linguistici di grandi dimensioni basati su transformer, al fine di fornire feedback di programmazione che si allineano con lo stile di valutazione di un particolare professore. Questo metodo innovativo integra il fine-tuning supervisionato basato su dimostrazioni del professore, la modellazione delle ricompense derivata da preferenze a coppie e l'ottimizzazione della politica prossimale (PPO), concentrandosi sui componenti che veicolano lo stile. Aggiornando solo i blocchi transformer superiori e le loro proiezioni feed-forward, PERSA garantisce un fine-tuning efficiente dei parametri. Questa tecnica affronta efficacemente il problema di armonizzare il tono di un LLM con quello di un istruttore, mantenendo al contempo l'accuratezza diagnostica. Ulteriori dettagli sono disponibili su arXiv:2605.01123.