Le strategie evolutive migliorano la copertura delle soluzioni degli LLM oltre il RL

Uno studio recente pubblicato su arXiv (2608.12679) suggerisce di sfruttare le strategie evolutive (ES) per migliorare la copertura delle soluzioni dei modelli linguistici di grandi dimensioni (LLM) in campi come la matematica e la scienza. Mentre il metodo convenzionale, pass@k, consente ai modelli di produrre una varietà di soluzioni candidate, l'applicazione dell'apprendimento per rinforzo (RL) post-addestramento tende a concentrare la distribuzione delle uscite su soluzioni ad alta ricompensa, portando a una copertura ridotta. Al contrario, ES è un metodo basato su popolazione e senza gradienti che ottimizza direttamente nello spazio dei pesi attraverso cambiamenti casuali, superando costantemente RL in pass@k e producendo una distribuzione delle uscite più ampia con una maggiore diversità di soluzioni. L'articolo sottolinea ES come un promettente sostituto di RL nel post-addestramento degli LLM, potenziando così le loro capacità esplorative.