RLearner-LLM: Hybrid-DPO migliora il fondamento logico nei LLM

L'introduzione di RLearner-LLM, che utilizza l'ottimizzazione diretta delle preferenze ibrida (Hybrid-DPO), affronta i problemi di allineamento logico presenti nei modelli linguistici di grandi dimensioni (LLM). Questo approccio integra un segnale di inferenza del linguaggio naturale (NLI) da DeBERTa-v3 insieme a un punteggio del verificatore LLM, eliminando così la necessità di annotazione umana. Il DPO tradizionale spesso mostra un bias verso la verbosità, privilegiando la fluidità rispetto all'accuratezza logica, il che si traduce in bassi punteggi di implicazione NLI (0,05-0,22) nei modelli SFT, nonostante producano testo fluente. Hybrid-DPO mitiga questa 'tassa di allineamento', ottenendo fino a un aumento di sei volte dei punteggi NLI in cinque campi accademici (Biologia, Medicina, Diritto) con tre architetture fondamentali (LLaMA-2-13B, Qwen3-8B, Gemma 4 E4B-it). In particolare, sono stati registrati miglioramenti NLI in 11 su 15 celle, con progressi costanti nella copertura delle risposte. Miglioramenti significativi sono stati notati su Gemma 4 E4B-it (4,5 miliardi di parametri effettivi) utilizzando Hybrid-DPO.