Giudici LLM per la Valutazione delle Raccomandazioni: Un Nuovo Quadro di Allineamento

Uno studio recente pubblicato su arXiv (2608.11493) esplora l'applicazione dei Large Language Models (LLM) come valutatori per sistemi di raccomandazione offline, scoprendo un difetto significativo noto come 'razionalizzazione bidirezionale'. In scenari zero-shot, gli LLM possono presentare argomenti persuasivi sia per interazioni utente favorevoli che sfavorevoli riguardo allo stesso elemento utilizzando le stesse prove, il che solleva preoccupazioni sulla loro affidabilità. Per mitigare questo problema, i ricercatori introducono un quadro di allineamento comportamentale sequenziale che combina il fine-tuning con l'ottimizzazione delle preferenze basata su razionali corretti e controfattuali accoppiati. Quando testato su dati reali di interazione con la homepage, questo metodo comporta un miglioramento del 32,19% nel punteggio Macro-F1 rispetto alla baseline zero-shot. I risultati evidenziano il potenziale degli LLM nella valutazione delle raccomandazioni, sottolineando al contempo l'importanza dell'allineamento per l'affidabilità.