AMEL: Come la cronologia delle chat precedenti influenza i giudizi degli LLM

Una recente indagine pubblicata su arXiv (2605.22714) indica che i grandi modelli linguistici (LLM) funzionano come valutatori automatici con un notevole bias influenzato dal tono delle conversazioni precedenti. Questo effetto, identificato come effetto del messaggio accumulato sui giudizi degli LLM (AMEL), è stato analizzato attraverso 75.898 chiamate API coinvolgenti 11 modelli di OpenAI, Anthropic, Google e quattro alternative open-source. Gli stessi elementi di test sono stati valutati da soli o dopo dialoghi caratterizzati da feedback prevalentemente positivi o negativi. I risultati dimostrano che i modelli si allineano al sentimento dominante della conversazione (d = -0,17, p < 10^-46). Questo bias è più pronunciato nei casi in cui la certezza iniziale del modello è bassa (d = -0,34 per elementi ad alta entropia rispetto a d = -0,15 per quelli deterministici). È interessante notare che il grado di bias rimane costante indipendentemente dalla lunghezza del contesto: cinque scambi precedenti producono lo stesso spostamento di cinquanta (Spearman |r| < 0,01; pendenza OLS p = 0). Questi risultati hanno implicazioni significative per le applicazioni degli LLM nella revisione del codice, nella moderazione dei contenuti e nella valutazione.