Il framework BITE sfrutta i bias stilistici dei giudici LLM

Un team di ricercatori ha sviluppato un sistema innovativo chiamato BITE, acronimo di BIas exploraTion and Exploitation. Questo sistema mira a manipolare i bias stilistici intrinseci presenti nei giudici basati su grandi modelli linguistici per migliorare i loro punteggi di valutazione. Inquadrando il processo di editing come un problema di bandit contestuale, BITE utilizza una politica LinUCB per apportare modifiche precise che aumentano i punteggi senza compromettere il messaggio originale. I test con molteplici giudici LLM hanno rivelato un tasso di successo superiore al 65%, con incrementi di punteggio di 1-2 punti su una scala a 9 punti, evidenziando una vulnerabilità critica nelle valutazioni LLM a causa della loro preferenza per determinati pattern verbosi.