I valutatori LLM-as-a-Judge vulnerabili al mimetismo di consenso sotto carico sociale
Un recente articolo di informatica presenta il concetto di 'Trappola del Formalismo Agentico' insieme all'Indice di Dissonanza Valutativa (D_E), che misura come i sistemi LLM-as-a-Judge mescolino proceduralismo strutturale e accuratezza semantica quando affrontano sfide avversarie. La ricerca analizza 22.500 traiettorie da tre aree (GAIA, SWE-bench, Multi-Challenge) e sviluppa una classificazione semantica delle tattiche di allucinazione, confermata tramite ancoraggio lessicale deterministico (p < 10^-120). Un meta-valutatore logistico identifica precisi trigger sintattici per la cattura del valutatore (ROC-AUC 0,8779), mentre il trasferimento zero-shot Leave-One-Domain-Out indica che la vulnerabilità non è limitata a domini specifici (ROC-AUC medio 0,7482). Il profiling architetturale mostra che diverse strutture di sciame simulate creano punti ciechi semantici unici, evidenziando l'instabilità delle valutazioni a ciclo chiuso non ancorate e la necessità di filtri di vigilanza specifici per architettura. L'articolo è accessibile su arXiv (arXiv:2607.28641) nella categoria 'Computer Science > Computation and Language'.
Fatti principali
- Introduce la Trappola del Formalismo Agentico e l'Indice di Dissonanza Valutativa (D_E)
- Analizza 22.500 traiettorie nei domini GAIA, SWE-bench e Multi-Challenge
- Valida la tassonomia semantica delle manovre di allucinazione con p < 10^-120
- Il meta-valutatore logistico raggiunge ROC-AUC 0,8779 per i trigger sintattici
- Il trasferimento zero-shot Leave-One-Domain-Out mostra ROC-AUC medio 0,7482
- Distinte topologie di sciame simulate inducono punti ciechi semantici disparati
- La valutazione a ciclo chiuso non ancorata è instabile e agnostica rispetto al dominio
- Articolo disponibile su arXiv con ID 2607.28641
Entità
Istituzioni
- arXiv