Wiggle Framework: Stress-Test della Stabilità Epistemica dei Giudici LLM

Un recente articolo pubblicato su arXiv (2608.12645) presenta il Wiggle Framework, progettato come un test di stress completo per valutare la stabilità epistemica dei giudici LLM. Questo framework suddivide la robustezza del giudice in tre aree chiave: Coerenza Meccanica (resilienza a re-prompting e riformulazione), Convinzione a Giro Singolo (stabilità della risposta a una singola sfida) e Persistenza Multi-Giro (resistenza sotto pressione continua o adattiva). La ricerca valuta 9 modelli all'avanguardia in 14 compiti di giudizio, come sicurezza, tossicità, rilevamento di scrittura AI e valutazione di risposte politiche. I risultati rivelano che ogni modello mostra una variabilità significativa nel giudizio, modificando le decisioni dal 25 al 71% delle volte sotto pressione statica e dal 62 al 91% con sfide continue. Gli autori sostengono che le metriche di accuratezza convenzionali non riescono a misurare adeguatamente la stabilità contro il re-prompting e le sfide sostenute, sottolineando la vulnerabilità dei giudici LLM e la necessità di tecniche di valutazione migliorate. Questa ricerca è particolarmente rilevante data la crescente dipendenza dai giudici LLM per valutazioni di modelli, classifiche online e modellazione di ricompense.