Position Paper Propone un Framework di Auto-Consistenza per l'Ottimizzazione degli LLM

Un recente position paper, intitolato 'Position: It's Time to Optimize LLMs for Self-Consistency', è stato pubblicato su arXiv (2608.05188). Sostiene che diversi problemi attuali nei modelli di linguaggio di grandi dimensioni (LLM), tra cui la sicofanzia, la generalizzazione logica incompleta e risposte sicure ma errate, derivano da un'ipotesi fondamentale: che il comportamento possa essere valutato indipendentemente su coppie di output singoli. Gli autori introducono l'auto-consistenza come un framework completo per analizzare questi problemi, notando che vari metodi progettati per migliorare comportamenti specifici degli LLM—che vanno dalla robustezza avversariale alla coerenza fattuale—possono essere interpretati come casi di una più ampia strategia di 'ottimizzazione della consistenza'. Sostengono che molti difetti dei modelli sono difficili o impossibili da identificare senza considerare le relazioni tra le risposte di un modello su diversi input, promuovendo una rivalutazione dell'addestramento e della valutazione degli LLM.