Coerenza Cross-Contestuale come Misura dell'Affidabilità dei LLM

Uno studio recente pubblicato su arXiv (ID: 2608.10315) presenta la Coerenza Cross-Contestuale (C3), un nuovo approccio per valutare l'affidabilità dei grandi modelli linguistici (LLM) analizzando la coerenza delle loro risposte in scenari contestualmente variati ma allineati per argomento. La ricerca ha valutato 26 modelli utilizzando sei benchmark incentrati su ragionamento, accuratezza fattuale e generazione di codice. I risultati indicano che le risposte che mostrano una variazione cross-contestuale minima hanno maggiori probabilità di essere accurate o fattuali. Gli autori suggeriscono di utilizzare C3 come metrica di valutazione aggiuntiva e come strumento diagnostico per l'utilità dei benchmark, aiutando a identificare aspetti informativi dei benchmark nonostante punteggi aggregati ampi. L'articolo completo è disponibile su https://arxiv.org/abs/2608.10315.