CROWN-QA: Valutare il ragionamento negativo sensibile alla completezza nei LLM

Un recente articolo di ricerca presenta CROWN-QA, un benchmark progettato per valutare il ragionamento negativo sensibile alla completezza nei modelli linguistici di grandi dimensioni (LLM). Pubblicato su arXiv (2608.04591), questo studio affronta un problema significativo: gli LLM rispondono frequentemente 'no' quando si chiede dell'assenza di elementi da record, elenchi o contesti. Tuttavia, tali risposte negative sono appropriate solo se le prove coprono completamente la query; altrimenti, la risposta dovrebbe essere 'sconosciuto'. CROWN-QA è composto da due parti: CROWN-Synth, che fissa la domanda e i fatti osservati variando la copertura relativa alla query, e CROWN-Real, che valuta documenti reali con variazioni controllate di copertura. I test su tre famiglie di LLM rivelano giudizi di chiusura incoerenti e una considerevole sovra-chiusura, indicando che i modelli faticano a distinguere tra una risposta negativa giustificata (Certified-Negative) e prove insufficienti (Unknown). Il problema principale in CROWN-Synth è asimmetrico, poiché i modelli spesso riconoscono prove implicitamente complete ma classificano erroneamente prove implicitamente parziali come coprenti la query. Questo articolo sottolinea la necessità di migliorare le capacità di ragionamento negli LLM riguardo alle query di assenza, influenzando l'affidabilità dell'IA nei sistemi di recupero informazioni e di risposta alle domande.