SIRIN: Nuovo Toolkit per Rilevare Allucinazioni Contestuali nei Sistemi LLM

Un nuovo toolkit chiamato SIRIN (Semantic Inconsistency Recognition and Inspection Nexus) è stato sviluppato da ricercatori per identificare allucinazioni contestuali in sistemi LLM potenziati da recupero, agentici e basati su memoria. Le allucinazioni contestuali si riferiscono a risposte coerenti e plausibili che mancano di supporto dalle prove fornite. SIRIN integra tre approcci di rilevamento—sondaggio di rappresentazione, stima dell'incertezza e verifica in stile giudice—insieme alla rispondibilità delle query pre-generazione in un'unica interfaccia, sistema di configurazione e pipeline di valutazione. Consente analisi sia a livello di risposta che di span in ambienti white-box e black-box. L'interfaccia web interattiva facilita l'esame in tempo reale delle triple contesto-query-risposta, con punteggi di allucinazione ed evidenziazione degli span non supportati. Questo sistema è presentato per la sua efficacia nel rilevare allucinazioni e valutare la rispondibilità delle query. La ricerca è disponibile su arXiv con identificatore 2608.00033.