I sistemi RAG legali ancora allucinano frequentemente, secondo uno studio

Una recente indagine pubblicata su arXiv (paper 2608.14210) offre un esame approfondito delle tendenze allucinatorie in otto sistemi di generazione aumentata da recupero (RAG) su due dataset legali: il GDPR inglese e un diritto civile nazionale francese. Lo studio ha impiegato valutazioni sia a livello di affermazione che a livello di risposta per valutare la frequenza e l'intensità delle allucinazioni, considerando anche vari tipi di domande e profili utente. I risultati sono stati corroborati utilizzando una raccolta separata di 142 domande scritte da esperti legali. I risultati indicano che le allucinazioni sono diffuse, con i migliori sistemi che mostrano meno del 10% delle risposte interessate, mentre i peggiori si avvicinano al 50%. In particolare, le domande basate su premesse false hanno portato a tassi di allucinazione elevati. La ricerca sottolinea il problema persistente delle risposte non fondate nell'IA legale, dove le implicazioni possono essere significative. Il paper è accessibile su arXiv con l'identificatore 2608.14210.