Studio: Le risposte AI legali spesso citano leggi errate

Una recente indagine pubblicata su arXiv (2608.02621) indica che i modelli di linguaggio di grandi dimensioni (LLM) spesso forniscono risposte legali accurate citando statuti irrilevanti o errati, o viceversa. Lo studio ha esaminato 238 elementi dell'esame di abilitazione alla professione forense di Taiwan e ha scoperto che, per le domande di diritto penale, il 24,0–42,4% delle risposte valide erano corrette ma mancavano dell'autorità legale appropriata, mentre il 15,2–21,7% erano errate ma citavano l'autorità giusta. Questa dissociazione tra la correttezza delle risposte e la loro base autorevole era evidente anche con prompt di ragionamento standard che non richiedevano riferimenti a statuti. Inoltre, sono stati inclusi un test separato di recupero di statuti e un intervento di astensione dalle citazioni, evidenziando la natura indipendente del comportamento di risposta e citazione. I risultati implicano che la valutazione basata esclusivamente sulle risposte nelle valutazioni legali potrebbe non riflettere accuratamente la capacità di un modello di ancorare le risposte a un'autorità legale appropriata. La ricerca è stata condotta da un team senza nome e può essere trovata su arXiv.