Primo Dataset per il Ragionamento Giuridico degli LLM sul Compito di Scrittura dell'Esame di Avvocato Giapponese

I ricercatori hanno introdotto il primo dataset per valutare i modelli linguistici di grandi dimensioni (LLM) sul ragionamento giuridico aperto nella giurisdizione giapponese, basato sulla componente scritta dell'esame di avvocato giapponese. Il dataset richiede agli LLM di identificare molteplici questioni giuridiche da lunghe narrazioni e costruire argomentazioni giuridiche strutturate in testo libero. Un contributo chiave è la valutazione manuale delle risposte degli LLM da parte di esperti legali, che rivela limiti e sfide nel ragionamento giuridico, incluse le allucinazioni. Lo studio, pubblicato su arXiv (2604.23730), colma una lacuna nella ricerca precedente, che si era concentrata sulle componenti a scelta multipla degli esami di avvocato ma non aveva esplorato il ragionamento aperto in scenari realistici, in particolare nel contesto giapponese.