HumRightsBench: Primo Benchmark per il Ragionamento dei LLM nel Diritto Internazionale dei Diritti Umani

Una nuova metodologia pilota mira a creare il primo benchmark esperto-validato e basato su scenari per valutare la capacità dei grandi modelli linguistici (LLM) di ragionare sul diritto internazionale dei diritti umani. Il benchmark, chiamato HumRightsBench, affronta il ruolo crescente dei LLM nel mediare decisioni legali che influenzano i diritti umani. La metodologia adatta il framework IRAC—tradizionalmente usato nel ragionamento giuridico—sostituendo il passaggio 'conclusione' con 'proposta di rimedi', risultando in una struttura IRAP su misura per il lavoro sui diritti umani. La serie pilota include scenari autentici annotati da avvocati e professionisti dei diritti umani in tutto il mondo, coprendo varie dimensioni delle questioni reali dei diritti umani. La ricerca è riportata in un articolo su arXiv (ID: 2608.10268), che dettaglia lo sviluppo di un approccio robusto e scalabile. I risultati indicano che i modelli attuali affrontano sfide in questo dominio, sottolineando la necessità di tali benchmark. Questa iniziativa rappresenta un passo significativo verso la garanzia che i LLM possano applicare correttamente il diritto dei diritti umani in contesti pratici.