Il ragionamento dei LLM risulta carente nella previsione dei casi legali della Corte europea dei diritti dell'uomo

Un nuovo preprint su arXiv (2608.17168) indaga se i grandi modelli linguistici (LLM) possano ragionare in modo giuridicamente significativo quando prevedono casi della Corte europea dei diritti dell'uomo (Cedu). Lo studio valuta OpenAI GPT 5.4, un recente LLM di alto livello, utilizzando strategie di prompting alternative che variano in quanto suggeriscono un ragionamento giuridicamente significativo. I risultati, valutati sia tramite valutazione umana che tramite LLM, rivelano che il modello ottiene punteggi tutt'altro che ideali nel ragionamento giuridico, producendo analisi strutturalmente complete ma sostanzialmente superficiali. I valutatori LLM-as-a-Judge sono risultati internamente coerenti ma solo debolmente allineati con gli annotatori esperti. La ricerca sottolinea che, nonostante le capacità di ragionamento dei LLM contemporanei, la loro applicazione a compiti giuridici impegnativi rimane limitata.