Studio sul ragionamento condizionale: gli LLM mostrano una variabilità rispetto agli umani
Un nuovo studio su arXiv (2605.21299) esamina se i Large Language Models ragionano come gli esseri umani nell'interpretare affermazioni condizionali. I ricercatori hanno condotto un esperimento di corrispondenza della popolazione con 25 LLM in quattro lingue, confrontando le loro prestazioni con un numero uguale di partecipanti umani per lingua. Gli umani arricchiscono costantemente il ragionamento logico attraverso inferenze pragmatiche, comprendendo significati impliciti al di là delle affermazioni letterali. Al contrario, il comportamento degli LLM è più variabile: alcuni modelli seguono perfettamente la logica delle tavole di verità ma ignorano le sfumature pragmatiche, mentre altri si discostano dalle tavole di verità e aderiscono a un'unica interpretazione in tutti i contesti. Lo studio evidenzia le lacune ancora presenti nel ragionamento simile a quello umano negli LLM.
Fatti principali
- Studio pubblicato su arXiv con ID 2605.21299
- Esperimento di corrispondenza della popolazione con 25 LLM e un numero uguale di umani per lingua
- Quattro lingue testate
- Gli umani utilizzano inferenze pragmatiche in tutte le lingue
- Gli LLM mostrano un ragionamento variabile: alcuni seguono le tavole di verità, altri no
- Alcuni LLM ignorano completamente le inferenze pragmatiche
- Alcuni LLM aderiscono a un'unica interpretazione in tutti i contesti
Entità
Istituzioni
- arXiv