Uno studio verifica se 13 LLM possiedono una competenza generalizzabile nell'applicazione di regole
Un recente articolo di ricerca, arXiv:2503.00992, esplora se i grandi modelli linguistici (LLM) comprendano realmente i concetti di applicazione delle regole o si limitino a imitare le decisioni umane. L'indagine comprende cinque esperimenti che coinvolgono 13 LLM, concentrandosi sulla loro capacità di applicare regole anche in casi di testo e obiettivi contrastanti. Nello Studio 1A, gli output dei LLM sono stati confrontati con nuovi dati umani utilizzando stimoli esistenti. Istruzioni con pressione temporale sono state implementate negli Studi 2A e 2B, mentre lo Studio 3 ha modificato le richieste di ragionamento. La robustezza dei risultati è stata valutata negli Studi 1B e 2B attraverso variazioni nella formulazione dei prompt e negli ancoraggi numerici. I risultati mostrano un allineamento tra i giudizi dei LLM e quelli umani, ma l'articolo evidenzia la differenza tra l'effettiva aderenza alle regole e il semplice riconoscimento di pattern, aggiungendo un contributo alla discussione sulle capacità cognitive dei LLM.
Fatti principali
- L'articolo è intitolato 'Evidence of conceptual mastery in the application of rules by Large Language Models'.
- L'identificatore arXiv è 2503.00992 ed è la versione 3 (replace).
- Lo studio testa 13 grandi modelli linguistici.
- Sono stati condotti cinque esperimenti.
- Lo Studio 1A ha utilizzato dati umani e vignette abbinate create dopo i cutoff di addestramento dei modelli.
- Gli Studi 2A/2B hanno utilizzato istruzioni con pressione temporale.
- Lo Studio 3 ha variato lo sforzo di ragionamento.
- I giudizi dei LLM hanno seguito da vicino i giudizi umani per entrambi i set di stimoli.
Entità
Istituzioni
- arXiv