I LLM Mostrano Degrado a Medio Range nella Valutazione Automatica di Risposte Brevi

Una recente indagine pubblicata su arXiv (2605.07647) esplora come l'adattamento specifico al compito si correli con l'accordo di valutazione condizionato dalla qualità nella valutazione automatica di risposte brevi (ASAS). Questa ricerca valuta tre grandi modelli linguistici (GPT-5.2, GPT-4o, Claude Opus 4.5) in contesti few-shot, insieme a un encoder basato su BERT ottimizzato e un esperto umano, analizzando diverse centinaia di risposte degli studenti a due domande aperte di biologia, che includevano punteggi di verità forniti da un esperto di didattica della biologia. I risultati indicano che l'accordo uomo-uomo rimane il più alto e costante a tutti i livelli di qualità, mentre i modelli di IA mostrano un calo nell'accordo, in particolare con risposte parzialmente corrette che richiedono una comprensione sfumata. Lo studio sottolinea le sfide che i LLM affrontano in contesti few-shot per compiti di valutazione complessi.