Gli LLM Falliscono con Molti Vincoli Simultanei: Nuovo Benchmark Rivela una Transizione di Fase

Un nuovo studio da arXiv (2608.12426) introduce la Constraint Saturation Evaluation (CSE), un benchmark per testare la capacità dei grandi modelli linguistici di seguire molteplici istruzioni simultanee. La ricerca rivela una transizione di fase: mentre i modelli gestiscono bene i singoli vincoli, le prestazioni crollano quando molti devono essere soddisfatti contemporaneamente. Lo studio ha testato 15 modelli su 36 tipi di vincoli, per un totale di 369.753 controlli con k=1-12 vincoli. I risultati chiave includono un decadimento graduale del tasso di superamento per singolo vincolo, ma un crollo netto nella probabilità di soddisfare tutti i vincoli. Ad esempio, un modello che supera i singoli vincoli con circa il 41% a k=8 mostra un successo congiunto quasi nullo. Il benchmark utilizza una verifica deterministica basata su regole, evitando giudici LLM. Questo lavoro è significativo per la sicurezza e l'affidabilità dell'IA, poiché gli LLM sono sempre più impiegati in contesti che richiedono l'aderenza a molteplici vincoli espliciti, come struttura di ragionamento, limiti di sicurezza e schemi di output. Lo studio esplora anche i fattori che governano il degrado e le potenziali strategie di mitigazione. L'articolo è disponibile su https://arxiv.org/abs/2608.12426.