I LLM faticano quando le istruzioni entrano in conflitto con il completamento di pattern

Uno studio recente pubblicato su arXiv (2605.20382) indica che i modelli linguistici di grandi dimensioni (LLM) incontrano un dilemma fondamentale tra l'aderire alle istruzioni e il completare pattern. I ricercatori hanno progettato dialoghi in cui la richiesta di un utente per un comportamento specifico T (come generare un certo token, rispondere in una lingua designata o impersonare un personaggio) entra in conflitto con N risposte pre-programmate dell'assistente che mostrano un pattern alternativo P. In test che coinvolgono 13 modelli e 16 istruzioni distinte per 50 turni, i tassi medi di seguire le istruzioni variavano significativamente dall'1% al 99%, mostrando poca correlazione con le metriche di capacità tradizionali. Il passaggio dal seguire le istruzioni all'aderire ai pattern è coerente tra i modelli ma varia notevolmente. Lo studio sottolinea una debolezza significativa nelle strategie di allineamento degli LLM esistenti.