I LLM addestrati per istruzioni collassano in un unico output, non riescono a campionare distribuzioni

Uno studio recente pubblicato su arXiv (2607.25292) indica che i modelli linguistici ottimizzati per le istruzioni faticano a campionare da varie distribuzioni, spesso ricadendo su una singola risposta. I ricercatori hanno valutato modelli di tre diverse famiglie con vari metodi di post-addestramento e hanno scoperto che tutti i modelli addestrati per istruzioni hanno ottenuto risultati inferiori in ogni compito, mentre i modelli base hanno mostrato significativamente meno fallimenti. È interessante notare che un modello che non riesce a campionare da una distribuzione può comunque caratterizzarla accuratamente in un'istanza, un fenomeno chiamato scissione KNOWS/DOES. Questo problema è legato a un meccanismo di campionamento difettoso. Questi risultati sollevano preoccupazioni sull'affidabilità dei LLM come sostituti dei partecipanti umani ai sondaggi nel campionamento siliconico.