La ricerca rivela che le capacità di pianificazione latente nei grandi modelli linguistici aumentano con la scala

Uno studio pubblicato su arXiv esamina se i grandi modelli linguistici attuino una pianificazione latente quando eseguono compiti che sembrano richiedere un pensiero progettuale. La ricerca definisce la pianificazione latente come il fenomeno per cui i modelli sviluppano rappresentazioni interne che causano specifici output futuri e modellano il contesto precedente per giustificare tali output. Gli esperimenti sono stati condotti utilizzando la famiglia di modelli Qwen-3, con parametri da 0,6 miliardi a 14 miliardi, su semplici compiti di pianificazione. I risultati indicano che la capacità di pianificazione latente migliora significativamente con l'aumentare della scala del modello. Ad esempio, i modelli che pianificano con successo sviluppano caratteristiche che rappresentano una parola target come "contabile", che poi influenza le scelte grammaticali come l'output di "un" invece di "uno". Anche i modelli più piccoli della serie Qwen-3, in particolare le versioni da 4B e 8B, mostrano segni precoci di meccanismi di pianificazione, sebbene siano meno efficaci. Su compiti più complessi, come completare distici in rima, i modelli identificano frequentemente una rima in anticipo. Tuttavia, la ricerca conclude che anche i modelli più grandi raramente pianificano molto in anticipo in questi scenari. L'articolo, identificato come arXiv:2604.12493v1, è stato annunciato come una presentazione interdisciplinare.