Primitive di Ragionamento in LLM Ibridi e Non Ibridi

Un articolo di ricerca pubblicato su arXiv (2604.21454) esplora le capacità di ragionamento dei grandi modelli linguistici scomponendole in due componenti fondamentali: richiamo e tracciamento dello stato. Gli autori valutano architetture ibride che integrano il recupero basato sull'attenzione con aggiornamenti ricorrenti dello stato, confrontandole con modelli che si basano esclusivamente sull'attenzione. Utilizzano modelli Olmo3 transformer e ibridi abbinati, sia in versioni ottimizzate per istruzioni che potenziate per il ragionamento, per testare le prestazioni su compiti controllati che combinano tracciamento dello stato e richiamo. I risultati indicano che il potenziamento del ragionamento produce il miglioramento complessivo più significativo, ampliando la gamma di difficoltà su cui i modelli mantengono l'efficacia. In compiti specifici, il modello di ragionamento ibrido dimostra una notevole robustezza all'aumentare della dipendenza sequenziale.