Lo Scaling del Molti-Shot CoT-ICL Differisce per i Compiti di Ragionamento

Un recente preprint su arXiv (2605.13511) mette in discussione le attuali convinzioni riguardo all'apprendimento in contesto con molti esempi (many-shot ICL) per le sfide di ragionamento. I ricercatori studiano il chain-of-thought in-context learning con molti esempi (CoT-ICL) e scoprono che i principi tipici di scaling dei compiti non di ragionamento non si applicano. Notano un fenomeno di scaling dipendente dal contesto sia nei modelli linguistici di grandi dimensioni (LLM) focalizzati sul ragionamento che in quelli non focalizzati: mentre aumentare le dimostrazioni CoT si rivela instabile per gli LLM non di ragionamento, avvantaggia principalmente quelli progettati per il ragionamento. Inoltre, mentre il recupero basato sulla similarità è vantaggioso per i compiti non di ragionamento, fallisce nei compiti di ragionamento, poiché la similarità semantica non predice efficacemente la compatibilità procedurale (CoT). Questo studio sottolinea l'importanza di comprendere lo scaling dell'ICL in modo specifico per il compito.