Prima analisi teorica della compressione della catena di pensiero nei LLM

Uno studio recente presenta la prima analisi teorica della compressione della catena di pensiero (CoT), un metodo volto a ridurre i costi computazionali incorporando i processi di ragionamento in stati latenti. I ricercatori propongono l'Interazione d'Ordine-r per dimostrare che i segnali di apprendimento per dipendenze logiche di ordine superiore diminuiscono esponenzialmente quando vengono omessi passaggi intermedi, creando barriere significative alle interazioni di ordine superiore. Ciò è confermato attraverso il benchmark NatBool-DAG, progettato per sostenere un ragionamento logico irriducibile e prevenire scorciatoie semantiche. La ricerca affronta il compromesso tra efficienza dei token e precisione del ragionamento nei modelli linguistici di grandi dimensioni.