DeepLook: Scaling dell'Inferenza Senza Addestramento per il Ragionamento LLM

Una recente pubblicazione su arXiv presenta DeepLook, un framework di decodifica che migliora il ragionamento nei grandi modelli linguistici senza la necessità di addestramento. Questo metodo innovativo concentra le risorse computazionali sulle aree di incertezza, aggregando la confidenza a livello di token in segnali a livello di segmento. Si attiva quando la confidenza diminuisce e valuta le possibili continuazioni utilizzando un lookahead a orizzonte fisso. I rami candidati vengono prioritizzati in base alla Confidenza Media del Lookahead (ALC) e raffinati attraverso un processo di voto. Questa strategia affronta efficacemente le carenze delle attuali tecniche di scaling al momento dell'inferenza.