HiLP: La Predizione Latente Gerarchica Migliora il Ragionamento a Lungo Orizzonte nei Modelli Linguistici
I ricercatori hanno introdotto la Predizione Latente Gerarchica (HiLP), un nuovo obiettivo di addestramento per i modelli linguistici che mira a migliorare il ragionamento e la pianificazione a lungo orizzonte. Il metodo, descritto in un articolo su arXiv, affronta i limiti della Predizione Standard del Token Successivo (NTP) e delle recenti alternative come la Predizione Multi-Token (MTP) e la Predizione del Prossimo Latente (NextLat). HiLP introduce un latente astratto ausiliario di livello superiore per ridurre l'accumulo di errori nei rollout nello spazio latente, portando a una rappresentazione coerente dello stato di credenza a più lungo orizzonte. Gli esperimenti dimostrano l'efficacia su benchmark di codifica e ragionamento a più fasi, e offrono una maggiore efficienza di decodifica speculativa. L'articolo è disponibile su arXiv con identificativo 2608.05806.
Fatti principali
- HiLP introduce un latente astratto ausiliario di livello superiore per ridurre l'accumulo di errori nei rollout nello spazio latente.
- Il metodo è progettato per migliorare il ragionamento e la pianificazione a lungo orizzonte nei modelli linguistici.
- Affronta i limiti della Predizione Standard del Token Successivo (NTP) e delle recenti alternative come la Predizione Multi-Token (MTP) e la Predizione del Prossimo Latente (NextLat).
- Gli esperimenti mostrano che HiLP porta a una rappresentazione coerente dello stato di credenza a più lungo orizzonte.
- Il metodo è efficace su benchmark di codifica e ragionamento a più fasi.
- HiLP offre una maggiore efficienza di decodifica speculativa.
- L'articolo è disponibile su arXiv con identificativo 2608.05806.
- L'articolo è classificato sotto Informatica > Calcolo e Linguaggio.
Entità
Istituzioni
- arXiv