Guida Iperbolica Migliora l'Efficienza del Ragionamento Multi-Step nei LLM

Un nuovo metodo chiamato HyperGuide utilizza la geometria iperbolica per migliorare il ragionamento multi-step nei grandi modelli linguistici. L'approccio affronta il compromesso tra generazione a passaggio singolo, veloce ma imprecisa, e metodi di ricerca ad albero, accurati ma computazionalmente costosi. Distillando il progresso del ragionamento in un segnale geometrico iperbolico, HyperGuide guida la generazione passo dopo passo. L'intuizione chiave è che negli alberi di ragionamento combinatorio, gli stati che portano a soluzioni sono rari mentre i vicoli ciechi sono abbondanti. Lo spazio iperbolico cattura naturalmente questa asimmetria: la distanza dall'origine codifica la vicinanza alla soluzione, e la separazione angolare distingue diversi rami di ragionamento. Il metodo addestra una testa leggera per proiettare gli stati nascosti del LLM nello spazio iperbolico, quindi perfeziona un adattatore a basso rango in modo interattivo sui tentativi di ragionamento del modello stesso. L'articolo è pubblicato su arXiv con ID 2605.24140.