PORTool: Nuovo Algoritmo Migliora il Ragionamento con Strumenti Multipli nei LLM

I ricercatori hanno introdotto PORTool, un algoritmo di ottimizzazione delle politiche sensibile all'importanza progettato per migliorare il ragionamento integrato con strumenti multipli nei modelli linguistici di grandi dimensioni (LLM). L'algoritmo affronta l'ambiguità nell'assegnazione del credito nell'addestramento di agenti che utilizzano strumenti, basandosi solo su ricompense finali, che oscura quali decisioni intermedie portano al successo o al fallimento. PORTool genera un albero di rollout con ricompense, in cui le traiettorie condividono prefissi prima di diramarsi, consentendo confronti diretti di decisioni alternative sull'uso degli strumenti nello stesso contesto. Stima l'importanza di ogni passo utilizzando un segnale dominante di correttezza basato sul fatto che i discendenti di quel passo producano una risposta finale corretta, più un termine ausiliario. Il lavoro è dettagliato in un articolo su arXiv (2510.26020).