DORA Explorer: Algoritmo Senza Addestramento Potenzia l'Esplorazione degli Agenti LLM

Uno studio recente presenta DORA Explorer (Diversity-Oriented Ranking of Actions), un algoritmo che opera al momento dell'inferenza e non richiede addestramento, volto a migliorare l'esplorazione negli agenti basati su modelli linguistici di grandi dimensioni (LLM). Questo articolo, disponibile su arXiv (2604.17244v2), affronta la sfida degli agenti LLM che generano output vari per compiti di decisione sequenziale, il che può portare a un'esplorazione limitata e ad azioni ripetitive. Gli autori notano che i metodi di campionamento attuali, come la regolazione della temperatura, diversificano solo a livello di token, non a livello di sequenza dove vengono formulate le azioni. DORA Explorer crea diverse azioni candidate, le valuta utilizzando metriche di log-probabilità a livello di sequenza e seleziona un'azione basata su un parametro di esplorazione personalizzabile. I test iniziali nel framework Multi-Armed Bandit hanno mostrato miglioramenti significativi rispetto al campionamento basato sulla temperatura. La valutazione principale è avvenuta nella Text Adventure Learning Environment Suite (TALES), dove i metodi di prompting tradizionali non riuscivano a esplorare efficacemente, mentre DORA ha eccelso. Questo preprint è stato segnalato per una revisione e contribuisce ai progressi nell'IA e nell'apprendimento automatico, in particolare nel migliorare il processo decisionale degli agenti LLM senza addestramento aggiuntivo.