Spreadsheet-RL: Fine-Tuning RL per Agenti LLM su Compiti con Fogli di Calcolo
Un nuovo framework chiamato Spreadsheet-RL è stato sviluppato dai ricercatori per potenziare gli agenti basati su modelli linguistici di grandi dimensioni attraverso l'apprendimento per rinforzo, consentendo loro di affrontare compiti complessi e multi-step in ambienti autentici di Microsoft Excel. Questo framework include un sistema automatizzato progettato per la raccolta efficiente di coppie di fogli di calcolo iniziali e finali provenienti da comunità online, insieme a compiti di valutazione specializzati in finanza e altri settori. Gli attuali agenti per fogli di calcolo dipendono da tecniche di prompting specifiche con LLM generici, che spesso falliscono nelle applicazioni reali. I risultati sono dettagliati nell'articolo arXiv numero 2605.22642.
Fatti principali
- Spreadsheet-RL è un framework di fine-tuning con apprendimento per rinforzo per agenti di fogli di calcolo.
- Opera in un ambiente realistico di Microsoft Excel.
- Include un pipeline automatizzato per la raccolta di coppie di fogli di calcolo iniziali e finali da forum online.
- Include compiti di valutazione specifici per dominio in finanza e altre aree.
- Gli agenti esistenti si basano su prompting specializzato su LLM generici.
- Il framework mira a gestire flussi di lavoro complessi e multi-step.
- L'articolo è disponibile su arXiv con ID 2605.22642.
- Sistemi di fogli di calcolo come Excel e Google Sheets sono centrali per i flussi di lavoro basati sui dati.
Entità
Istituzioni
- Microsoft
- arXiv