Workbook Time Machine: Nuovo Benchmark per la Creazione di Fogli di Calcolo con LLM
Un nuovo strumento chiamato workbook time machine è stato sviluppato da ricercatori per creare benchmark per valutare le capacità dei modelli linguistici nella generazione di elementi di fogli di calcolo come formule e grafici. Applicato a dataset pubblici di workbook, genera wtmcorpus, che consiste in triple (workbook di input, workbook di output, query) su quattro tipi di artefatti. Il team ha anche stabilito wtmbench, un benchmark di valutazione composto da 150 attività con query categorizzate in tre livelli di specificità. I risultati indicano che fattori come la specificità delle query, l'orchestrazione degli agenti e l'API dell'interfaccia giocano un ruolo cruciale nelle prestazioni degli LLM su compiti relativi a Excel. Questa ricerca è presentata nell'articolo 'Back to the Future: A workbook time machine for spreadsheet creation benchmarks', presentato su arXiv nella categoria Computer Science > Artificial Intelligence, accessibile all'indirizzo https://arxiv.org/abs/2608.07873.
Fatti principali
- Il workbook time machine è una pipeline che crea automaticamente benchmark per compiti di creazione di fogli di calcolo.
- Valuta i modelli linguistici nella creazione di formule, grafici, tabelle pivot e formattazione condizionale.
- Applicato a corpora pubblici di workbook, produce wtmcorpus, una raccolta di triple (workbook di input, workbook di output, query).
- wtmbench è un benchmark di valutazione di 150 attività curato da wtmcorpus.
- Le query in wtmbench sono a tre livelli di specificità.
- Le valutazioni mostrano che la specificità delle query, l'orchestrazione degli agenti e l'API dell'interfaccia influenzano significativamente le prestazioni degli LLM su compiti Excel.
- L'articolo è intitolato 'Back to the Future: A workbook time machine for spreadsheet creation benchmarks'.
- L'articolo è disponibile su arXiv sotto Computer Science > Artificial Intelligence.
Entità
Istituzioni
- arXiv