ComboShoppingBench: Nuovo Benchmark per lo Shopping a Cesto con Vincoli di Budget e Coupon
ComboShoppingBench, un nuovo benchmark per lo shopping agentico, è stato introdotto in un articolo disponibile su arXiv (2608.09282). Questo benchmark mira a valutare gli agenti LLM impegnati in acquisti a cesto con limiti di budget e utilizzo di coupon. Affronta la difficoltà di assemblare una collezione di articoli complementari piuttosto che un singolo prodotto, un requisito comune in scenari come la preparazione di pasti, la pianificazione di eventi, la configurazione di dispositivi e gli ordini di gruppo da asporto. Queste situazioni richiedono un ragionamento completo su compatibilità degli articoli, disponibilità, spese di consegna, requisiti del negozio e vincoli di budget. Gli autori sottolineano la complessità della valutazione, poiché più cesti possono soddisfare la stessa richiesta, rendendo inefficaci le metriche di corrispondenza esatta. ComboShoppingBench offre un ambiente verificabile per la creazione di cesti in un contesto commerciale simulato, consentendo agli agenti di affrontare complesse attività di shopping multi-articolo.
Fatti principali
- 1. ComboShoppingBench è introdotto in un articolo su arXiv con ID 2608.09282.
- 2. Il benchmark valuta gli agenti LLM per lo shopping a cesto con vincoli di budget e coupon.
- 3. Si concentra sulla costruzione di cesti di articoli complementari, non singoli prodotti.
- 4. Gli scenari del mondo reale includono la configurazione di dispositivi, la preparazione di pasti, la pianificazione di eventi e gli ordini di gruppo da asporto.
- 5. I compiti richiedono ragionamento su compatibilità degli articoli, disponibilità, requisiti a livello di negozio, spese di consegna, coupon e budget.
- 6. Le metriche di corrispondenza esatta non sono adatte perché più cesti possono soddisfare la stessa richiesta.
- 7. La valutazione semantica da sola non può rilevare ordini irrealizzabili, combinazioni di coupon non valide o pagamenti errati.
- 8. Il benchmark utilizza un ambiente commerciale e di asporto simulato.
- 9. Un agente di esplorazione costruisce un cesto fattibile e semanticamente coerente come testimone.
- 10. Il testimone guida la generazione di coupon e vincoli di budget.
Entità
Istituzioni
- arXiv