SPIEval: Valutazione degli LLM come Assistenti Mobili su Dati Personali Dispersi
È stato lanciato un nuovo standard di valutazione, SPIEval, per valutare i modelli linguistici di grandi dimensioni (LLM) che funzionano come assistenti mobili e gestiscono dati personali attraverso varie applicazioni. Questo benchmark, descritto in un articolo su arXiv (2608.10692), è curato da esseri umani e si concentra su cinque abilità cognitive: ragionamento, disambiguazione, integrazione, inferenza delle preferenze e scomposizione multi-intento. Consiste in 250 compiti che utilizzano 4.335 record personali provenienti da 10 diverse app, facilitando interazioni multi-turno attraverso 21 strumenti. I risultati evidenziano una gamma di scenari, compiti impegnativi, informazioni frammentate, impostazioni controllabili e risultati misurabili. Tra i nove LLM valutati, il punteggio più alto, GPT-5.5 (xhigh), ha ricevuto una valutazione modesta, suggerendo un potenziale significativo di miglioramento. Questo benchmark mira a soddisfare la necessità di una valutazione specializzata degli LLM come assistenti mobili, offrendo un metodo coerente per valutare la loro capacità di utilizzare informazioni personali disperse.
Fatti principali
- SPIEval è un benchmark curato da esseri umani per valutare gli LLM come assistenti mobili.
- Si concentra sull'utilizzo di informazioni personali sparse su più app.
- Il benchmark si basa su cinque capacità cognitive: ragionamento, disambiguazione, integrazione, inferenza delle preferenze e scomposizione multi-intento.
- SPIEval include 250 compiti, 4.335 record personali, 10 app e 21 strumenti per l'interazione multi-turno.
- Il benchmark supporta l'interazione multi-turno attraverso 21 strumenti.
- Sono stati valutati nove LLM rappresentativi.
- Il modello con le migliori prestazioni è stato GPT-5.5 (xhigh), ma ha comunque mostrato un notevole margine di miglioramento.
- L'articolo è disponibile su arXiv con identificativo 2608.10692.
Entità
—