Claw-Anything: Benchmark per Assistenti AI Sempre Attivi

Un nuovo benchmark chiamato Claw-Anything è stato sviluppato da ricercatori per valutare agenti basati su modelli linguistici di grandi dimensioni che funzionano come assistenti personali sempre attivi con ampio accesso all'ambiente digitale dell'utente. I benchmark esistenti affrontano solo aspetti limitati dei dati utente, il che limita il ragionamento sensibile al contesto. Claw-Anything migliora il contesto dell'agente in tre aree: registri di attività a lungo termine, servizi backend interconnessi e interazioni GUI e CLI senza soluzione di continuità su vari dispositivi. Per creare scenari realistici, il benchmark utilizza l'iniezione di eventi a più round per simulare mesi di attività dell'utente, incorporando eventi irrilevanti e informazioni contrastanti. Gli agenti devono ragionare in contesti complessi mantenendo la resilienza al rumore. Questa ricerca è documentata nel preprint arXiv 2605.26086.