IntentScore: un modello di ricompensa AI migliora del 6,9% gli agenti per l'uso del computer

Un nuovo modello di ricompensa chiamato IntentScore è stato creato da ricercatori per valutare la qualità delle azioni compiute dagli Agenti per l'Uso del Computer (CUA). Questi agenti, che utilizzano modelli linguistici di grandi dimensioni, eseguono attività GUI in ambienti desktop ma incontrano frequentemente errori irreversibili. IntentScore è addestrato su 398.000 passi di interazione GUI offline provenienti da tre diversi sistemi operativi, impiegando allineamento contrastivo e ranking marginale per valutare le azioni potenziali. Incorporando l'intenzione di pianificazione nel codificatore di azioni, raggiunge un'accuratezza di discriminazione a coppie del 97,5% su un set di valutazione separato. Quando implementato come ri-ordinatore per Agent S3 nell'ambiente OSWorld non visto, IntentScore ha migliorato il tasso di successo dei compiti del 6,9%. I risultati sono pubblicati in arXiv:2604.05157.