Attribuzione dei Fallimenti Orientata alle Capacità per Agenti VLN

Una nuova strategia di test incentrata sulle capacità per agenti di Navigazione Visione-Linguaggio (VLN) consente l'identificazione e l'analisi dei fallimenti. Ciò è ottenuto attraverso una combinazione di creazione adattiva di casi di test tramite selezione di semi e mutazione, oracoli di capacità per rilevare errori specifici delle capacità, e un sistema di feedback che collega i fallimenti a capacità specifiche, facilitando l'ulteriore sviluppo dei test. I risultati sperimentali indicano che questo approccio scopre un numero maggiore di istanze di fallimento e identifica più precisamente le carenze a livello di capacità rispetto ai metodi di base più avanzati, offrendo spunti più chiari e attuabili per migliorare gli agenti incarnati in ambienti sensibili alla sicurezza.