AeroCopilotBench: Nuovo Benchmark Testa Agenti LLM come Copiloti Aeronautici
AeroCopilotBench, un nuovo benchmark a due livelli, è stato introdotto per valutare agenti di modelli linguistici di grandi dimensioni (LLM) nel ruolo di copiloti aeronautici. Ad accompagnare questo benchmark c'è l'Ambiente Operativo AeroCopilot (ACOE), che offre un cockpit virtuale interattivo e riproducibile per i test. Il primo livello valuta la conoscenza aeronautica attraverso 1.200 domande a scelta multipla, mentre il secondo livello include 73 scenari di emergenza e anomali basati sui manuali operativi del pilota (POH) dei produttori e implementati all'interno di ACOE. ACOE traduce le procedure in linguaggio naturale in transizioni di stato attuabili, obiettivi di stato finale e vincoli di sicurezza rigorosi, consentendo ai modelli di analizzare lo stato del cockpit, identificare problemi e gestire i sistemi dell'aeromobile tramite interfacce strumentali standardizzate. Questo articolo di ricerca è disponibile su arXiv con l'identificatore 2608.16349.
Fatti principali
- AeroCopilotBench è un benchmark a due livelli per valutare agenti LLM come copiloti aeronautici.
- L'Ambiente Operativo AeroCopilot (ACOE) è un ambiente di test interattivo di cockpit virtuale riproducibile.
- Il Livello 1 valuta la conoscenza aeronautica utilizzando 1.200 domande a scelta multipla.
- Il Livello 2 comprende 73 compiti di emergenza e anomali derivati dai manuali operativi del pilota (POH) dei produttori.
- ACOE converte le procedure in linguaggio naturale in transizioni di stato eseguibili, condizioni di obiettivo di stato finale e vincoli di sicurezza rigidi.
- Il benchmark consente ai modelli di interpretare lo stato del cockpit, diagnosticare guasti e operare i sistemi dell'aeromobile tramite interfacce strumentali standardizzate.
- L'articolo è pubblicato su arXiv con identificatore 2608.16349.
- Il lavoro affronta la mancanza di test sistematici dell'esecuzione procedurale e della conformità alla sicurezza in ambienti interattivi.
Entità
Istituzioni
- arXiv