Quadro di benchmarking incentrato sull'uomo per modelli di riconoscimento dello stato degli occhi
Un nuovo studio ha introdotto il Quadro di benchmarking incentrato sull'uomo (HCBF), che mira a valutare i modelli di riconoscimento dello stato degli occhi utilizzati nel monitoraggio del conducente in modo più sfumato rispetto ai semplici punteggi complessivi. Questo quadro evidenzia fattori chiave come robustezza, trasferibilità, latenza incorporata e fedeltà delle spiegazioni, piuttosto che limitarsi alle prestazioni di base. Il team ha testato sei modelli compatti convoluzionali e transformer utilizzando un protocollo specifico insieme a varie corruzioni di immagine e metodi di addestramento, valutandoli sul dataset RT-BENE. Hanno scoperto che i punteggi Macro-F1 MRL puliti variavano da 0,9566 a 0,9794, e i punteggi Macro-F1 RT-BENE zero-shot erano compresi tra 0,2066 e 0,7771. Lo studio sottolinea l'importanza di considerare i vincoli operativi nella selezione dei modelli per applicazioni critiche per la sicurezza. Puoi trovare l'articolo su arXiv con l'identificatore 2606.08123.
Fatti principali
- Introduce il Quadro di benchmarking incentrato sull'uomo (HCBF)
- Valuta sei modelli compatti di riconoscimento dello stato degli occhi, di tipo convoluzionale e transformer
- Utilizza il protocollo MRL Eye con soggetti separati
- Include corruzioni deterministiche delle immagini, trasferimento zero-shot e addestramento sul dominio target sicuro per i partecipanti
- Valutazione out-of-fold su RT-BENE
- Inferenza TensorRT FP32 su NVIDIA Jetson Nano
- Considerata la fedeltà RISE black-box
- Macro-F1 MRL pulito variava da 0,9566 a 0,9794
- Macro-F1 RT-BENE zero-shot variava da 0,2066 a 0,7771
- Gli effetti del dominio target abbinato variavano da -0,0406 a 0,4807
Entità
Istituzioni
- arXiv