LoRD: Una correzione di calibrazione per rilevatori di anomalie nei log eccessivamente sicuri di sé
I rilevatori di anomalie nei log, che utilizzano modelli linguistici e sono essenziali per monitorare estesi sistemi di calcolo, mostrano un livello preoccupante di eccessiva sicurezza. Un preprint arXiv (2608.17965) rivela che questi rilevatori spesso assegnano troppa fiducia a previsioni errate, in particolare in presenza di un grave squilibrio di classi nei log anomali. La ricerca evidenzia un problema di affidabilità significativo: l'elevata fiducia in previsioni errate persiste nonostante le metriche di calibrazione tradizionali suggeriscano il contrario. Per affrontare questo problema, gli autori introducono LoRD (Log Reconstruction and Distance), un framework di calibrazione post-hoc semplificato. LoRD sviluppa modelli di affidabilità basati sulle rappresentazioni latenti di campioni di validazione classificati correttamente, fornendo una soluzione pratica di calibrazione per il monitoraggio operativo senza la necessità di un esteso riaddestramento. Il preprint affronta la disparità tra l'efficacia del rilevatore e l'affidabilità della fiducia.
Fatti principali
- Il preprint arXiv 2608.17965 affronta la mancata calibrazione nel rilevamento di anomalie nei log.
- I rilevatori basati su modelli linguistici assegnano una fiducia eccessiva a previsioni errate.
- La fiducia negli errori rimane elevata anche quando le metriche di calibrazione appaiono buone.
- I ricercatori propongono LoRD (Log Reconstruction and Distance) come framework di calibrazione post-hoc.
- LoRD utilizza rappresentazioni latenti di campioni di validazione classificati correttamente.
- Il lavoro si rivolge al monitoraggio operativo in sistemi di calcolo su larga scala.
- L'articolo è classificato come cross-type su arXiv.
- Il grave squilibrio di classi aggrava il problema dell'eccessiva sicurezza.
Entità
Istituzioni
- arXiv