Quadro per la Verifica dell'Affidabilità dei LLM Multimodali nella Diagnostica di Rete
È stato introdotto un nuovo quadro per valutare l'affidabilità dei modelli linguistici di grandi dimensioni (LLM) multimodali nella diagnostica di rete. Questo metodo valuta le dipendenze auto-dichiarate, i cambiamenti comportamentali durante le ablazioni controllate delle modalità e il significato ingegneristico preregistrato per identificare incongruenze. Un meccanismo di correzione basato su prove e ri-audit rielabora le risposte non riuscite in condizioni di limitate evidenze, confermando un miglioramento della fondatezza senza sacrificare le prestazioni. Casi studio analizzano tre LLM di diverse dimensioni negli scenari IEEE a 39 e 118 bus. L'obiettivo del quadro è garantire l'utilizzo di prove rilevanti per il compito, andando oltre la semplice misurazione dell'accuratezza delle risposte.
Fatti principali
- Il quadro verifica l'affidabilità dei LLM multimodali nella diagnostica di rete.
- Confronta l'affidamento auto-dichiarato, i cambiamenti comportamentali e l'importanza ingegneristica.
- Utilizza ablazioni controllate delle modalità per rilevare discrepanze.
- Meccanismo di correzione basato su prove e ri-audit che rigenera le risposte fallite.
- Casi studio valutano tre LLM sugli scenari IEEE a 39 e 118 bus.
- Pubblicato su arXiv con ID 2607.24539.
Entità
Istituzioni
- arXiv