Benchmark MOOD testa i monitor LLM per i fallimenti di allineamento fuori distribuzione

I ricercatori hanno introdotto un benchmark chiamato Misalignment Out Of Distribution (MOOD) per studiare sistematicamente se le pipeline di monitoraggio degli LLM possono rilevare fallimenti di allineamento fuori distribuzione (OOD). Il benchmark include un set di addestramento ristretto utilizzato per addestrare i monitor, più sette set di test con diversi fallimenti di allineamento al di fuori della distribuzione di addestramento. I risultati mostrano che i modelli di guardia (classificatori di sicurezza) spesso non riescono a generalizzare a scenari OOD. Per affrontare questo problema, lo studio propone di combinare i modelli di guardia con rilevatori OOD, testando quattro tipi e scoprendo che una combinazione con la distanza di Mahalanobis funziona meglio. Il lavoro mira a migliorare il rilevamento di fallimenti di sicurezza causati da prompt o risposte insolite non previste dagli sviluppatori.