PrecisionDiff: Rilevamento dei Rischi di Affidabilità nei LLM dalle Variazioni di Precisione Numerica

Un recente studio pubblicato su arXiv (2604.19790) presenta PrecisionDiff, un framework automatizzato per test differenziali volto a rilevare sistematicamente le incongruenze comportamentali nei modelli linguistici di grandi dimensioni (LLM) che derivano da diverse impostazioni di precisione numerica. Dato che gli LLM operano con diversi tipi di precisione come bfloat16, float16, int16 e int8 per migliorare l'efficienza, le tecniche di valutazione tradizionali spesso trascurano lievi discrepanze tra modelli con precisioni diverse. PrecisionDiff genera input di test sensibili alla precisione e conduce analisi comparative tra diverse precisioni per rivelare differenze sottili. Questo framework viene applicato a un compito di verifica dell'allineamento, dove i disaccordi dovuti alla precisione possono portare a vulnerabilità di jailbreak, esponendo problemi di affidabilità nascosti che potrebbero compromettere la sicurezza e la coerenza nelle applicazioni pratiche.