Nuovo Framework di Ricerca APST Testa la Sicurezza dei Modelli Linguistici di Grandi Dimensioni Attraverso Campionamento Ripetuto di Prompt

Un nuovo articolo di ricerca introduce l'Accelerated Prompt Stress Testing (APST), un framework per valutare la sicurezza dei modelli linguistici di grandi dimensioni. Il metodo si concentra sull'affidabilità operativa piuttosto che sulla generalizzazione ampia dei compiti, simulando i rischi di implementazione nel mondo reale. L'APST campiona ripetutamente prompt identici in condizioni controllate per scoprire modalità di fallimento latenti. Queste includono allucinazioni, incoerenza nei rifiuti e completamenti non sicuri. L'approccio è ispirato ai test di stress altamente accelerati utilizzati nell'ingegneria dell'affidabilità. I benchmark tradizionali come HELM e AIR-BENCH valutano principalmente la sicurezza attraverso valutazioni orientate all'ampiezza su compiti diversi. L'articolo sostiene che la coerenza delle risposte e la sicurezza nell'uso ripetuto sono critiche per applicazioni ad alto rischio. I fallimenti operativi derivanti da generazioni ripetute dello stesso prompt rappresentano una classe di rischio diversa dalla generalizzazione ampia dei compiti. Il framework analizza il comportamento dei modelli linguistici attraverso la variazione della temperatura e la perturbazione dei prompt. La ricerca è stata annunciata come nuova su arXiv con identificatore arXiv:2604.09606v1.