PRISM: Un Nuovo Metodo per Decomporre la Deriva degli LLM in Disallineamenti di Scala, Forma e Testa

Un nuovo approccio chiamato PRISM (Proxy Risk Inference via Structural Mapping) è stato introdotto dai ricercatori. Questo metodo stabilisce un limite superiore in forma chiusa per il divario di rischio di entropia incrociata tra un LLM target e la sua versione modificata (come quantizzata, adattata con LoRA o distillata). Sfruttando la testa di output lineare e la struttura del backbone quasi isometrica degli LLM, il metodo scompone la deriva in tre dimensioni indipendenti: disallineamento di scala, disallineamento di forma e divergenza della testa. Ogni dimensione rappresenta una modalità di fallimento specifica: distorsione della forma dalla quantizzazione a bassi bit, separabilità della scala dovuta al dimenticare di LoRA e divergenza della testa. PRISM aiuta nella classificazione delle varianti diagnosticando come una variante è derivata, piuttosto che indicare semplicemente se è peggiorata. Questa ricerca è disponibile su arXiv (2605.11608).