Studio analizza come le strategie di fine-tuning influenzano l'interpretazione dei LLM nella conformità automatizzata del codice

Un nuovo studio esamina come diversi approcci di fine-tuning influenzino i comportamenti interpretativi dei grandi modelli linguistici nei compiti di conformità automatizzata del codice, andando oltre la ricerca tradizionale focalizzata sulle prestazioni. I ricercatori hanno impiegato l'analisi di attribuzione basata su perturbazioni per confrontare i metodi di fine-tuning completo (FFT), adattamento a basso rango (LoRA) e LoRA quantizzato su diverse scale di modelli. I risultati rivelano che l'FFT produce modelli di attribuzione statisticamente distinti e più concentrati rispetto a quelli delle tecniche di fine-tuning efficiente dei parametri. All'aumentare delle dimensioni del modello, i LLM sviluppano strategie interpretative specifiche, come la priorità dei vincoli numerici e degli identificatori di regole all'interno del testo edilizio. Questa ricerca affronta un'importante lacuna nella comprensione di come le decisioni di addestramento influenzino il comportamento del modello, invece di trattare i LLM come scatole nere. Lo studio è stato pubblicato come arXiv:2604.15589v1 con tipo di annuncio cross. Il lavoro dimostra che i miglioramenti delle prestazioni con modelli più grandi si correlano con approcci interpretativi più sofisticati. Questa analisi fornisce approfondimenti sui meccanismi interni dei LLM quando applicati a compiti di conformità tecnica.