Oracoli di Test LLM: Revisione Sistematica della Tassonomia dell'Autorità

Una revisione della letteratura condotta secondo le linee guida PRISMA 2020 indaga l'applicazione dei modelli linguistici di grandi dimensioni (LLM) come oracoli di test nel testing del software. Inizialmente, sono stati valutati 2.436 record, portando alla selezione di 54 studi, successivamente ampliati attraverso la ricerca di citazioni (snowballing) fino a un totale di 83. La ricerca classifica gli oracoli in base alla loro fonte autorevole, forma e meccanismo di aggiudicazione. È interessante notare che oltre la metà degli studi giunge a conclusioni senza alcun criterio esplicito, basandosi esclusivamente sull'addestramento del modello. La revisione sottolinea che due oracoli apparentemente identici possono basarsi su fondamenti diversi: uno può incarnare una specifica scritta, mentre l'altro è semplicemente un riflesso dei dati di addestramento del modello. Precedenti studi secondari categorizzavano gli oracoli per forma o tecnica, ma questa revisione si concentra sull'affidabilità del verdetto basata sulla sua origine autorevole. Queste intuizioni sono significative sia per il testing del software che per l'affidabilità dell'IA, soprattutto mentre gli LLM determinano sempre più la correttezza del software.