CiteCheck: Un Nuovo Framework per Rilevare le Allucinazioni delle Citazioni nei LLM

È stato introdotto un innovativo sistema ibrido chiamato CiteCheck per identificare le allucinazioni delle citazioni nei testi scientifici prodotti da modelli linguistici di grandi dimensioni (LLM). Questo framework valuta se una citazione è collegata a un lavoro accademico reale e verifica l'accuratezza dei suoi metadati. Raccoglie pubblicazioni potenziali da fonti accademiche esterne, utilizza un verificatore LLM strutturato per confrontare le citazioni e classifica i risultati in tre etichette: Esatta, Minore e Maggiore. I ricercatori hanno creato un benchmark di 982 citazioni in fisica con inesattezze controllate che evidenziano sia lievi variazioni nei metadati che riferimenti completamente inventati. Nei test, CiteCheck ha raggiunto un macro-F1 dell'88,7 e un'accuratezza dell'88,9%, superando le prestazioni di GPT, Claude e Gemini, incluse le loro versioni potenziate con ricerca web. Questo framework è fondamentale per affrontare il crescente problema dei LLM che producono riferimenti credibili ma errati, essenziale per mantenere l'integrità scientifica.