HalluHunter: un framework automatizzato per scoprire errori fattuali nei LLM

I ricercatori hanno introdotto HalluHunter, un framework completamente automatizzato progettato per identificare sistematicamente inesattezze fattuali nei modelli linguistici di grandi dimensioni (LLM) come ChatGPT. Il metodo utilizza un approccio basato su grafi di conoscenza, estraendo triplette fattuali e generando diversi tipi di domande per ragionamenti a salto singolo e multiplo tramite tecniche di elaborazione del linguaggio naturale (NLP) basate su regole. Il suo processo iterativo inizia con la selezione casuale di triplette per scoprire dinamicamente gli errori. Questo affronta i limiti degli attuali metodi di valutazione, che richiedono un ampio lavoro umano, soffrono di contaminazione dei dati di test o hanno una portata limitata. Il framework mira a migliorare l'affidabilità in settori critici come la sanità, il giornalismo e l'istruzione.