I blocchi Mixture-of-Experts mostrano forti segnali di rilevamento delle allucinazioni

I ricercatori hanno introdotto InnerExpert, un metodo che utilizza i segnali interni dei Mixture-of-Experts (MoE) per rilevare le allucinazioni a livello di token nei modelli linguistici di grandi dimensioni. L'articolo, pubblicato su arXiv (2608.17687), sostiene che i metodi di rilevamento esistenti operano a livello di risposta o di frase, mentre il rilevamento per-token può localizzare le porzioni allucinate. Nelle architetture MoE, un singolo passaggio in avanti attiva esperti sparsi attraverso un meccanismo di routing, producendo segnali come l'entropia del router, il disaccordo tra esperti e i modelli di utilizzo—non disponibili nei modelli densi. InnerExpert è descritto come il primo a sfruttare questi segnali per il rilevamento per-token. Il lavoro affronta la tendenza degli LLM a generare contenuti plausibili ma falsi, una limitazione fondamentale.