L'innovazione come quasi caratterizzazione dell'allucinazione nei LLM

Un recente studio pubblicato su arXiv (2605.26808) presenta l'"innovazione" come una caratteristica dei grandi modelli linguistici, indicando la loro tendenza a generare output al di là dell'ambito dei dati di addestramento. I ricercatori dimostrano che questa innovazione si allinea con i criteri di allucinazione stabiliti da Kalai e Vempala (STOC 2024), suggerendo che essa funge da quasi completa caratterizzazione dell'allucinazione. L'articolo esplora due questioni chiave: quale aspetto rende le allucinazioni inevitabili nei LLM calibrati e se abbandonare la calibrazione possa prevenire le allucinazioni. Questa ricerca amplia il quadro probabilistico delineato da Kalai e Vempala, che hanno definito calibrazione e allucinazione, rivelando che i LLM calibrati sperimentano allucinazioni a un tasso corrispondente alla "massa mancante".