HyperLens: Nuova Sonda Quantifica lo Sforzo Cognitivo negli LLM

I ricercatori hanno introdotto HyperLens, una sonda ad alta risoluzione che traccia le traiettorie di confidenza nei grandi modelli linguistici (LLM) per quantificare lo sforzo cognitivo durante l'inferenza. Il lavoro, pubblicato su arXiv, identifica un meccanismo di ingrandimento intrinseco nelle architetture transformer dove gli strati più profondi amplificano piccoli cambiamenti nella confidenza a livello di strato, producendo una traiettoria di confidenza a grana fine. HyperLens rivela una divergenza consistente in queste traiettorie che separa i compiti complessi da quelli semplici, che gli autori astrattano in una metrica quantitativa di sforzo cognitivo. La loro analisi mostra che i compiti complessi richiedono costantemente uno sforzo cognitivo maggiore e forniscono una diagnosi meccanicistica di una modalità di fallimento comune. Lo studio mira a migliorare la comprensione delle dinamiche di inferenza degli LLM, che sono state poco comprese a causa della risoluzione limitata degli strumenti di analisi esistenti.