H-Probes: Estrazione di Strutture Gerarchiche dalle Rappresentazioni Latenti degli LLM

Uno studio recente presenta H-probes, una collezione di sonde lineari progettate per estrarre strutture gerarchiche, come profondità e distanza a coppie, dalle rappresentazioni latenti dei grandi modelli linguistici (LLM). Pubblicato su arXiv (2605.00847v1), la ricerca mostra che queste sonde individuano efficacemente sottospazi ricchi di informazioni gerarchiche durante compiti sintetici di attraversamento di alberi. Test di ablazione indicano che questi sottospazi sono a bassa dimensionalità, svolgono un ruolo cruciale nel raggiungere elevate prestazioni nei compiti e possono generalizzare in vari domini. Inoltre, i ricercatori hanno scoperto strutture gerarchiche simili, sebbene più deboli, in dataset del mondo reale, suggerendo che gli LLM codificano il ragionamento gerarchico nei loro spazi latenti. Questo studio colma una lacuna nella comprensione di come i modelli rappresentino geometricamente i costrutti latenti essenziali per il ragionamento gerarchico, un processo cognitivo chiave.