Ragionamento Simbolico dei Transformer Limitato dal Collasso Rappresentazionale

Un nuovo studio su arXiv indaga perché i modelli transformer decoder-only faticano con il ragionamento simbolico astratto, in particolare problemi di logica proposizionale forniti in contesto. Lavori precedenti hanno scoperto che i modelli non riescono a generalizzare a problemi con nomi di variabili mai visti, in parte a causa della difficoltà nel copiare token non visti. La nuova ricerca rivela un fattore aggiuntivo chiave: il collasso rappresentazionale, dove gli unembedding (pesi dell'ultimo strato) dei token non visti convergono a vettori quasi identici durante l'addestramento. Questo collasso rende difficile per il modello distinguere più variabili non viste, specialmente quando i parametri di embedding e unembedding sono condivisi. Il risultato fornisce una spiegazione meccanicistica per l'efficacia di interventi euristici come 'active forgetting', che resetta periodicamente gli embedding dei token. Lo studio combina analisi teorica con evidenze empiriche, offrendo approfondimenti sulle limitazioni delle attuali architetture transformer nei compiti di ragionamento simbolico.