TABALIGN: Migliorare il Ragionamento su Tabelle nei LLM con Attenzione Cellulare

TABALIGN è un framework di nuova introduzione progettato per migliorare il ragionamento multi-step su tabelle strutturate per i grandi modelli linguistici (LLM). Le tecniche esistenti incontrano difficoltà a causa dell'assenza di un accordo esplicito di ancoraggio cellulare nella pianificazione e nell'esecuzione, e limitano i pianificatori a un approccio da sinistra a destra che trascura l'invarianza delle permutazioni delle tabelle. Uno studio preliminare ha rivelato che i modelli linguistici diffusi (DLM) mostrano una maggiore allineamento con il ragionamento umano e mantengono un'attenzione cellulare stabile attraverso le permutazioni, ottenendo una riduzione mediana del 40,2% nella variabilità dell'AUROC dell'attenzione quando le righe vengono riordinate. TABALIGN integra un pianificatore DLM mascherato, che genera passi di piano come maschere binarie di celle attraverso un denoising bidirezionale, insieme a TABATTN, un verificatore compatto addestrato su 1.600 standard di attenzione convalidati da umani, che valuta ogni passo in base alla sua sovrapposizione di attenzione con il piano. Questo metodo stabilisce efficacemente un contratto di ancoraggio cellulare per sincronizzare la pianificazione con l'organizzazione della tabella.