TaNOS: Framework auto-supervisionato potenzia il ragionamento numerico nelle tabelle

Un team di ricercatori ha presentato TaNOS, un framework di pre-addestramento continuo volto a migliorare le capacità di ragionamento numerico con tabelle di dominio esperto. Questo framework affronta il problema diffuso dei modelli che dipendono da scorciatoie header-operazione, limitando la loro adattabilità ai cambi di dominio. TaNOS è composto da tre elementi chiave: anonimizzazione delle intestazioni per ridurre la memorizzazione lessicale, schizzi di operazione che offrono indizi strutturali limitati e pre-addestramento auto-supervisionato che genera coppie programma-domanda con garanzia di correttezza da tabelle esistenti con un approccio program-first. Separando la semantica del dominio dalla struttura delle operazioni numeriche, TaNOS migliora la trasferibilità. Testato su un modello istruito con 8B parametri, ha raggiunto un'accuratezza di esecuzione dell'80,13% su FinQA utilizzando solo il 10% dei dati di addestramento, superando la baseline di fine-tuning supervisionato del 73,97% con dati di addestramento completi e modelli proprietari. Il documento di ricerca è accessibile su arXiv con ID 2604.21495.