LoMETab: Generalizzazione di rango r degli insiemi impliciti moltiplicativi per il deep learning tabulare

Una recente pubblicazione su arXiv introduce LoMETab, un'estensione di rango r degli insiemi impliciti moltiplicativi progettata per il deep learning tabulare. Questo approccio eleva la modulazione di rango 1 di BatchEnsemble/TabM a una famiglia di Hadamard identità-residuo di rango r, definendo il peso di ciascun membro come W_k = W ⊙ (1 + A_k B_k^T), dove W è comune e (A_k, B_k) rappresentano fattori di basso rango unici per ciascun membro. Questa struttura rivela due assi significativi per controllare la diversità: il rango dell'adattatore r e la scala di inizializzazione σ_init. Gli autori dimostrano che per r ≥ 2, questa estensione amplia significativamente lo spazio delle ipotesi di BatchEnsemble. Lo studio affronta anche recenti benchmark di apprendimento tabulare, che indicano un cluster di prestazioni ravvicinato tra i metodi migliori, inclusi alberi decisionali potenziati con gradiente, architetture basate sull'attenzione e insiemi impliciti come TabM. Poiché i miglioramenti dei benchmark si appiattiscono, l'attenzione si sposta sulla comprensione e gestione dei fattori che consentono ai modelli neurali tabulari di base di rimanere competitivi.