TFM-Retouche: Adattatore dello Spazio di Input per Modelli Fondazionali Tabulari
I modelli fondazionali tabulari (TFM) come TabPFN-2.6, TabICLv2, ConTextTab, Mitra, LimiX e TabDPT dimostrano impressionanti capacità zero-shot attraverso l'apprendimento in contesto, ma possiedono bias induttivi fissi durante l'inferenza. Tipicamente, adattare un TFM preaddestrato a un dataset specifico richiede o un costoso fine-tuning completo o tecniche efficienti in termini di parametri come LoRA, che necessitano di personalizzazione per la struttura interna di ciascun TFM. L'impatto del fine-tuning nello spazio dei pesi sull'accuratezza e la calibrazione rimane inconcludente. Per affrontare questo problema, i ricercatori hanno sviluppato TFM-Retouche, un adattatore residuo leggero nello spazio di input, agnostico rispetto all'architettura del backbone TFM congelato. Questo adattatore apprende in modo efficiente una piccola correzione residua nello spazio di input per allineare meglio i dati di input con i bias induttivi del modello.
Fatti principali
- TFM-Retouche è un adattatore residuo leggero nello spazio di input per modelli fondazionali tabulari.
- È agnostico rispetto all'architettura e progettato per backbone TFM congelati.
- Apprende una piccola correzione residua nello spazio di input.
- I metodi di adattamento esistenti includono il fine-tuning completo (costoso) e PEFT come LoRA (specifico per architettura).
- Le evidenze sui benefici del fine-tuning nello spazio dei pesi sono contrastanti.
- TFM menzionati: TabPFN-2.6, TabICLv2, ConTextTab, Mitra, LimiX, TabDPT.
- L'adattatore allinea i dati di input con i bias induttivi del modello preaddestrato.
- L'approccio mira a essere efficiente e generale.
Entità
—