I Modelli Fondamentali Tabulari Degradano Sotto Cambiamenti di Distribuzione
Un nuovo studio empirico valuta le prestazioni fuori distribuzione (OOD) di nove Modelli Fondamentali Tabulari (TFM), tra cui TabPFNv2, TabPFNv2.5, TabPFNv2.6, TabPFNv3, TabICL, TabICLv2, Mitra, LimiX e TabFM. Questi modelli, che hanno mostrato prestazioni predittive competitive su dati indipendenti e identicamente distribuiti, vengono testati su tre dataset reali dello studio TableShift: HELOC, Voting e Childhood Lead. Questi dataset coprono tipi di cambiamento di etichetta, socioeconomico e geografico. I risultati rivelano che tutti i TFM valutati degradano sistematicamente sotto cambiamento di distribuzione, evidenziando una limitazione critica per applicazioni reali dove le distribuzioni dei dati spesso cambiano.
Fatti principali
- Sono stati valutati nove Modelli Fondamentali Tabulari: TabPFNv2, TabPFNv2.5, TabPFNv2.6, TabPFNv3, TabICL, TabICLv2, Mitra, LimiX e TabFM.
- Sono stati utilizzati tre dataset dello studio TableShift: HELOC, Voting e Childhood Lead.
- I dataset coprono tipi di cambiamento di etichetta, socioeconomico e geografico.
- Tutti i TFM hanno mostrato degradazione sistematica sotto cambiamento di distribuzione.
- Lo studio è empirico e si concentra sulle prestazioni fuori distribuzione.
- I TFM sono approcci innovativi per compiti predittivi tabulari.
- La maggior parte dei TFM è addestrata e valutata su dati i.i.d., il che è irrealistico per scenari reali.
- Ricerche limitate sono state condotte sui TFM sotto cambiamenti di distribuzione.
Entità
Istituzioni
- TableShift