LUCoS: Nuovo Metodo per la Selezione del Contesto nei Modelli Fondamentali Tabulari
La sfida del cold-start nei modelli fondamentali tabulari (TFM) come TabPFN viene affrontata da una nuova tecnica nota come LUCoS (Selezione del Contesto Non Supervisionata Latente). Questo metodo utilizza la selezione geometrica all'interno di uno spazio latente appreso, evitando le complicazioni dello spazio tabulare originale, che è influenzato da tipi diversi, scale variabili e relazioni non lineari. Esperimenti con oracoli supervisionati indicano che insiemi di contesto etichettati strategicamente selezionati possono superare significativamente le prestazioni delle selezioni casuali con lo stesso budget di etichettatura. Questa ricerca sottolinea gli aspetti geometrici intrinseci del problema e offre una soluzione per l'apprendimento con poche etichette in contesti tabulari.
Fatti principali
- LUCoS sta per Selezione del Contesto Non Supervisionata Latente
- Il metodo si rivolge all'impostazione cold-start nei modelli fondamentali tabulari
- TabPFN è un esempio di modello fondamentale tabulare
- La selezione del contesto determina direttamente le prestazioni predittive nei TFM
- Esperimenti con oracoli supervisionati mostrano che insiemi accuratamente scelti superano la selezione casuale
- Lo spazio tabulare originale manca di una metrica naturale per la costruzione del contesto
- Le distanze nello spazio grezzo sono inaffidabili a causa di tipi eterogenei, scale miste, interazioni non lineari
- L'articolo è disponibile su arXiv con ID 2605.27254
Entità
Istituzioni
- arXiv