Indagine Tecnica sui Metodi di Apprendimento Attivo per il Machine Learning con Dati Etichettati Limitati
L'apprendimento attivo migliora l'apprendimento supervisionato quando c'è scarsità di dati etichettati selezionando strategicamente campioni per l'annotazione entro un budget definito, aumentando l'accuratezza del modello, specialmente in contesti di etichettatura costosa come l'imaging medico. Un'indagine del 2010 evidenzia concetti fondamentali, enfatizzando modelli neurali profondi e addestramento in batch. La funzione di acquisizione U(x) valuta dati non etichettati per potenziale etichettatura. Tecniche comuni includono il campionamento per incertezza, determinato attraverso probabilità previste, e Query-By-Committee (QBC) per la valutazione dell'incertezza. Approcci ibridi combinano incertezza con diversità. Tecniche di ensemble come MC dropout servono ad approssimare reti bayesiane. DBAL incorpora MC dropout; la ricerca indica che ensemble semplici, sebbene più costosi, forniscono previsioni superiori. Metodi aggiuntivi includono VAAL, MAL, CAL, core-sets, BADGE, EGL e CEAL, con numerosi studi citati dal 2007 al 2021.
Fatti principali
- L'apprendimento attivo seleziona un sottoinsieme di esempi per l'etichettatura entro un budget per massimizzare il miglioramento delle prestazioni del modello.
- Il campionamento per incertezza utilizza punteggi come meno confidente, margine ed entropia basati sulle previsioni del modello.
- Query-By-Committee misura l'incertezza utilizzando un comitato di modelli attraverso entropia dei votanti, entropia del consenso o divergenza KL.
- Le funzioni di acquisizione profonde categorizzano l'incertezza in aleatoria (rumore dei dati) ed epistemica (parametri del modello).
- MC dropout approssima reti neurali bayesiane per una stima efficiente dell'incertezza nell'apprendimento attivo.
- VAAL utilizza una configurazione avversaria variazionale con un discriminatore per selezionare campioni non etichettati senza dipendere dalle prestazioni del compito.
- I core-sets trattano l'apprendimento attivo come un problema di selezione per approssimare la forma dell'intero dataset.
- BADGE combina incertezza e diversità nello spazio dei gradienti utilizzando k-means++ per l'apprendimento attivo in batch.
Entità
—