Le tecniche di apprendimento auto-supervisionato avanzano l'apprendimento delle rappresentazioni nel machine learning

L'apprendimento auto-supervisionato consente ai modelli di generare le proprie etichette da dati non etichettati, affrontando l'elevato costo dell'annotazione manuale. Questo approccio struttura compiti supervisionati per prevedere sottoinsiemi di informazioni utilizzando il resto, con applicazioni nella modellazione linguistica come i compiti ausiliari di BERT. Le tecniche includono la previsione delle rotazioni delle immagini, la risoluzione di puzzle e la colorizzazione, che spingono i modelli ad apprendere concetti semantici. Metodi di apprendimento contrastivo come Contrastive Predictive Coding e Momentum Contrast migliorano la qualità delle rappresentazioni. In robotica, framework come grasp2vec e Time-Contrastive Networks apprendono incorporamenti di stato per politiche di controllo senza ricostruzione. Deep Bisimulation for Control si concentra sulla somiglianza comportamentale nell'apprendimento per rinforzo. Aggiornamenti recenti includono MoCo V2, BYOL e sezioni sulla bisimulazione, con il campo in evoluzione attraverso numerosi contributi di articoli dal 2015 al 2020.