Tassi Minimax e Distillazione Spettrale per Insiemi di Alberi

Una recente indagine teorica sugli insiemi di alberi, come le foreste casuali e le macchine a potenziamento del gradiente, indica che la loro capacità predittiva è influenzata dal decadimento degli autovalori di un operatore kernel. Questa ricerca stabilisce tassi di convergenza minimax-ottimali per la regressione con foreste casuali, assumendo condizioni di regolarità moderate sulla crescita degli alberi. Inoltre, presenta tecniche di compressione che semplificano gli insiemi di alberi in modelli significativamente più piccoli senza compromettere l'accuratezza. Nelle foreste casuali, le direzioni predittive dominanti sono rappresentate dalle autofunzioni principali dell'operatore kernel, mentre nelle macchine a potenziamento del gradiente, i vettori singolari principali della matrice di smoothing servono a uno scopo simile. Questo studio offre un punto di vista spettrale che migliora la comprensione di questi popolari algoritmi.