Transformer Neural Process Introduce la Regressione Kernel per la Modellazione Stocastica Scalabile

Un nuovo articolo di ricerca introduce Transformer Neural Process - Kernel Regression (TNP-KR), un modello scalabile progettato per superare i colli di bottiglia computazionali nei Neural Process esistenti. I Neural Process sono stati originariamente sviluppati come alternativa più scalabile ai Gaussian Process, che affrontano limitazioni di runtime O(n³). Mentre i Neural Process moderni possono eguagliare i Gaussian Process in accuratezza, incontrano ancora vincoli O(n²) a causa dei meccanismi di attenzione. Il modello TNP-KR incorpora un Kernel Regression Block che raggiunge una complessità di O(n_c² + n_c n_t), dove n_c e n_t rappresentano rispettivamente i punti di contesto e di test. Questa architettura include un bias di attenzione basato su kernel e due nuovi meccanismi di attenzione: scan attention, che migliora l'efficienza della memoria, e l'invarianza traslazionale quando abbinata al kernel bias. La ricerca è stata pubblicata su arXiv con identificatore 2411.12502v4, classificata come annuncio cross di sostituzione. Il lavoro affronta le sfide fondamentali nella modellazione delle distribuzioni predittive posteriori dei processi stocastici attraverso approcci basati su transformer.