Apprendimento a Basso Rango di Interazione: Unificazione delle Teste Dual-Encoder Moltiplicative
È stato proposto un nuovo quadro teorico per le reti dual-encoder moltiplicative, che generano output attraverso i prodotti interni di codifiche distinte. Sebbene questa architettura sia stata creata separatamente in campi come l'apprendimento di operatori, il matching bipartito, i modelli contrastivi visione-linguaggio e il retrieval, mancava una teoria coesa. Questo quadro specifica una categoria di funzioni caratterizzate da basso rango di interazione, valutate tramite lo spettro di interazione, e scompone l'errore di approssimazione in componenti di troncamento spettrale e di realizzazione dell'encoder. La complessità del campione è determinata dalla somma delle complessità degli encoder, mentre un criterio di utilizzabilità basato sul decadimento spettrale indica l'efficacia dell'architettura. L'articolo è disponibile su arXiv con identificatore 2608.11661.
Fatti principali
- L'articolo introduce una teoria unificata per le reti dual-encoder moltiplicative.
- L'architettura è utilizzata nell'apprendimento di operatori, nel matching bipartito, nei modelli contrastivi visione-linguaggio e nel retrieval.
- Il quadro definisce funzioni a basso rango di interazione.
- L'errore di approssimazione si scompone in termini di troncamento spettrale e realizzazione dell'encoder.
- La complessità del campione è governata dalla somma delle complessità degli encoder.
- Viene proposto un criterio di utilizzabilità basato sul decadimento spettrale.
- L'articolo è disponibile su arXiv con identificatore 2608.11661.
- Il tipo di annuncio è cross.
Entità
Istituzioni
- arXiv