DIVE: Nuovo Metodo di Compressione degli Embedding per LLM
Un nuovo metodo chiamato DIVE (Dimensionality reduction with Implicit View Ensembles) affronta l'overfitting nella compressione degli embedding per modelli linguistici di grandi dimensioni. Proposto in arXiv:2605.20689, DIVE utilizza una triplet loss auto-limitante basata su hinge e una contrastive loss NT-Xent per testa per ridurre la dimensionalità senza degradare le prestazioni di recupero, a differenza di metodi precedenti come Matryoshka-Adaptor, Search-Adaptor e SMEC. L'approccio limita le perturbazioni agli embedding pre-addestrati, migliorando l'efficienza per i sistemi di ricerca vettoriale.
Fatti principali
- DIVE è un adattatore di compressione per embedding di LLM.
- Utilizza una triplet loss auto-limitante basata su hinge.
- Utilizza una contrastive loss NT-Xent per testa.
- Metodi precedenti: Matryoshka-Adaptor, Search-Adaptor, SMEC.
- L'overfitting si verifica quando i dati etichettati sono scarsi.
- DIVE mantiene le prestazioni di recupero al di sopra della linea di base congelata.
- Il metodo riduce i costi di archiviazione e computazionali.
- L'articolo appare su arXiv con ID 2605.20689.
Entità
Istituzioni
- arXiv