Sentence Transformers v6.0 introduce il supporto nativo per i modelli multi-vettore a interazione tardiva
Hugging Face ha lanciato la versione 6.0 della sua libreria Sentence Transformers, che introduce il supporto per i modelli di embedding multi-vettore che in precedenza dipendevano dalla libreria PyLate di LightOn. Questi modelli multi-vettore, a differenza dei modelli densi, mantengono un vettore per ogni token, migliorando l'accuratezza del recupero per query complesse e documenti lunghi, sebbene con una dimensione dell'indice aumentata. Utilizzando il modello LateOn, sono stati codificati 4.874 passaggi da Natural Questions, ottenendo 608.414 vettori token. La libreria è compatibile con i checkpoint dei modelli PyLate, Stanford-NLP ColBERT e ColPali. I modelli multi-vettore sono applicabili per ricerche esaustive, re-ranking, oppure possono essere indicizzati in vari database. Questa versione è attribuita a Omar Khattab, Matei Zaharia, Antoine Chaffin e altri.
Fatti principali
- Sentence Transformers v6.0 aggiunge il supporto nativo per i modelli di embedding multi-vettore (a interazione tardiva).
- I modelli multi-vettore mantengono un vettore per token e utilizzano l'operatore MaxSim per il punteggio.
- MaxSim calcola la somma della similarità massima di ciascun token della query rispetto ai token del documento.
- La codifica di 4.874 passaggi di Natural Questions con LateOn ha prodotto 608.414 vettori token, circa 42 volte lo spazio di archiviazione di un indice denso MiniLM.
- La libreria carica checkpoint da PyLate, Stanford-NLP ColBERT e modelli di recupero visivo di documenti della famiglia ColPali.
- I modelli in stile ColPali consentono il recupero visivo di documenti con query testuali su immagini di pagine, senza OCR.
- L'indicizzazione multi-vettore è supportata nativamente in Qdrant, Weaviate, Vespa, LanceDB, VectorChord, Milvus e fast-plaid.
- Sentence Transformers v6.0 richiede transformers v5.x, torch 2.2+ e huggingface-hub v1.x.
Entità
Artisti
- Omar Khattab
- Matei Zaharia
- Antoine Chaffin
- Raphael Sourty
- Paulo Moura
- Amélie Chatelain
- Manuel Faysse
- Hugues Sibille
- Tony Wu
- Bilel Omrani
- Gautier Viaud
- Céline Hudelot
- Pierre Colombo
- Benjamin Clavié
- Griffin Adams
- Kenneth Enevoldsen
- Roman Solomatin
Istituzioni
- Hugging Face
- Sentence Transformers
- LightOn
- Stanford NLP
- PyLate
- colpali-engine
- fast-plaid
- Qdrant
- Weaviate
- Vespa
- LanceDB
- VectorChord
- Milvus
- OpenSearch
- Elasticsearch
- turbopuffer
- MTEB
Luoghi
- Antarctica