GEM: Il Modello Generativo di Embedding Migliora il Recupero tramite Ragionamento
I ricercatori hanno introdotto GEM, un modello generativo di embedding che colma il divario tra l'intento dell'utente e il recupero ragionando sulle query prima di codificarle. A differenza dei recuperatori convenzionali che si basano su corrispondenze superficiali, GEM ragiona esplicitamente sull'intento dell'utente e sui criteri di rilevanza utilizzando la propria conoscenza, quindi aggiunge un token di embedding per codificare il contesto arricchito. Questo approccio unifica generazione ed embedding in un unico modello, consentendogli di gestire esigenze informative complesse e diversificate espresse in linguaggio naturale. Valutato su compiti di recupero che richiedono ragionamento intensivo e istruzioni, GEM supera la sua variante senza ragionamento e raggiunge i risultati di baseline che utilizzano modelli sostanzialmente più grandi, dimostrando l'efficacia del recupero potenziato dal ragionamento. L'articolo è disponibile su arXiv con identificativo 2608.13200.
Fatti principali
- GEM è un modello generativo di embedding che ragiona sulle query prima del recupero.
- Unifica generazione ed embedding in un unico modello.
- GEM aggiunge un token di embedding per codificare il contesto arricchito.
- Supera la sua variante senza ragionamento su compiti che richiedono ragionamento intensivo.
- Raggiunge i risultati di baseline che utilizzano modelli sostanzialmente più grandi.
- L'articolo è disponibile su arXiv con identificativo 2608.13200.
- GEM affronta il divario tra l'espressione dell'utente e l'interpretazione del recupero.
- L'approccio è valutato su compiti di recupero che seguono istruzioni.
Entità
Istituzioni
- arXiv