Compressione del Contesto LLM Senza Addestramento con Priorità Ibride di Grafo
Esiste un nuovo metodo per comprimere il contesto nei modelli linguistici di grandi dimensioni che non richiede alcun addestramento e funziona con qualsiasi modello. Crea un grafo ibrido sparso unico che combina collegamenti semantici con connessioni a corto raggio. Attraverso il clustering, trova uno scheletro tematico e poi classifica le frasi utilizzando un sistema di punteggio chiaro che valuta la loro rilevanza per il compito, quanto bene rappresentano i cluster, la loro centralità e un suggerimento per la copertura del ciclo. L'obiettivo è mantenere frasi pertinenti, coprire bene l'argomento e garantire coerenza, rispettando un limite di token rigoroso. Questo metodo è efficiente e può essere utilizzato con diversi LLM a contesto lungo.
Fatti principali
- Il framework è senza addestramento e indipendente dal modello
- Utilizza un grafo di frasi ibrido con archi k-NN e sequenziali
- Estrae uno scheletro tematico tramite clustering
- Classifica le frasi con un punteggio interpretabile
- Affronta le limitazioni dei metodi di compressione esistenti
- Preserva la rilevanza del compito, la copertura tematica e la coerenza
- Opera sotto un budget di token rigoroso
- Progettato per LLM a contesto lungo
Entità
—