SKR: Metodo Completamente Locale Adatta i LLM ai Compiti Utilizzando la Conoscenza Intrinseca
Una nuova tecnica chiamata Self-Knowledge Re-expression (SKR) è stata introdotta dai ricercatori per adattare i grandi modelli linguistici (LLM) a compiti specifici senza fare affidamento su guida esterna o distillazione del modello. SKR affronta i limiti prestazionali per i compiti non generativi convertendo gli output del LLM dalla creazione di token generali a espressioni su misura per compiti specifici, utilizzando esclusivamente dati non annotati. I test condotti su un dataset di documenti finanziari hanno rivelato un miglioramento di oltre il 40% in Recall@1 per il recupero delle informazioni, una riduzione di oltre il 76% nella latenza del rilevamento degli oggetti e un aumento superiore al 33% nell'AUPRC del rilevamento delle anomalie. Ulteriori risultati dal dataset MMDocRAG ne confermano l'efficacia.
Fatti principali
- SKR è un metodo completamente locale che utilizza solo dati non annotati
- Non richiede supervisione umana né distillazione del modello
- Oltre il 40% di miglioramento in Recall@1 per il recupero delle informazioni
- Oltre il 76% di riduzione nella latenza del rilevamento degli oggetti
- Oltre il 33% di aumento nell'AUPRC del rilevamento delle anomalie
- Testato su un ampio dataset di documenti finanziari
- Valutato anche sul dataset MMDocRAG
- Affronta il collo di bottiglia prestazionale nei compiti non generativi
Entità
—