END: Early Noise Dropping per la Denoising del Contesto nei LLM
I ricercatori hanno introdotto Early Noise Dropping (END), un metodo per migliorare le prestazioni dei Large Language Model (LLM) rimuovendo il contesto irrilevante senza necessità di fine-tuning. END segmenta l'input in blocchi e utilizza un prober lineare sui primi strati del LLM per identificare e scartare i blocchi rumorosi, preservando le informazioni critiche. L'approccio affronta problemi nella generazione aumentata da recupero, nel question-answering su tabelle e nell'apprendimento in-context. L'articolo è disponibile su arXiv con ID 2502.18915.
Fatti principali
- END segmenta le sequenze di input in blocchi.
- Un prober lineare sui primi strati del LLM differenzia blocchi informativi e rumorosi.
- I blocchi rumorosi vengono scartati all'inizio del processo.
- END non richiede fine-tuning del LLM.
- Il metodo è mirato alla generazione aumentata da recupero, al question-answering su tabelle e all'apprendimento in-context.
- I LLM possono identificare implicitamente informazioni utili nei primi strati.
- L'articolo è su arXiv con ID 2502.18915.
- END preserva le informazioni critiche rimuovendo il rumore.
Entità
Istituzioni
- arXiv