HARNESS-LM: Framework di Addestramento per il Recupero Efficiente nella Ricerca Sponsorizzata
HARNESS-LM (HLM) è un framework di addestramento in tre fasi progettato per trasferire le capacità di recuperatori su larga scala in modelli compatti ed economici per la ricerca sponsorizzata. L'approccio affronta la sfida di bilanciare la qualità del recupero con la latenza di produzione. Prima, un recuperatore di riferimento (teacher) ad alte prestazioni viene addestrato mettendo a punto un Small Language Model (SLM) con miliardi di parametri. Secondo, le rappresentazioni delle query vengono allineate tramite un obiettivo L2 per distillare la conoscenza in un encoder studente con meno di 600 milioni di parametri. Terzo, una fase finale di raffinamento contrastivo ottimizza lo studente per le prestazioni di recupero. L'articolo include uno studio empirico completo delle scelte progettuali chiave. I grandi modelli di recupero basati su SLM come Qwen3-Embedding-4B/8B stabiliscono benchmark elevati ma sono poco pratici per ambienti ad alto throughput e sensibili alla latenza. HLM mira a rendere tali capacità implementabili.
Fatti principali
- HARNESS-LM (HLM) è un framework di addestramento in tre fasi.
- Trasferisce le capacità di recuperatori su larga scala in modelli compatti.
- Fase 1: addestrare un recuperatore teacher mettendo a punto un SLM con miliardi di parametri.
- Fase 2: allineare le rappresentazioni delle query tramite obiettivo L2 per distillare in uno studente con meno di 600 milioni di parametri.
- Fase 3: applicare raffinamento contrastivo per ottimizzare le prestazioni di recupero dello studente.
- Grandi recuperatori basati su SLM come Qwen3-Embedding-4B/8B stabiliscono benchmark elevati ma sono poco pratici per la produzione.
- L'articolo presenta uno studio empirico completo delle scelte progettuali chiave.
- Il framework affronta il bilanciamento tra qualità del recupero e latenza di produzione.
Entità
—