G-Boost: Framework Adattivo Edge-Cloud Migliora i Modelli Linguistici di Piccole Dimensioni
Un nuovo framework chiamato G-Boost è stato introdotto dai ricercatori, come descritto in una recente pubblicazione su arXiv. Questo sistema innovativo mira a migliorare le capacità dei modelli linguistici di piccole dimensioni (SLM) che operano su dispositivi edge senza richiedere modifiche ai loro parametri. G-Boost consente agli SLM di lavorare insieme a modelli linguistici di grandi dimensioni (LLM) basati su cloud più robusti, mantenendo la privacy dei dati. Utilizzando una ricerca ad albero Monte Carlo supportata da un modello di ricompensa, G-Boost ha dimostrato prestazioni superiori nei test di benchmark, ottenendo aumenti di 8,6 punti percentuali rispetto a MCTS e 10,7 punti percentuali rispetto a Proxy-Tuning su valutazioni come GSM8K e MATH-500.
Fatti principali
- G-Boost è un framework adattivo edge-cloud per migliorare le prestazioni degli SLM.
- Non richiede aggiornamenti dei parametri dell'SLM distribuito.
- Utilizza la ricerca ad albero per decidere tra inferenza solo SLM e fusione logit SLM-LLM.
- La fusione trasferisce la conoscenza del dominio senza esporre dati privati.
- Un modello di ricompensa di processo guida la ricerca ad albero Monte Carlo.
- Valutato su GSM8K e MATH-500 con Qwen2.5 e LLaMA2.
- Supera SLM da solo, fusione statica e baseline fine-tuned.
- Guadagni fino a 8,6 e 10,7 punti percentuali rispetto a MCTS e Proxy-Tuning.
- Articolo annunciato come replace-cross su arXiv (2503.10367).
Entità
Istituzioni
- arXiv