MobileLLM-Flash: Progettazione di LLM su Dispositivo Guidata dalla Latenza

È stato svelato un nuovo approccio per creare modelli linguistici di grandi dimensioni su dispositivo (OD-LLM) progettati per applicazioni AI in tempo reale su hardware con risorse limitate. Questa tecnica incorpora la ricerca dell'architettura hardware-in-the-loop rispettando i requisiti di latenza mobile, consentendo il deployment dei modelli senza la necessità di kernel personalizzati e garantendo la compatibilità con runtime mobili standard come Executorch. Invece di utilizzare meccanismi di attenzione specializzati, utilizza l'attenzione saltata per migliorare la velocità di elaborazione di contesti lunghi. Il metodo perfeziona simultaneamente l'architettura del modello (inclusi strati e dimensioni) e i pattern di attenzione, considerando ogni candidato come una versione semplificata di un backbone pre-addestrato con pesi condivisi per una valutazione efficace. Questo framework mira a un'implementazione su scala industriale, ampliando l'accesso degli utenti attraverso un'ampia compatibilità hardware e risposte quasi istantanee.