I ricercatori propongono SDLLM, un modello linguistico su larga scala guidato da spike che elimina le moltiplicazioni di matrici dense

Un nuovo articolo di ricerca introduce SDLLM, un modello linguistico su larga scala guidato da spike che sostituisce le moltiplicazioni di matrici dense con operazioni di addizione sparse. Ispirato dai meccanismi di elaborazione delle informazioni del cervello, questo approccio integra le caratteristiche guidate da spike nell'inferenza dei LLM. Gli attuali modelli linguistici su larga scala si basano pesantemente su moltiplicazioni di matrici dense su larga scala, ma SDLLM utilizza un metodo di codifica spike a due passi gamma-SQP plug-and-play per allineare il processo di quantizzazione. Il lavoro affronta le sfide nel realizzare LLM guidati da spike con miliardi di parametri utilizzando solo addizioni sparse. Gli schemi di codifica spike esistenti a livello di LLM hanno affrontato problemi di capacità rappresentativa limitata e sparsità. Alcuni tentativi precedenti hanno combinato Reti Neurali a Spike con i Transformer, ma questo nuovo modello rappresenta un progresso significativo nel campo delle SNN. La ricerca è stata annunciata su arXiv con l'identificatore 2604.16475v1. Questo annuncio incrociato esplora questioni fondamentali sull'integrazione efficace dei meccanismi a spike simili al cervello nell'architettura dei modelli linguistici.