BiSpikCLM: Primo Modello Linguistico Spiking Completamente Binario
Un team di ricercatori ha presentato BiSpikCLM, il primo modello linguistico causale spiking completamente binario che opera senza moltiplicazione di matrici, puntando all'efficienza energetica nei modelli linguistici estesi. Questo modello presenta l'Attenzione Spiking Senza Softmax (SFSA), che elimina la necessità di calcoli softmax e in virgola mobile, insieme alla Distillazione di Allineamento Spike-Aware (SpAD) per facilitare un addestramento efficace allineando un insegnante di rete neurale artificiale (ANN) con uno studente di rete neurale spiking (SNN) a vari livelli. L'obiettivo di questo modello è eguagliare le prestazioni dei suoi equivalenti ANN riducendo significativamente il consumo energetico.
Fatti principali
- BiSpikCLM è il primo modello linguistico causale spiking completamente binario senza moltiplicazione di matrici.
- Utilizza l'Attenzione Spiking Senza Softmax (SFSA) per eliminare le operazioni softmax e in virgola mobile.
- La Distillazione di Allineamento Spike-Aware (SpAD) allinea l'insegnante ANN e lo studente SNN attraverso embedding, mappe di attenzione, caratteristiche intermedie e logit di output.
- Il modello mira all'efficienza energetica per i grandi modelli linguistici.
- Le reti neurali spiking (SNN) sono guidate da eventi e a bassissimo consumo.
- Gli attuali LLM spiking richiedono ancora moltiplicazioni di matrici in virgola mobile e non linearità intensive.
- L'approccio mira a raggiungere prestazioni comparabili alle controparti ANN.
- L'articolo è disponibile su arXiv con ID 2605.13859.
Entità
Istituzioni
- arXiv