White-Basilisk: AI efficiente con 200 milioni di parametri per la rilevazione di vulnerabilità nel codice
Il modello AI recentemente introdotto, White-Basilisk, stabilisce un nuovo punto di riferimento nell'identificazione delle vulnerabilità software con soli 200 milioni di parametri, sfidando le convinzioni tradizionali sul ridimensionamento dei modelli. Creato da un team di ricercatori, incorpora strati Mamba, auto-attenzione lineare e un'architettura Mixture of Experts. Questo modello può analizzare lunghe sequenze di codice in un'unica passata, superando le restrizioni di contesto affrontate dagli attuali modelli linguistici di grandi dimensioni. Inoltre, dimostra prestazioni robuste su dataset reali sbilanciati, garantendo al contempo efficienza computazionale per applicazioni pratiche.
Fatti principali
- White-Basilisk utilizza 200 milioni di parametri
- Integra strati Mamba, auto-attenzione lineare e Mixture of Experts
- Elabora sequenze di lunghezza senza precedenti
- Supera i limiti di contesto degli attuali LLM
- Robusto su dataset reali sbilanciati
- Efficiente dal punto di vista computazionale per l'implementazione
- Sfida le ipotesi prevalenti sul ridimensionamento dei modelli AI
Entità
—