LLM Quantistici Raggiungono un Miglioramento dell'1.4% nella Perplexity su Hardware IBM
Un recente preprint su arXiv rivela la prima combinazione efficace di calcolo quantistico e modelli linguistici di grandi dimensioni (LLM) attraverso l'uso di adattatori unitari parametrizzati di Cayley. Questi componenti circuitali quantistici sono stati integrati negli strati di proiezione congelati di LLM pre-addestrati e testati su un processore superconduttore IBM Quantum System Two a 156 qubit. Questo approccio ha migliorato la perplexity del modello Llama 3.1 8B, che ha 8 miliardi di parametri, dell'1.4% con soli 6.000 parametri aggiuntivi, e l'inferenza end-to-end è stata confermata su una vera Unità di Elaborazione Quantistica (QPU). Inoltre, un'analisi completa di SmolLM2 (135 milioni di parametri) ha indicato che l'aumento della profondità unitaria migliora costantemente la perplexity, affrontando i limiti del ridimensionamento della memoria classica con la dimensione del modello e aprendo una nuova strada attraverso il calcolo quantistico.
Fatti principali
- Gli adattatori unitari parametrizzati di Cayley sono blocchi circuitali quantistici inseriti negli strati di proiezione congelati di LLM pre-addestrati.
- Eseguiti su un processore superconduttore IBM Quantum System Two a 156 qubit.
- Migliorata la perplexity di Llama 3.1 8B dell'1.4% con soli 6.000 parametri aggiuntivi.
- Inferenza end-to-end validata su una vera Unità di Elaborazione Quantistica (QPU).
- Studio sistematico su SmolLM2 (135 milioni di parametri) ha mostrato un miglioramento monotono della perplexity all'aumentare della profondità unitaria.
- Le architetture classiche richiedono memoria che scala sfavorevolmente con la dimensione del modello.
- Il calcolo quantistico offre un percorso qualitativamente diverso per gli LLM.
- Dimostrazioni pratiche su hardware reale per modelli di rilevanza pratica erano precedentemente elusive.
Entità
Istituzioni
- IBM Quantum System Two
- arXiv